Forwarded from ilia brovkin
Сегодня я буду проводить онлайн-вебинар о нагрузочном тестировании, которое мы недавно провели для подтверждения производительности блокчейн-платформы Waves Enterprise в реальных условиях эксплуатации.
Расскажу о том, как готовили площадку для получения результатов, какие метрики и сценарии использовали, покажу работу стенда под нагрузкой. Во время вебинара буду рад ответить на ваши вопросы и получить фидбек о проделанной работе!
Также во время вебинара покажу работу стенда под нагрузкой.
Если вам интересно принять участие в этом мероприятии, вы можете зарегистрироваться уже сейчас и заранее получить ссылку на трансляцию. До встречи!
Расскажу о том, как готовили площадку для получения результатов, какие метрики и сценарии использовали, покажу работу стенда под нагрузкой. Во время вебинара буду рад ответить на ваши вопросы и получить фидбек о проделанной работе!
Также во время вебинара покажу работу стенда под нагрузкой.
Если вам интересно принять участие в этом мероприятии, вы можете зарегистрироваться уже сейчас и заранее получить ссылку на трансляцию. До встречи!
Слайды к докладу Готовим тестовые данные и сервируем отчёт по тестированию производительности (30 мая 2020 года), который был на недавно прошедшем CodeFest Online. Отличная получилась конференция. Рекомендую посетить следующую конференцию уже в Новосибирске:
— осень: 24-25 октября или 31 октября-1 ноября этого года;
— весна 27-28 марта 2021.
Рассказ об особенностях подготовки тестовых данных для тестов производительности новых микросервисов в банке. Поделился наработками по генерации тестовых данных в PostgreSQL и их влиянии на результат тестирования. Рассказал, что включить в отчёт по тестированию производительности и как донести результаты до команды.
Доклад будет интересен инженерам по тестированию производительности, показываю, как нашел 40% багов. И всем будет интересно, как ускорить написание отчётов минимум на день.
Сообщество инженеров по тестированию производительности:
@qaload (канал) / @qa_load (чат)
— осень: 24-25 октября или 31 октября-1 ноября этого года;
— весна 27-28 марта 2021.
Рассказ об особенностях подготовки тестовых данных для тестов производительности новых микросервисов в банке. Поделился наработками по генерации тестовых данных в PostgreSQL и их влиянии на результат тестирования. Рассказал, что включить в отчёт по тестированию производительности и как донести результаты до команды.
Доклад будет интересен инженерам по тестированию производительности, показываю, как нашел 40% багов. И всем будет интересно, как ускорить написание отчётов минимум на день.
Сообщество инженеров по тестированию производительности:
@qaload (канал) / @qa_load (чат)
Материалы доклада
Программирование с Grafana и InfluxDB: сборник рецептов,
который подготовил для HeisenBug Piter Online 2020
Слайды:
https://docs.google.com/presentation/d/1yjDWh-cdDqQS09-6SBdISKbtmvuh1Kcxb3RCoRvALZk/edit
Репозиторий:
https://github.com/polarnik/gatling-grafana-dashboard
Демо стенд:
http://84.201.161.113:3000/
Меню выбора запусков тестов:
http://84.201.161.113:3000/d/gatlingTrendLink/grafana-table-old-withlink
(демонстрация работы со ссылками)
https://grafana.com/grafana/dashboards/12508
Доска, демонстрирующая новые фичи Grafana 7.0:
http://84.201.161.113:3000/d/gatlingTrend_GIT/gatling-report-trend-git
(работа с таблицами)
https://grafana.com/grafana/dashboards/12507
Доска с отчетом Gatling:
http://84.201.161.113:3000/d/gatling/grafana-report?time=1585232003000&time.window=1388s&var-run=2020-03-26_17:00&var-simulation=closemodel-incrementconcurrentusers
(подробный отчёт по Gatling)
https://grafana.com/grafana/dashboards/9935
Смирнов Вячеслав, ВТБ
Для @qa_load и @qaload
Программирование с Grafana и InfluxDB: сборник рецептов,
который подготовил для HeisenBug Piter Online 2020
Слайды:
https://docs.google.com/presentation/d/1yjDWh-cdDqQS09-6SBdISKbtmvuh1Kcxb3RCoRvALZk/edit
Репозиторий:
https://github.com/polarnik/gatling-grafana-dashboard
Демо стенд:
http://84.201.161.113:3000/
Меню выбора запусков тестов:
http://84.201.161.113:3000/d/gatlingTrendLink/grafana-table-old-withlink
(демонстрация работы со ссылками)
https://grafana.com/grafana/dashboards/12508
Доска, демонстрирующая новые фичи Grafana 7.0:
http://84.201.161.113:3000/d/gatlingTrend_GIT/gatling-report-trend-git
(работа с таблицами)
https://grafana.com/grafana/dashboards/12507
Доска с отчетом Gatling:
http://84.201.161.113:3000/d/gatling/grafana-report?time=1585232003000&time.window=1388s&var-run=2020-03-26_17:00&var-simulation=closemodel-incrementconcurrentusers
(подробный отчёт по Gatling)
https://grafana.com/grafana/dashboards/9935
Смирнов Вячеслав, ВТБ
Для @qa_load и @qaload
Forwarded from Kirill
#jmeter #reports #confluence #grafana
как совпало)
я тоже сегодня допилил свое решение для автогенерации отчетов в конфлюенсе из JMeter. в комплекте 3 дашборда и jmx со всеми натсройками. пока отзывы хорошие, может кому еще пригодиться. если будут хотелки - не стесняйтесь, стараюсь активно допиливать
https://github.com/kirillyu/jmeterReports
как совпало)
я тоже сегодня допилил свое решение для автогенерации отчетов в конфлюенсе из JMeter. в комплекте 3 дашборда и jmx со всеми натсройками. пока отзывы хорошие, может кому еще пригодиться. если будут хотелки - не стесняйтесь, стараюсь активно допиливать
https://github.com/kirillyu/jmeterReports
GitHub
GitHub - kirillyu/jmeterReports: Jmeter autogenerater reports after test to Confluence, using grafana custom dushboards.
Jmeter autogenerater reports after test to Confluence, using grafana custom dushboards. - kirillyu/jmeterReports
Forwarded from Anton Kramarev
Немного саморекламы
Запилил тут специальную туловину для Гатлинга, с прямым экспортом метрик в InfluxDB на основе log-файла.
Все основные фичи описаны на страничке в гитхаб:
Github
В кратце:
Raw метрики
Простая интеграция в CI
Один бинарник, ничего дополнительно не надо ставить
Можно прокидывать уникальный testId по которому удобно фильтровать тесты
Информация по группам транзакций, со временем выполнения группы (только реквесты и ревесты+таймеры)
Сам буду завтра начинать тестировать в боевых условиях. Если кому интересно - буду рад фидбеку. Бинарник под Linux/Windows можно скачать тут
Изначально вдохновлялся плагином JMeter-InfluxDB-Writer с которым тут многие знакомы, но по понятным причинам сделать это плагином несколько сложно. Потому standalone тулза.
Запилил тут специальную туловину для Гатлинга, с прямым экспортом метрик в InfluxDB на основе log-файла.
Все основные фичи описаны на страничке в гитхаб:
Github
В кратце:
Raw метрики
Простая интеграция в CI
Один бинарник, ничего дополнительно не надо ставить
Можно прокидывать уникальный testId по которому удобно фильтровать тесты
Информация по группам транзакций, со временем выполнения группы (только реквесты и ревесты+таймеры)
Сам буду завтра начинать тестировать в боевых условиях. Если кому интересно - буду рад фидбеку. Бинарник под Linux/Windows можно скачать тут
Изначально вдохновлялся плагином JMeter-InfluxDB-Writer с которым тут многие знакомы, но по понятным причинам сделать это плагином несколько сложно. Потому standalone тулза.
GitHub
GitHub - Dakaraj/gatling-to-influxdb: Collect and send raw data from simulation log generated by Gatling load tool and send directly…
Collect and send raw data from simulation log generated by Gatling load tool and send directly to InfluxDB - Dakaraj/gatling-to-influxdb
Forwarded from Viacheslav Smirnov
Всем привет!
Стало известно, что 9-я встреча клуба анонимных тестировщиков состоится 27 августа. Только она будет online.
Подготовил рассказ про нагрузку, PostgreSQL, JMeter, боль и радость. В описании встречи будут изменения, но ссылку можно сохранить:
https://www.meetup.com/ru-RU/%D0%9E%D0%B1%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%BE-%D0%B0%D0%BD%D0%BE%D0%BD%D0%B8%D0%BC%D0%BD%D1%8B%D1%85-%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D1%89%D0%B8%D0%BA%D0%BE%D0%B2/events/268878140/
Стало известно, что 9-я встреча клуба анонимных тестировщиков состоится 27 августа. Только она будет online.
Подготовил рассказ про нагрузку, PostgreSQL, JMeter, боль и радость. В описании встречи будут изменения, но ссылку можно сохранить:
https://www.meetup.com/ru-RU/%D0%9E%D0%B1%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%BE-%D0%B0%D0%BD%D0%BE%D0%BD%D0%B8%D0%BC%D0%BD%D1%8B%D1%85-%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D1%89%D0%B8%D0%BA%D0%BE%D0%B2/events/268878140/
Meetup
Login to Meetup | Meetup
Not a Meetup member yet? Log in and find groups that host online or in person events and meet people in your local community who share your interests.
Forwarded from Viacheslav Smirnov
otus.ru
Нагрузочное тестирование. Инструменты и особенности процесса проведения достоверного нагрузочного тестирования
Курс подойдет специалистам по ручному, автоматизированному тестированию, которые стремяться в нагрузочное тестирование. Подойдет начинающим специалистам по нагрузочному тестированию, желающих углубить и систематизировать свои знания
Forwarded from Василий К.
Привет. На курсе разные инструменты изучаем, по ссылке от Вячеслава выше программу можно посмотреть. Первую группу правда запустили уже, но по-моему ещё в течение недели можно присоединиться
Forwarded from Viacheslav Smirnov
https://www.luxoft-training.ru/kurs/osnovy_testirovaniya_proizvoditelnosti.html
Еще есть курс от Люксофт, вводный
Еще есть курс от Люксофт, вводный
Forwarded from Sergei Chepkasov
Привет!
Представляю вашему вниманию вечерний пятничный релиз)
1. Библиотека-набор полезных утилит для gatling - "gatling-picatinny" (Picatinny rail — система рельсового крепления, кронштейн, используемый на различных видах стрелкового вооружения)
https://github.com/TinkoffCreditSystems/gatling-picatinny
Позволяет удобно конфигурировать тесты при запуске из CI и локально, писать аннотации с информацией о старте/стопе теста в influxdb, использовать набор готовых фидеров, запускать простой тест из конфига без написания скриптов и многое другое) Смотрите readme и examples в репозитории, постарались подробно все описать.
Идея библиотеки в переиспользовании и шаблонизации типового кода, который приходится писать/копировать в каждом новом проекте, а также в расширении базовых возможностей gatling.
Приглашаю всех желающих заводить issues и контрибутить, планируем и дальше развивать библиотеку.
Если возникают вопросы, то можно писать тут, мне @chepk или @jigarkhwar, по вопросам связанным с модулем profile можно также обращаться к @MaksSieve, вопросы по модулю templates @red_bashmak
2. giter8 шаблон для проекта gatling
https://github.com/TinkoffCreditSystems/gatling-template.g8
Позволяет создавать проект gatling по шаблону (всю структуру проекта, базовые *.scala классы и файлы конфигурации)
Для создания проекта по шаблону достаточно выполнить:
sbt new TinkoffCreditSystems/gatling-template.g8
При запуске попросит ввести название проекта, организации и версии зависимостей.
gatling-picatinny уже подключен
Представляю вашему вниманию вечерний пятничный релиз)
1. Библиотека-набор полезных утилит для gatling - "gatling-picatinny" (Picatinny rail — система рельсового крепления, кронштейн, используемый на различных видах стрелкового вооружения)
https://github.com/TinkoffCreditSystems/gatling-picatinny
Позволяет удобно конфигурировать тесты при запуске из CI и локально, писать аннотации с информацией о старте/стопе теста в influxdb, использовать набор готовых фидеров, запускать простой тест из конфига без написания скриптов и многое другое) Смотрите readme и examples в репозитории, постарались подробно все описать.
Идея библиотеки в переиспользовании и шаблонизации типового кода, который приходится писать/копировать в каждом новом проекте, а также в расширении базовых возможностей gatling.
Приглашаю всех желающих заводить issues и контрибутить, планируем и дальше развивать библиотеку.
Если возникают вопросы, то можно писать тут, мне @chepk или @jigarkhwar, по вопросам связанным с модулем profile можно также обращаться к @MaksSieve, вопросы по модулю templates @red_bashmak
2. giter8 шаблон для проекта gatling
https://github.com/TinkoffCreditSystems/gatling-template.g8
Позволяет создавать проект gatling по шаблону (всю структуру проекта, базовые *.scala классы и файлы конфигурации)
Для создания проекта по шаблону достаточно выполнить:
sbt new TinkoffCreditSystems/gatling-template.g8
При запуске попросит ввести название проекта, организации и версии зависимостей.
gatling-picatinny уже подключен
Forwarded from Viacheslav Smirnov
Дополню, чтобы рядышком лежало.
https://github.com/polarnik/gatling-report-example/tree/master/src/test/scala/io/qaload/gatling/reportExample/simulation
Проект с самыми разными профилями нагрузки на #Gatling.
Код снабжен полезными комментариями.
В составе проекта - открытая и закрытая модель нагрузки.
https://github.com/polarnik/gatling-report-example/tree/master/src/test/scala/io/qaload/gatling/reportExample/simulation
Проект с самыми разными профилями нагрузки на #Gatling.
Код снабжен полезными комментариями.
В составе проекта - открытая и закрытая модель нагрузки.
GitHub
gatling-report-example/src/test/scala/io/qaload/gatling/reportExample/simulation at master · polarnik/gatling-report-example
Репозиторий с разными моделями нагрузки Gatling. Создан для демонстрации корректности работы доски Gatling Grafana Report - polarnik/gatling-report-example
Forwarded from Maksimall89
Всем привет, как и обещал краткий мануал-faq на что смотреть, когда пишешь свой отчёт мечты и анализируешь проблемы с производительностью
https://habr.com/ru/company/tinkoff/blog/514314/
https://habr.com/ru/company/tinkoff/blog/514314/
Хабр
Анализ результатов нагрузочного тестирования
С каждым днем в мире становится все больше и больше инструментов для проведения нагрузочного тестирования. Собственно, и сам интерес к этой теме начинает возрастать. Основная задача инструмента...
Тестовые_данные_для_нагрузки_Атака_не_клонов_Смирнов_Вячеслав_ВТБ.pdf
9.1 MB
Слайды "Тестовые данные для нагрузки. Атака не клонов" для митапа #9 Общества анонимных тестировщиков.
Спасибо, что пришли на митап. Запись велась, будет позже
Спасибо, что пришли на митап. Запись велась, будет позже
Forwarded from Ekaterina Bono
QA-конференция QAASP 2020
16 октября в онлайн формате пройдет большая минская QA-конференция QAASP 2020: Quality Assurance, Automation, Security, Performance, Testing. На нее соберутся эксперты из успешных компаний, чтобы поделиться опытом тестирования не только software, но и hardware.
На конференции в формате онлайн вы сможете послушать доклады и пообщаться о наболевшем по насущным вопросам QA в следующих сферах:
• Ручное тестирование
• Автоматизация тестирования
• Нагрузочное тестирование
• Тестирование безопасности
• Серверное тестирование
• Мобильное тестирование
• Фреймворки и подходы
• Инструменты и тулы
• Usability-тестирование
• Построение процессов и команд в QA
• Управление тестированием
• Карьера в QA и после QA
В день конференции вы сможете поучаствовать в интерактивном онлайн-стриме, задать вопросы спикерам и пообщаться с другими участниками, а после завершения конференции будут доступны записи докладов.
Программа и доступы на сайте: https://qaasp.tech
Когда: 16 октября
Где: Везде, где есть интернет
Скидка 10% по промокоду QALOAD на все типы билетов (настоящие и будущие)
16 октября в онлайн формате пройдет большая минская QA-конференция QAASP 2020: Quality Assurance, Automation, Security, Performance, Testing. На нее соберутся эксперты из успешных компаний, чтобы поделиться опытом тестирования не только software, но и hardware.
На конференции в формате онлайн вы сможете послушать доклады и пообщаться о наболевшем по насущным вопросам QA в следующих сферах:
• Ручное тестирование
• Автоматизация тестирования
• Нагрузочное тестирование
• Тестирование безопасности
• Серверное тестирование
• Мобильное тестирование
• Фреймворки и подходы
• Инструменты и тулы
• Usability-тестирование
• Построение процессов и команд в QA
• Управление тестированием
• Карьера в QA и после QA
В день конференции вы сможете поучаствовать в интерактивном онлайн-стриме, задать вопросы спикерам и пообщаться с другими участниками, а после завершения конференции будут доступны записи докладов.
Программа и доступы на сайте: https://qaasp.tech
Когда: 16 октября
Где: Везде, где есть интернет
Скидка 10% по промокоду QALOAD на все типы билетов (настоящие и будущие)
📢 Load & Performance
Тестовые_данные_для_нагрузки_Атака_не_клонов_Смирнов_Вячеслав_ВТБ.pdf
Запись выступления на митапе #9 общества анонимных тестировщиков "Тестовые данные для нагрузки. Атака не клонов"
https://www.youtube.com/watch?v=ErGuYOkzZ_I
https://www.youtube.com/watch?v=ErGuYOkzZ_I
YouTube
Смирнов Вячеслав (ВТБ): Тестовые данные для нагрузки. Атака не клонов.
Особенности подготовки реалистичных тестовых данных для нагрузочного проекта. И последующего использования этих данных в тестах.
Для тех, кто уже готовит тестовые данные, будут полезными конкретные рецепты. Для тех, кто только планирует, полезными будут подходы…
Для тех, кто уже готовит тестовые данные, будут полезными конкретные рецепты. Для тех, кто только планирует, полезными будут подходы…
Слайды к докладам:
1) Нагрузочное тестирование с нуля - Кирилл Юрков
2) Выбор инструмента НТ - Урал Нургалин
для HeisenBug Piter 2020 (16 июня 2020 года)
Описание докладов и докладчиков:
https://heisenbug-piter.ru/2020/spb/talks/7kljtoxga4yizsw0bw6kbe/
1) Нагрузочное тестирование с нуля - Кирилл Юрков
2) Выбор инструмента НТ - Урал Нургалин
для HeisenBug Piter 2020 (16 июня 2020 года)
Описание докладов и докладчиков:
https://heisenbug-piter.ru/2020/spb/talks/7kljtoxga4yizsw0bw6kbe/
Google Docs
Нагрузочное тестирование с нуля
Нагрузочное тестирование с нуля Кирилл Юрков Добрый день, меня зовут Кирилл Юрков. На данный момент я работаю в Билайн и представляю сообщество инженеров по тестированию производительности. Хочу сегодня вам рассказать про то как провести простое нагрузочное…
Forwarded from Sergei Chepkasov
Привет!
Релиз новой версии нашей библиотеки для gatling: https://github.com/TinkoffCreditSystems/gatling-picatinny/releases/tag/v0.6.0
Некоторые обновления:
* генерация jwt: добавить json шаблон для payload, добавить в сценарий одну строчку -> на каждой итерации генерируется jwt из шаблона с переменными из фидеров/сессии гатлинга. Актуально для всех у кого замокирована авторизация jwt на тесте.
* regex feeder: генерирует строку по регулярному выражению, дальше можно использовать в сценариях. Актуально для генерации id или других тестовых данных любого формата.
* обновления в модуле profile: теперь можно запускать тесты из yaml конфигурации.
* тест больше не падает при недоступности influxdb, только сообщает об ошибке, стоит учитывать.
Как пользоваться библиотекой можно узнать в ридми: https://github.com/TinkoffCreditSystems/gatling-picatinny/blob/master/README.md
Если создать новый проект из нашего шаблона, то библиотека уже подключена: https://github.com/TinkoffCreditSystems/gatling-template.g8
Вопросы по использованию можно задавать в этом чате или в личке, profile: @MaksSieve, любые вопросы по gatling-picatinny и giter8 шаблону: @chepk @jigarkhwar
Всем хорошего дня)
Релиз новой версии нашей библиотеки для gatling: https://github.com/TinkoffCreditSystems/gatling-picatinny/releases/tag/v0.6.0
Некоторые обновления:
* генерация jwt: добавить json шаблон для payload, добавить в сценарий одну строчку -> на каждой итерации генерируется jwt из шаблона с переменными из фидеров/сессии гатлинга. Актуально для всех у кого замокирована авторизация jwt на тесте.
* regex feeder: генерирует строку по регулярному выражению, дальше можно использовать в сценариях. Актуально для генерации id или других тестовых данных любого формата.
* обновления в модуле profile: теперь можно запускать тесты из yaml конфигурации.
* тест больше не падает при недоступности influxdb, только сообщает об ошибке, стоит учитывать.
Как пользоваться библиотекой можно узнать в ридми: https://github.com/TinkoffCreditSystems/gatling-picatinny/blob/master/README.md
Если создать новый проект из нашего шаблона, то библиотека уже подключена: https://github.com/TinkoffCreditSystems/gatling-template.g8
Вопросы по использованию можно задавать в этом чате или в личке, profile: @MaksSieve, любые вопросы по gatling-picatinny и giter8 шаблону: @chepk @jigarkhwar
Всем хорошего дня)
GitHub
Release v0.6.0 Excalibur · Tinkoff/gatling-picatinny
update to gatling 3.4.0
add JWT generator
refactor profile module & add yaml profile configuration
add regex feeder & list to feeder transformer
handle exceptions when influxdb is not avail...
add JWT generator
refactor profile module & add yaml profile configuration
add regex feeder & list to feeder transformer
handle exceptions when influxdb is not avail...
Привет всем! Все мы в мире нагрузки немного устали от разношерстной терминологии, абстрактной стандартизации и передачи опыта в формате Мастер Джедай -> Падаван.
Поэтому мы решили собрать инициативную группу людей, которая бы начала формирование общей базы знаний по нагрузочному тестированию.
В данную группу очень требуются люди, обладающие этими самыми знаниями в сфере нагрузочного тестирования или близко к ней.
Большая просьба к тем, кто хочет эти знания только получить или просто недостаточно уверен в своих знаниях - не вступать в инициативную группу. Вся база будет общедоступной и мы обязательно будем делать все необходимые анонсы по её реализации и наполнению. С очень большой вероятностью вы сможете дополнять её своими знаниями, но после её формирования.
Ссылка на чат: https://www.tg-me.com/LoadKnowledge
Большим плюсом будет если вы, при входе в чат, кратко расскажете о своей работе и опыте. Спасибо!
Поэтому мы решили собрать инициативную группу людей, которая бы начала формирование общей базы знаний по нагрузочному тестированию.
В данную группу очень требуются люди, обладающие этими самыми знаниями в сфере нагрузочного тестирования или близко к ней.
Большая просьба к тем, кто хочет эти знания только получить или просто недостаточно уверен в своих знаниях - не вступать в инициативную группу. Вся база будет общедоступной и мы обязательно будем делать все необходимые анонсы по её реализации и наполнению. С очень большой вероятностью вы сможете дополнять её своими знаниями, но после её формирования.
Ссылка на чат: https://www.tg-me.com/LoadKnowledge
Большим плюсом будет если вы, при входе в чат, кратко расскажете о своей работе и опыте. Спасибо!
Forwarded from Vi
Коллеги, привет! Хочу сообщить вам о выпуске новой версии плагина для тестирования AMQP c помощью gatling. GitHub проекта https://github.com/TinkoffCreditSystems/gatling-amqp-plugin. В этой версии (0.0.4) наконец-то появилась поддержка топиков, обновлены версии gatling и rabbit-mq клиента. Изменён ДСЛ для задания пропертей и заголовков сообщений. Возможно кому-то пригодится, будем ждать вашего фидбека. #gatling #amqp #rabbit-mq #gatling3.4
GitHub
GitHub - Tinkoff/gatling-amqp-plugin: Plugin for support performance testing with AMQP in Gatling (3.7.x)
Plugin for support performance testing with AMQP in Gatling (3.7.x) - Tinkoff/gatling-amqp-plugin