Тренинги 🔍ElasticSearch и 🔍OpenSearch c нуля до администратора в июне — отличный способ прокачать скиллы в начале лета!
Приходите на наши авторские курсы по ElasticSearch или OpenSearch и развивайте внутреннюю экспертизу по этим решениям. Если вашей команде требуется экспертиза по поддержке этих систем и нет времени на их изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию ElasticSearch/OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации. А еще интенсивы лучше многомесячных тренингов, когда к середине курса улетучивается желание учиться.
За время курса вы:
🔎 разберетесь в принципах работы ElasticSearch/OpenSearch
🔎 установите и настроите кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации
Ближайшие курсы в июне:
▶️ Программа ElasticSearch 2-4 июня
▶️ Программа OpenSearch 9-11 июня
Тренинг состоит из теоретической и практической части. Для практической части мы предоставляем лабораторные стенды. Оставить заявку, узнать стоимость обучения и другие детали можно через бот @gals_education_bot. Также заявку можно оставить через форму обратной связи на соответствующей странице тренинга (выше) либо написать на почту [email protected].
Приходите на наши авторские курсы по ElasticSearch или OpenSearch и развивайте внутреннюю экспертизу по этим решениям. Если вашей команде требуется экспертиза по поддержке этих систем и нет времени на их изучение, наши трёхдневные интенсивы дадут максимум знаний и опыта по установке, настройке и администрированию ElasticSearch/OpenSearch. Вложитесь в обучение один раз и не тратьте время сотрудников на многодневное изучение документации. А еще интенсивы лучше многомесячных тренингов, когда к середине курса улетучивается желание учиться.
За время курса вы:
🔎 разберетесь в принципах работы ElasticSearch/OpenSearch
🔎 установите и настроите кластер
🔎 настроите сбор и обработку неструктурированных данных
🔎 получите опыт работы с политикам жизненного цикла индексов
🔎 научитесь проработке архитектуры будущего кластера в зависимости от нагрузки
🔎 поймете как оптимизировать хранение данных
🔎 узнаете много интересного, о чём не написано в документации
Ближайшие курсы в июне:
▶️ Программа ElasticSearch 2-4 июня
▶️ Программа OpenSearch 9-11 июня
Тренинг состоит из теоретической и практической части. Для практической части мы предоставляем лабораторные стенды. Оставить заявку, узнать стоимость обучения и другие детали можно через бот @gals_education_bot. Также заявку можно оставить через форму обратной связи на соответствующей странице тренинга (выше) либо написать на почту [email protected].
gals.software
Gals Software | Elastic Stack | Обучение
Обучение работе с ElasticSearch 8, Logstash 8, Kibana 8 (Elastic Stack 8)
The better alternative to Graphite monitoring tool
Пост от создателя VictoriaMetrics Александра Валялкина. Узнаете чем VM лучше Graphite 🙃
❗️Статья на medium.com
Пост от создателя VictoriaMetrics Александра Валялкина. Узнаете чем VM лучше Graphite 🙃
❗️Статья на medium.com
Помните, я как-то публиковал ссылку на репозиторий решения Keep? Это агрегатор событий из различных систем мониторинга. Как вчера оказалось, его продали компании Elastic. Интересно будет посмотреть как Elastic теперь будет интегрировать это решение в свой продукт.
Вспомните про Grafana OnCall, который был ранее Amixr и умел красиво отправлять алерты в Slack и прочие мессенджеры. Я уже писал, что его прикрыли в OSS-реализации и он стал платным в рамках отдельных коммерческих продуктов внутри Grafana. Как бы Keep не постигла та же участь с рамках большой компании. Что ж будем посмотреть.
❗️Расскажите в комментариях кто настроил работу Keep в проде и о своих впечатлениях о нем. Всем читателям будет интересно послушать.
Вспомните про Grafana OnCall, который был ранее Amixr и умел красиво отправлять алерты в Slack и прочие мессенджеры. Я уже писал, что его прикрыли в OSS-реализации и он стал платным в рамках отдельных коммерческих продуктов внутри Grafana. Как бы Keep не постигла та же участь с рамках большой компании. Что ж будем посмотреть.
❗️Расскажите в комментариях кто настроил работу Keep в проде и о своих впечатлениях о нем. Всем читателям будет интересно послушать.
Lokxy: A Smarter, Funnier Way to Query Multiple Loki Backends
Lokxy — агрегатор логов , работающий поверх нескольких бэкэндов Loki и предоставляющий единое представление всех логов. Он имеет открытый исходный код, создан на Go и не будет придираться к отступам в конфигурации YAML.
Статья на medium с описанием решения
Репыч на Гитхабе
Lokxy — агрегатор логов , работающий поверх нескольких бэкэндов Loki и предоставляющий единое представление всех логов. Он имеет открытый исходный код, создан на Go и не будет придираться к отступам в конфигурации YAML.
Статья на medium с описанием решения
Репыч на Гитхабе
Zabbix. Мониторинг больших рассылок
В статье приведен скрипт для извлечения из Exchange отправителей писем с количеством адресатов более двух и приведен пример настройки со стороны Zabbix.
В статье приведен скрипт для извлечения из Exchange отправителей писем с количеством адресатов более двух и приведен пример настройки со стороны Zabbix.
Ingest Metrics from Multiple Sources into Prometheus with OTel Collector
В статье рассказано как использовать OTel Collector в качестве центрального узла для бесперебойного приема метрик из разных источников, их последовательной обработки и отправки в Prometheus. Благодаря такому подходу вы можете создать у себя унифицированную платформу наблюдаемости.
В статье рассказано как использовать OTel Collector в качестве центрального узла для бесперебойного приема метрик из разных источников, их последовательной обработки и отправки в Prometheus. Благодаря такому подходу вы можете создать у себя унифицированную платформу наблюдаемости.
Простой Grafana дашборд для логов NestJS (feat nestjs-pino, Loki)
Эффективный мониторинг состояния веб-приложений остается одной из самых актуальных проблем в современной разработке. В погоне за быстрой реализацией продукта и выводом его на рынок, довольно часто приходится жертвовать настройкой системы мониторинга - даже базовой.
Однако здесь кроется скрытая угроза. Такой подход в разы усложняет отладку и дальнейшее сопровождение сервисов, а иногда это приводит к полнейшему хаосу при возникновении тех или иных непредвиденных ошибок.
Цель этой статьи - рассказать, как автор статьи, будучи Node.js разработчиком, столкнулся с отсутствием мониторинга логов и как разработчику настроить свой первый Grafana-дашборд, который легко масштабировать в полноценную систему мониторинга. Читать на Хабре.
Эффективный мониторинг состояния веб-приложений остается одной из самых актуальных проблем в современной разработке. В погоне за быстрой реализацией продукта и выводом его на рынок, довольно часто приходится жертвовать настройкой системы мониторинга - даже базовой.
Однако здесь кроется скрытая угроза. Такой подход в разы усложняет отладку и дальнейшее сопровождение сервисов, а иногда это приводит к полнейшему хаосу при возникновении тех или иных непредвиденных ошибок.
Цель этой статьи - рассказать, как автор статьи, будучи Node.js разработчиком, столкнулся с отсутствием мониторинга логов и как разработчику настроить свой первый Grafana-дашборд, который легко масштабировать в полноценную систему мониторинга. Читать на Хабре.
Где искать проблему в проде: сравнение профилирования с eBPF и BitDive
В статье разбирается разница между eBPF и BitDive: системное профилирование против глубокого анализа Java-приложений. Хотя, eBPF и BitDive работают на разных уровнях — системном и прикладном — они часто встречаются в одной проблемной зоне: когда нужно понять, почему в проде что-то тормозит. Читать дальше.
В статье разбирается разница между eBPF и BitDive: системное профилирование против глубокого анализа Java-приложений. Хотя, eBPF и BitDive работают на разных уровнях — системном и прикладном — они часто встречаются в одной проблемной зоне: когда нужно понять, почему в проде что-то тормозит. Читать дальше.
Grafana 12 release: observability as code, dynamic dashboards, new Grafana Alerting tools, and more
Вышла Grafana 12! Что нового:
🚀 наблюдаемость как код. В Grafana 12 появился новый набор инструментов наблюдения в виде кода, которые помогут автоматизировать процессы наблюдения в организации. Новая функциональность позволяет версионировать, проверять и развертывать дашборды. Кроме того, есть возможность использования шаблонов кода.
🚀 динамические дашборды. Динамические дашборды упрощают навигацию и ускоряют поиск необходимой информации с помощью вкладок, которые позволяют сегментировать дашборды по контексту, группе пользователей, а отображать или скрывать панели или целые строки в зависимости от выбора переменных или наличия на панели данных для отображения. Видео на Youtube с описанием функционала.
🚀 улучшенное отображение таблиц. В Grafana 12 можно загружать, сортировать и фильтровать большие таблицы быстрее, чем раньше. Визуализация таблиц была переработана для использования библиотеки react-data-grid. Дашборд в Grafana теперь легко обрабатывает огромные наборы данных: по 40 000+ строк и почти 20 столбцов с производительностью CPU на 97,8% выше.
🚀 новые темы в дашбордах. Появились темы Sapphire dusk, Tron, Gilded grove, Gloom и Desert bloom.
🚀 объединение и преобразование данных из нескольких источников. Теперь одним выражением в формате SQL-синтаксиса можно забирать данные из разных источников: Loki, MySQL, PostgreSQL и пр.
🚀 легкая миграция в Grafana Alerting. Упрощена миграция правил оповещений, которая позволяет импортировать правила оповещений Prometheus и Loki в правила оповещений, управляемые Grafana.
🚀 Grafana Drilldown в GA. Теперь возможность перехода из одного дашборда в другой перестала быть экспериментальной функцией.
Больше подробностей в блоге Grafana
Вышла Grafana 12! Что нового:
🚀 наблюдаемость как код. В Grafana 12 появился новый набор инструментов наблюдения в виде кода, которые помогут автоматизировать процессы наблюдения в организации. Новая функциональность позволяет версионировать, проверять и развертывать дашборды. Кроме того, есть возможность использования шаблонов кода.
🚀 динамические дашборды. Динамические дашборды упрощают навигацию и ускоряют поиск необходимой информации с помощью вкладок, которые позволяют сегментировать дашборды по контексту, группе пользователей, а отображать или скрывать панели или целые строки в зависимости от выбора переменных или наличия на панели данных для отображения. Видео на Youtube с описанием функционала.
🚀 улучшенное отображение таблиц. В Grafana 12 можно загружать, сортировать и фильтровать большие таблицы быстрее, чем раньше. Визуализация таблиц была переработана для использования библиотеки react-data-grid. Дашборд в Grafana теперь легко обрабатывает огромные наборы данных: по 40 000+ строк и почти 20 столбцов с производительностью CPU на 97,8% выше.
🚀 новые темы в дашбордах. Появились темы Sapphire dusk, Tron, Gilded grove, Gloom и Desert bloom.
🚀 объединение и преобразование данных из нескольких источников. Теперь одним выражением в формате SQL-синтаксиса можно забирать данные из разных источников: Loki, MySQL, PostgreSQL и пр.
🚀 легкая миграция в Grafana Alerting. Упрощена миграция правил оповещений, которая позволяет импортировать правила оповещений Prometheus и Loki в правила оповещений, управляемые Grafana.
🚀 Grafana Drilldown в GA. Теперь возможность перехода из одного дашборда в другой перестала быть экспериментальной функцией.
Больше подробностей в блоге Grafana
❗️Услуга консультации по Zabbix на 1-2 часа за 10 000 рублей.
Мы оказываем услуги не только по полноценному внедрению и технической поддержке Zabbix, но консультируем по конкретным кейсам. Как показал опыт предыдущих консультаций, наши клиенты знают не о всех возможностях Zabbix. Вы можете прийти к нам на консультацию, чтобы спросить о:
🚀 настройке сложных триггеров
🚀 оптимальной настройке вашей инсталляции
🚀 настройке отказоустойчивой конфигурации
🚀 оптимизации хранения данных
🚀 настройке действий, чтобы вашу команду не завалило оповещениями
🚀 решении текущих проблем с Zabbix
🚀 разных задачах, которые вы хотели бы реализовать
Консультация — быстрый способ решить конкретную проблему, чтобы не тратить время сотрудников на изучение документации или поиск в интернете.
Запросить дополнительную информацию вы можете у @galssoftware или через почту [email protected].
erid: 2Vtzqv9kf9k
Мы оказываем услуги не только по полноценному внедрению и технической поддержке Zabbix, но консультируем по конкретным кейсам. Как показал опыт предыдущих консультаций, наши клиенты знают не о всех возможностях Zabbix. Вы можете прийти к нам на консультацию, чтобы спросить о:
🚀 настройке сложных триггеров
🚀 оптимальной настройке вашей инсталляции
🚀 настройке отказоустойчивой конфигурации
🚀 оптимизации хранения данных
🚀 настройке действий, чтобы вашу команду не завалило оповещениями
🚀 решении текущих проблем с Zabbix
🚀 разных задачах, которые вы хотели бы реализовать
Консультация — быстрый способ решить конкретную проблему, чтобы не тратить время сотрудников на изучение документации или поиск в интернете.
Запросить дополнительную информацию вы можете у @galssoftware или через почту [email protected].
erid: 2Vtzqv9kf9k
rezolus
Rezolus — это агент для сбора телеметрии производительности Linux, который собирает подробную информацию о поведении системы с помощью инструментария eBPF. Собранные метрики отправляются напрямую в Prometheus.
Репыч на Гитхабе
Документация со списком собираемых метрик
Rezolus — это агент для сбора телеметрии производительности Linux, который собирает подробную информацию о поведении системы с помощью инструментария eBPF. Собранные метрики отправляются напрямую в Prometheus.
Репыч на Гитхабе
Документация со списком собираемых метрик
VictoriaMetrics Components: Getting Started
В этой статье в блоге VictoriaMetrics рассказывается об основных компонентах VictoriaMetrics и объясняется, как они работают вместе как часть комплексной системы мониторинга.
В этой статье в блоге VictoriaMetrics рассказывается об основных компонентах VictoriaMetrics и объясняется, как они работают вместе как часть комплексной системы мониторинга.
Anomaly Detection in Time Series Using Statistical Analysis
Иногда простое пороговое значение работает отлично — например, мониторинг дискового пространства на сервере. Можно просто установить оповещение при оставшихся 10%, и все будет в порядке. То же самое касается отслеживания доступной памяти на сервере.
Но что, если нужно отслеживать что-то вроде поведения пользователей на веб-сайте? Представьте себе, что вы управляете интернет-магазином, где продаете товары. Один из подходов может заключаться в том, чтобы установить минимальный порог для ежедневных продаж и проверять его раз в день. Но что, если что-то пойдет не так, и нужно будет обнаружить проблему гораздо раньше — в течение нескольких часов или даже минут? В этом случае статический порог не справится, потому что активность пользователей колеблется в течение дня. Вот тут-то и вступает в дело обнаружение аномалий. Читать дальше в статье.
❗️Статья на medium.com
Иногда простое пороговое значение работает отлично — например, мониторинг дискового пространства на сервере. Можно просто установить оповещение при оставшихся 10%, и все будет в порядке. То же самое касается отслеживания доступной памяти на сервере.
Но что, если нужно отслеживать что-то вроде поведения пользователей на веб-сайте? Представьте себе, что вы управляете интернет-магазином, где продаете товары. Один из подходов может заключаться в том, чтобы установить минимальный порог для ежедневных продаж и проверять его раз в день. Но что, если что-то пойдет не так, и нужно будет обнаружить проблему гораздо раньше — в течение нескольких часов или даже минут? В этом случае статический порог не справится, потому что активность пользователей колеблется в течение дня. Вот тут-то и вступает в дело обнаружение аномалий. Читать дальше в статье.
❗️Статья на medium.com
Introducing OpenTelemetry eBPF Instrumentation: Why we donated Grafana Beyla to OpenTelemetry
Около шести месяцев назад в Grafana Labs начался путь проекта Beyla — инструмента инструментирования с открытым исходным кодом на основе eBPF, не требующего написания кода — совместно с проектом OpenTelemetry. Grafana Labs контрибьютит код Beyla в OpenTelemetry под новым названием проекта OpenTelemetry eBPF Instrumentation.
В этой статье команда Grafana Labs рассказывает почему они передают свой проект Beyla в OpenTelemetry.
Около шести месяцев назад в Grafana Labs начался путь проекта Beyla — инструмента инструментирования с открытым исходным кодом на основе eBPF, не требующего написания кода — совместно с проектом OpenTelemetry. Grafana Labs контрибьютит код Beyla в OpenTelemetry под новым названием проекта OpenTelemetry eBPF Instrumentation.
В этой статье команда Grafana Labs рассказывает почему они передают свой проект Beyla в OpenTelemetry.
Отправка label в систему логирования и мониторинга из метаданных GitLab Runner (job_id, pipeline_id)
При использовании GitLab CI/CD с Kubernetes возникает необходимость видеть связку между логами и конкретными CI job'ами или pipeline'ами. Это особенно полезно для отладки и мониторинга. Однако по умолчанию логи из подов не содержат этих связующих метаданных.
В статье показано, как можно передавать метки job_id, pipeline_id, project_name и другие из GitLab Runner в систему логирования VictoriaLogs с помощью Promtail и систему мониторинга VictoriaMetrics.
При использовании GitLab CI/CD с Kubernetes возникает необходимость видеть связку между логами и конкретными CI job'ами или pipeline'ами. Это особенно полезно для отладки и мониторинга. Однако по умолчанию логи из подов не содержат этих связующих метаданных.
В статье показано, как можно передавать метки job_id, pipeline_id, project_name и другие из GitLab Runner в систему логирования VictoriaLogs с помощью Promtail и систему мониторинга VictoriaMetrics.
How We Migrated Terabytes of Metrics from InfluxDB to Grafana Mimir: A Complete Observability Overhaul
«К нам обратилась ведущая коммуникационная компания, которая хотела обновить свой устаревший стек наблюдаемости. Их существующая система была построена на InfluxDB v1, стеке TICK и Grafana 8, который подошел к окончанию поддержки, что создавало риски для надежности и долгосрочного обслуживания. Им нужна была современная, масштабируемая и экономически эффективная альтернатива — та, которая могла бы поддерживать многопользовательскую среду и эффективно обрабатывать годы исторических данных. После оценки нескольких вариантов они определили Grafana Mimir как идеальный выбор». Читать дальше.
«К нам обратилась ведущая коммуникационная компания, которая хотела обновить свой устаревший стек наблюдаемости. Их существующая система была построена на InfluxDB v1, стеке TICK и Grafana 8, который подошел к окончанию поддержки, что создавало риски для надежности и долгосрочного обслуживания. Им нужна была современная, масштабируемая и экономически эффективная альтернатива — та, которая могла бы поддерживать многопользовательскую среду и эффективно обрабатывать годы исторических данных. После оценки нескольких вариантов они определили Grafana Mimir как идеальный выбор». Читать дальше.
Удаление бакетов в S3: что стоит учесть?
Объектное хранилище S3 — надёжный способ работать с большими объёмами данных. 27 мая проведем митап для тех, кто хочет точно понимать, как устроены ключевые процессы S3 — от настройки версионирования до безопасного удаления бакетов.
В формате демо разберём
🔹 настройку версионирования, multipart-загрузок и lifecycle-политик
🔹 автоматизацию очистки бакета (включая delete marker и незавершённые multipart-загрузки)
🔹 как подготовить бакет к удалению
🔹 настройку политик доступа, временных ссылок и шифрование на стороне сервера SSE
Спикер
Евгения Тарашкевич, инженер K2 Cloud
Формат
Онлайн-митап
Ждем администраторов, девопсов, системных архитекторов и всех, кто работает с S3.
Зарегистрироваться>>
Объектное хранилище S3 — надёжный способ работать с большими объёмами данных. 27 мая проведем митап для тех, кто хочет точно понимать, как устроены ключевые процессы S3 — от настройки версионирования до безопасного удаления бакетов.
В формате демо разберём
🔹 настройку версионирования, multipart-загрузок и lifecycle-политик
🔹 автоматизацию очистки бакета (включая delete marker и незавершённые multipart-загрузки)
🔹 как подготовить бакет к удалению
🔹 настройку политик доступа, временных ссылок и шифрование на стороне сервера SSE
Спикер
Евгения Тарашкевич, инженер K2 Cloud
Формат
Онлайн-митап
Ждем администраторов, девопсов, системных архитекторов и всех, кто работает с S3.
Зарегистрироваться>>
Анализируем сетевой трафик средних и крупных сетей с помощью Netflow/IPFIX/sFlow и боремся с DoS/DDoS с помощью BGP
xenoeye — open source xFlow-коллектор и анализатор. Анализатор собирает xFlow (Netflow и некоторые родственные протоколы типа Jflow, IPFIX, sFlow), распределяет их по объектам мониторинга, экспортирует информацию в СУБД (в текущей версии PostgreSQL), и может быстро реагировать на всплески трафика выше порогов для детекции DoS/DDoS атак с помощью скользящих средних.
Статья с описанием решения на Хабре
Репыч на Гитхабе
xenoeye — open source xFlow-коллектор и анализатор. Анализатор собирает xFlow (Netflow и некоторые родственные протоколы типа Jflow, IPFIX, sFlow), распределяет их по объектам мониторинга, экспортирует информацию в СУБД (в текущей версии PostgreSQL), и может быстро реагировать на всплески трафика выше порогов для детекции DoS/DDoS атак с помощью скользящих средних.
Статья с описанием решения на Хабре
Репыч на Гитхабе
Исследование состояния DevOps в России 2025
Дорогие друзья, мы рады сообщить, что «Экспресс 42» при поддержке генеральных партнеров запустила ежегодное исследование состояния DevOps 2025! Мы планируем опросить больше 4000 представителей индустрии, связанных с DevOps: инженеров, разработчиков, администраторов, тестировщиков, техлидов и тимлидов, CIO и CTO.
Если тема DevOps вам не безразлична — пройдите опрос и внесите свой вклад в развитие индустрии. Важно мнение каждого респондента!
📊 Ключевой темой исследования в 2025 году становится Developer Experience (DX) — то, насколько опыт разработчиков влияет на эффективность команд и успех компании.
🎁 По завершении опроса вы сможете поучаствовать в лотерее с розыгрышем классных призов от организатора исследования и генеральных партнёров.
Вас ждут эксклюзивный мерч, подписки на полезные и развлекательные сервисы, промокоды на незаменимые в работе продукты, билеты на профильные конференции Highload++, DevOpsConf и другие подарки. Проходите опрос, участвуйте в розыгрыше подарков и побеждайте!
Участники первыми узнают о результатах и получат готовый отчёт, как только он будет готов.
Заполнить анкету 👉 по ссылке
Дорогие друзья, мы рады сообщить, что «Экспресс 42» при поддержке генеральных партнеров запустила ежегодное исследование состояния DevOps 2025! Мы планируем опросить больше 4000 представителей индустрии, связанных с DevOps: инженеров, разработчиков, администраторов, тестировщиков, техлидов и тимлидов, CIO и CTO.
Если тема DevOps вам не безразлична — пройдите опрос и внесите свой вклад в развитие индустрии. Важно мнение каждого респондента!
📊 Ключевой темой исследования в 2025 году становится Developer Experience (DX) — то, насколько опыт разработчиков влияет на эффективность команд и успех компании.
🎁 По завершении опроса вы сможете поучаствовать в лотерее с розыгрышем классных призов от организатора исследования и генеральных партнёров.
Вас ждут эксклюзивный мерч, подписки на полезные и развлекательные сервисы, промокоды на незаменимые в работе продукты, билеты на профильные конференции Highload++, DevOpsConf и другие подарки. Проходите опрос, участвуйте в розыгрыше подарков и побеждайте!
Участники первыми узнают о результатах и получат готовый отчёт, как только он будет готов.
Заполнить анкету 👉 по ссылке
VictoriaMetrics : Effective alerts, from theory to practice
Golden Signals, PromQL/MetricsQL и VMalert. В статье разобраны подходы к алертингу из VM.
Golden Signals, PromQL/MetricsQL и VMalert. В статье разобраны подходы к алертингу из VM.
