Логи в файлах: написал своё приложение для просмотра структурированных логов
Не каждому проекту нужно децентрализованное логирование. В моём случае, оказалось проще хранить логи в .json файлах формата Compact Log Event Format (CLEF). Мне нужно было простое и бесплатное решение для просмотра логов. Читать статью.
Не каждому проекту нужно децентрализованное логирование. В моём случае, оказалось проще хранить логи в .json файлах формата Compact Log Event Format (CLEF). Мне нужно было простое и бесплатное решение для просмотра логов. Читать статью.
MaaS, или мониторинг как сервис
В статье о том, как устроен мониторинг в Газпромбанке. Читать статью.
В статье о том, как устроен мониторинг в Газпромбанке. Читать статью.
Grafana 11 — уже доступна в preview (к 14 мая обещают выпустить в GA)
Как и полагается любой приличной мажорной версии — в Grafana 11 много чего нового.
🚀 Explore Metrics — обозреватель метрик Prometheus.Теперь не нужен PromQL.
🚀 Canvas panel — улучшенный визуальный редактор для создания схем потоков данных.
🚀 Colored background cell — возможности форматирования ячеек таблицы по условиям.
🚀 Невероятно, но появились подпапки для дашбордов.
🚀 Улучшенные возможности экспорта в PDF.
И много чего еще. Подробнее — в блоге Grafana.
Как и полагается любой приличной мажорной версии — в Grafana 11 много чего нового.
🚀 Explore Metrics — обозреватель метрик Prometheus.Теперь не нужен PromQL.
🚀 Canvas panel — улучшенный визуальный редактор для создания схем потоков данных.
🚀 Colored background cell — возможности форматирования ячеек таблицы по условиям.
🚀 Невероятно, но появились подпапки для дашбордов.
🚀 Улучшенные возможности экспорта в PDF.
И много чего еще. Подробнее — в блоге Grafana.
Чат для пользователей PRTG
Используете PRTG? Присоединяйтесь к чату русскоязычных пользователей @prtg_ru
Используете PRTG? Присоединяйтесь к чату русскоязычных пользователей @prtg_ru
Introducing an OpenTelemetry Collector distribution with built-in Prometheus pipelines: Grafana Alloy
Вчера я уже публиковал новость с GrafanaCON 2024 — анонс Grafana 11. Сегодня еще одна новость от Grafana — анонс нового продукта Grafana Alloy. Это сборщик телеметрии, который на 100% совместим с OTLP и предлагает собственные конвейеры для форматов телеметрии OpenTelemetry и Prometheus, поддерживая метрики, логи, трейсы и журналы профилирования. Пишут, что это не «еще один коллектор», а воплощение опыта Grafana. Что ж, будем посмотреть. Подробнее в блоге Grafana.
Вчера я уже публиковал новость с GrafanaCON 2024 — анонс Grafana 11. Сегодня еще одна новость от Grafana — анонс нового продукта Grafana Alloy. Это сборщик телеметрии, который на 100% совместим с OTLP и предлагает собственные конвейеры для форматов телеметрии OpenTelemetry и Prometheus, поддерживая метрики, логи, трейсы и журналы профилирования. Пишут, что это не «еще один коллектор», а воплощение опыта Grafana. Что ж, будем посмотреть. Подробнее в блоге Grafana.
Зонтичный мониторинг на коленке
Любопытный пример реализации одной из частей зонтичной системы мониторинга — сервисно-ресурсной модели. Правда, не в виде графа, а вложенным списком. Будущий убийца аналогичных промышленных решений. Что ж, будем посмотреть.
Статья на Хабре
Любопытный пример реализации одной из частей зонтичной системы мониторинга — сервисно-ресурсной модели. Правда, не в виде графа, а вложенным списком. Будущий убийца аналогичных промышленных решений. Что ж, будем посмотреть.
Статья на Хабре
Уже работаете с k8s? Настало время расширить стек!
Kubernetes: Мега — продвинутый курс Слёрма для тех, кто хочет понять структуру технологии и научиться самостоятельно решать сложные задачи.
Что будет на курсе:
❓создание отказоустойчивого кластера изнутри и аутентификацию пользователей в кластере;
❓ stateful приложения в кластере;
❓ хранение секретов;
❓ horizontal Pod Autoscaler;
❓ резервное копирование кластеров и служебные сертификаты;
❓ deploy и service mesh.
Вас ждут подробные видеолекции, практика на стендах в личном кабинете, АМА-сессии со спикерами и чат с куратором и другими участниками курса.
Старт нового потока на этой неделе!
ПОДРОБНОСТИ О КУРСЕ
Kubernetes: Мега — продвинутый курс Слёрма для тех, кто хочет понять структуру технологии и научиться самостоятельно решать сложные задачи.
Что будет на курсе:
❓создание отказоустойчивого кластера изнутри и аутентификацию пользователей в кластере;
❓ stateful приложения в кластере;
❓ хранение секретов;
❓ horizontal Pod Autoscaler;
❓ резервное копирование кластеров и служебные сертификаты;
❓ deploy и service mesh.
Вас ждут подробные видеолекции, практика на стендах в личном кабинете, АМА-сессии со спикерами и чат с куратором и другими участниками курса.
Старт нового потока на этой неделе!
ПОДРОБНОСТИ О КУРСЕ
Log Management Using Promtail-Loki-Grafana stack Secure Data Masking
В статье рассмотрены компоненты стека Promtail-Loki-Grafana, с пояснением их ролей в агрегировании, хранении и визуализации данных логов. Кроме того, рассказывается о концепции маскирования данных, обсуждается значение этого подхода для соблюдения правил защиты данных. Читать статью.
❗️Статья на Медиум.
В статье рассмотрены компоненты стека Promtail-Loki-Grafana, с пояснением их ролей в агрегировании, хранении и визуализации данных логов. Кроме того, рассказывается о концепции маскирования данных, обсуждается значение этого подхода для соблюдения правил защиты данных. Читать статью.
❗️Статья на Медиум.
«Миграция в облако: быстро и без ошибок»
Чтобы мигрировать в облако быстро, без простоев и лишних затрат, необходимо очень тщательно продумать все шаги и тщательно спланировать весь процесс. 26 апреля 16:00 МСК на вебинаре «Миграция в облако: быстро и без ошибок» команда Professional Services VK Cloud в прямом эфире расскажет:
• из каких этапов состоит миграция;
• как сделать процесс миграции прозрачным и простым;
• как мигрировать IaaS и PaaS в VK Cloud;
• что делать, если вы попали под «вендор лок»? Спойлер: «вендор лок» — не приговор. Выход есть!
• как локализовать данные и серверную инфраструктуру в России;
• как получить двойной бонус от чека Microsoft Azure, AWS и Google Cloud и бесплатно мигрировать в облако VK Cloud.
Спикеры проведут life-demo миграции наиболее популярных сервисов и инфраструктуры в VK Cloud, а также ответят на все вопросы во время Q&A-сессии.
Вебинар будет интересен специалистам ИT-подразделений компаний, разработчикам, инженерам и системным администраторам.
Зарегистрироваться
Чтобы мигрировать в облако быстро, без простоев и лишних затрат, необходимо очень тщательно продумать все шаги и тщательно спланировать весь процесс. 26 апреля 16:00 МСК на вебинаре «Миграция в облако: быстро и без ошибок» команда Professional Services VK Cloud в прямом эфире расскажет:
• из каких этапов состоит миграция;
• как сделать процесс миграции прозрачным и простым;
• как мигрировать IaaS и PaaS в VK Cloud;
• что делать, если вы попали под «вендор лок»? Спойлер: «вендор лок» — не приговор. Выход есть!
• как локализовать данные и серверную инфраструктуру в России;
• как получить двойной бонус от чека Microsoft Azure, AWS и Google Cloud и бесплатно мигрировать в облако VK Cloud.
Спикеры проведут life-demo миграции наиболее популярных сервисов и инфраструктуры в VK Cloud, а также ответят на все вопросы во время Q&A-сессии.
Вебинар будет интересен специалистам ИT-подразделений компаний, разработчикам, инженерам и системным администраторам.
Зарегистрироваться
OTel Collector Anti-Patterns
Коллектор OpenTelemetry — гибкий и мощный конвейер данных, который позволяет получать данные OTel из одного или нескольких источников, преобразовывать их (включая пакетную обработку, фильтрацию и маскирование) и экспортировать их в один или несколько серверов для анализа. Как и в случае со многими другими инструментами, очень легко приобрести вредные привычки. В статье рассказывается о пяти антипаттернах OpenTelemetry Collector и о том, как их избежать. Читать статью.
❗️Статья на Медиум.
Коллектор OpenTelemetry — гибкий и мощный конвейер данных, который позволяет получать данные OTel из одного или нескольких источников, преобразовывать их (включая пакетную обработку, фильтрацию и маскирование) и экспортировать их в один или несколько серверов для анализа. Как и в случае со многими другими инструментами, очень легко приобрести вредные привычки. В статье рассказывается о пяти антипаттернах OpenTelemetry Collector и о том, как их избежать. Читать статью.
❗️Статья на Медиум.
Цикл статей от VictoriaMetrics по обнаружению аномалий в данных
Anomaly Detection for Time Series Data: An Introduction
Anomaly Detection for Time Series Data: Anomaly Types
Anomaly Detection for Time Series Data: Techniques and Models
Anomaly Detection for Time Series Data: An Introduction
Anomaly Detection for Time Series Data: Anomaly Types
Anomaly Detection for Time Series Data: Techniques and Models
Мониторинг Celery
Существует популярный подход к покрытию метриками Celery: он заключается в запуске некоторого процесса, который слушает события из специальной очереди, на основе этих событий обновляются объекты метрик, а фоновый поток сервера отдаёт собранные метрики скраперу. В этой статье подробно разобраны события, их жизненный цикл, откуда и как их принимать. Также рассказано про механизм удалённого управления (remote control), какие у него есть возможности и как им пользоваться. Читать статью.
Существует популярный подход к покрытию метриками Celery: он заключается в запуске некоторого процесса, который слушает события из специальной очереди, на основе этих событий обновляются объекты метрик, а фоновый поток сервера отдаёт собранные метрики скраперу. В этой статье подробно разобраны события, их жизненный цикл, откуда и как их принимать. Также рассказано про механизм удалённого управления (remote control), какие у него есть возможности и как им пользоваться. Читать статью.
Monitoring Kubernetes network traffic by using eBPF
В этой статье рассказывают как Apache SkyWalking, используя технологию eBPF, позволяет мониторить сетевой трафик в кластере k8s. Читать статью.
❗️Статья на Медиум.
В этой статье рассказывают как Apache SkyWalking, используя технологию eBPF, позволяет мониторить сетевой трафик в кластере k8s. Читать статью.
❗️Статья на Медиум.
Create your own open-source observability platform using ArgoCD, Prometheus, AlertManager, OpenTelemetry and Tempo
В первой части статьи рассказано как развернуть kube-prometheus-stack, во второй — как подцепить его к OpenTelemetry и Tempo. Читать статью.
В первой части статьи рассказано как развернуть kube-prometheus-stack, во второй — как подцепить его к OpenTelemetry и Tempo. Читать статью.
Continous Profiling with Grafana Pyroscope
Профилирование кода в течение определенного периода времени позволяет быстрее находить, отлаживать и исправлять ошибки, связанные с производительностью приложений. В статье примеры использования Grafana Pyroscope для целей непрерывного профилирования. Читать статью.
❗️Статья на Медиум.
Профилирование кода в течение определенного периода времени позволяет быстрее находить, отлаживать и исправлять ошибки, связанные с производительностью приложений. В статье примеры использования Grafana Pyroscope для целей непрерывного профилирования. Читать статью.
❗️Статья на Медиум.
Kubernetes Monitoring: Effective Cluster Tracking with Prometheus
Статья-воркшоп по настройке мониторинга кластера k8s при помощи Prometheus. Читать статью.
❗️Статья на Медиум.
Статья-воркшоп по настройке мониторинга кластера k8s при помощи Prometheus. Читать статью.
❗️Статья на Медиум.
Integration of Thanos with Prometheus and S3 as Storage
В этой статье описаны процедуры настройки Thanos в кластере Kubernetes с использованием Kube-Prometheus-Stack (Helm Chart) и данных метрик, хранящихся S3. Читать статью.
❗️Статья на Медиум.
В этой статье описаны процедуры настройки Thanos в кластере Kubernetes с использованием Kube-Prometheus-Stack (Helm Chart) и данных метрик, хранящихся S3. Читать статью.
❗️Статья на Медиум.
Simplifying Certificate Monitoring in Kubernetes with SSL Exporter
SSL Exporter — инструмент для мониторинга сертификатов в Kubernetes. Он может проверять самые разные вещи, такие как TCP-соединения, веб-сайты HTTPS и даже секреты Kubernetes, где хранятся сертификаты. В статье разобран пример использования SSL Exporter. Читать статью.
❗️Статья на Медиум.
SSL Exporter — инструмент для мониторинга сертификатов в Kubernetes. Он может проверять самые разные вещи, такие как TCP-соединения, веб-сайты HTTPS и даже секреты Kubernetes, где хранятся сертификаты. В статье разобран пример использования SSL Exporter. Читать статью.
❗️Статья на Медиум.
Как ELK довел нас… до Vector.dev и Clickhouse
В этой статье, Дима Синявский SRE-инженер из Vi.Tech (IT-дочка ВсеИнструменты.ру) рассказывает о том как они развивали систему логирования. Зачем им понадобился стэк Vector.dev + Clickhouse для хранения и почем он оказался выгоднее EFK.
Был ли у кого-то аналогичный опыт перехода с Elasticsearch на Clickhouse? Расскажите в комментариях.
В этой статье, Дима Синявский SRE-инженер из Vi.Tech (IT-дочка ВсеИнструменты.ру) рассказывает о том как они развивали систему логирования. Зачем им понадобился стэк Vector.dev + Clickhouse для хранения и почем он оказался выгоднее EFK.
Был ли у кого-то аналогичный опыт перехода с Elasticsearch на Clickhouse? Расскажите в комментариях.
