ClickHouse как бэкенд для Prometheus
Вы узнаете про мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье также есть рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics. Читать статью.
Вы узнаете про мощные возможности ClickHouse для эффективного долгосрочного хранения метрик Prometheus. В статье также есть рекомендации по использованию инструмента и описание альтернативных решений, таких как Thanos, Grafana Mimir и Victoria Metrics. Читать статью.
Как мы выстроили систему визуализации ошибок с помощью Grafana и снизили время на их отработку с 2 часов до 15 секунд
Решение, как архитектурное так и практическое, пришло, как это часто бывает, со стороны разработки. Операции, производимые с данными, логировались с самого начала. Эти логи складывались в БД. Мы решили их расширить, продлить (не все источники логировались с одинаковой степенью глубины) и визуализировать.
Для визуализации взяли популярный инструмент, который выводит нужную информацию в удобочитаемом виде — Grafana. Обновления в этой системе выглядят в виде самолетной панели — все видно на одном экране.
Теперь у нас работает цепочка Backend -> Prometheus -> Grafana. Скорость изучения статуса обновления снизилась с 2 часов (когда специалист вручную шел в логи при возникновении ошибки) до 15 секунд.
Читать статью на Хабре.
Решение, как архитектурное так и практическое, пришло, как это часто бывает, со стороны разработки. Операции, производимые с данными, логировались с самого начала. Эти логи складывались в БД. Мы решили их расширить, продлить (не все источники логировались с одинаковой степенью глубины) и визуализировать.
Для визуализации взяли популярный инструмент, который выводит нужную информацию в удобочитаемом виде — Grafana. Обновления в этой системе выглядят в виде самолетной панели — все видно на одном экране.
Теперь у нас работает цепочка Backend -> Prometheus -> Grafana. Скорость изучения статуса обновления снизилась с 2 часов (когда специалист вручную шел в логи при возникновении ошибки) до 15 секунд.
Читать статью на Хабре.
Мы запустили профессиональную сертификацию по облачным технологиям!
Наша программа сертификации ориентирована на международные стандарты, поэтому теперь специалисты по облачным технологиям смогут официально подтвердить свои компетенции. Это поможет им получить конкурентное преимущество при трудоустройстве, ускорить развитие карьеры и претендовать на более высокую оплату. А для тех, кто работает с заказчиками напрямую, — получать более выгодные контракты.
Экзамен на сертификат Yandex Cloud Certified Engineer Associate проверяет знания и навыки в шести областях:
• Базовые облачные технологии
• Хранение и обработка данных
• DevOps и автоматизация
• Бессерверные вычисления
• Информационная безопасность
• Биллинг
🔍 О том, как устроена сертификация, что нужно сделать для подготовки и участия в первом экзамене, читайте по ссылке.
Наша программа сертификации ориентирована на международные стандарты, поэтому теперь специалисты по облачным технологиям смогут официально подтвердить свои компетенции. Это поможет им получить конкурентное преимущество при трудоустройстве, ускорить развитие карьеры и претендовать на более высокую оплату. А для тех, кто работает с заказчиками напрямую, — получать более выгодные контракты.
Экзамен на сертификат Yandex Cloud Certified Engineer Associate проверяет знания и навыки в шести областях:
• Базовые облачные технологии
• Хранение и обработка данных
• DevOps и автоматизация
• Бессерверные вычисления
• Информационная безопасность
• Биллинг
🔍 О том, как устроена сертификация, что нужно сделать для подготовки и участия в первом экзамене, читайте по ссылке.
Prometheus & OpenTelemetry: Better Together
Статья о том как подружить Prometheus и OTel c примерами настроек. Читать статью.
Статья на Медиум.
Статья о том как подружить Prometheus и OTel c примерами настроек. Читать статью.
Статья на Медиум.
Monitoring Kubernetes Security Metrics with Prometheus and Kubescape
Пошаговая инструкция по мониторингу безопасности Kubernetes. Разобрана настройка аудита логов Kubernetes при помощи Kubescape, отправка из в Loki и дальнейшая визуализация в Grafana. Читать статью.
❗️ Статья на Медиум
Пошаговая инструкция по мониторингу безопасности Kubernetes. Разобрана настройка аудита логов Kubernetes при помощи Kubescape, отправка из в Loki и дальнейшая визуализация в Grafana. Читать статью.
❗️ Статья на Медиум
SRE Interview Prep Plan
В этом цикле статей 6-недельный план, который составлен, чтобы пройти через весь процесс подготовки к собеседованию на позицию SRE. На каждой неделе уделено внимание развитию знаний в ключевых областях, которые должны знать SRE, таких как автоматизация, мониторинг, реагирование на инциденты и т. д.
В статьях собраны ссылки на материалы для подготовки. Полезный свод знаний для подготовки к интервью. В одном из прошлых постов ссылка на статьи по первым 4 неделям, отдельно вышел пост со ссылкой на статью по 5 неделе. А в этом посте заключительная статья по 6 неделе подготовки к интервью на позицию SRE
Неделя 6
Day 1-2: LeetCode Coding Challenges
Day 3: System Design Fundamentals
Day 4-5: Behavioral Mock Interviews Focusing on SRE Scenarios
Day 6-7: Revision and Feedback
В этом цикле статей 6-недельный план, который составлен, чтобы пройти через весь процесс подготовки к собеседованию на позицию SRE. На каждой неделе уделено внимание развитию знаний в ключевых областях, которые должны знать SRE, таких как автоматизация, мониторинг, реагирование на инциденты и т. д.
В статьях собраны ссылки на материалы для подготовки. Полезный свод знаний для подготовки к интервью. В одном из прошлых постов ссылка на статьи по первым 4 неделям, отдельно вышел пост со ссылкой на статью по 5 неделе. А в этом посте заключительная статья по 6 неделе подготовки к интервью на позицию SRE
Неделя 6
Day 1-2: LeetCode Coding Challenges
Day 3: System Design Fundamentals
Day 4-5: Behavioral Mock Interviews Focusing on SRE Scenarios
Day 6-7: Revision and Feedback
Kubeshark — мониторинг и анализ Kubernetes
Kubeshark захватывает пакеты на уровнях L3 и L7. В результате, можно создать дашборд мониторинга для визуализации данных Kubernetes по аналогии того же самого Wireshark. Читать статью.
Kubeshark захватывает пакеты на уровнях L3 и L7. В результате, можно создать дашборд мониторинга для визуализации данных Kubernetes по аналогии того же самого Wireshark. Читать статью.
erid: 2VtzqxHHvUv
👀 В 2013 году мой одногруппник на заводе мог заработать больше, чем я в айти.
Такой расклад меня не устраивал, и я искал себя в других сферах — работал в такси, пробовал открыть бизнес, преподавал танцы...
/да-да, представьте себе танцующего айтишника 😅
В Southbridge я начал с младшей позиции — работал ночным администратором и реагировал на аварии. Затем уже перешел в основную команду.
Скажу честно: поначалу было очень напряженно. Приходилось сидеть вечерами и самому осваивать тонну новой информации. При этом зарплата все еще не устраивала. Да, одногруппника на заводе я догнал, но хотелось большего.
Ближе к 2018 году мы активно начали работать с контейнерами, и я оказался перед выбором: остаться на позиции системного администратора или расширить стек технологий и пойти в девопс.
Я выбрал второй вариант, и это было одно из лучших решений в жизни.
Почему DevOps?
1⃣ Это дает возможность мощно прокачаться в техническом плане;
2⃣ Это позволяет повысить зарплату минимум в 2-3 раза, причем сделать это можно всего за полгода;
3⃣ Топовые компании с руками отрывают грамотных DevOps-специалистов.
Когда я начинал свой путь, методология только набирала популярность. У девопс есть своя специфика, и она не так уж проста, поэтому мне очень не хватало какой-то маршрутной карты, чтобы структурировать знания.
⚡ И я хочу, чтобы она была у вас!
Мы в Слёрме подготовили крутой роадмап по базовым и основным компетенциям для всех, кто собирается в DevOps. Он создан с учетом российских реалий, разбит на уровни и фокусирует внимание на том, что в первую очередь
понадобится для старта и роста в профессии.
🔗 ЗАБРАТЬ РОАДМАП
Такой расклад меня не устраивал, и я искал себя в других сферах — работал в такси, пробовал открыть бизнес, преподавал танцы...
/да-да, представьте себе танцующего айтишника 😅
В Southbridge я начал с младшей позиции — работал ночным администратором и реагировал на аварии. Затем уже перешел в основную команду.
Скажу честно: поначалу было очень напряженно. Приходилось сидеть вечерами и самому осваивать тонну новой информации. При этом зарплата все еще не устраивала. Да, одногруппника на заводе я догнал, но хотелось большего.
Ближе к 2018 году мы активно начали работать с контейнерами, и я оказался перед выбором: остаться на позиции системного администратора или расширить стек технологий и пойти в девопс.
Я выбрал второй вариант, и это было одно из лучших решений в жизни.
Почему DevOps?
Когда я начинал свой путь, методология только набирала популярность. У девопс есть своя специфика, и она не так уж проста, поэтому мне очень не хватало какой-то маршрутной карты, чтобы структурировать знания.
Мы в Слёрме подготовили крутой роадмап по базовым и основным компетенциям для всех, кто собирается в DevOps. Он создан с учетом российских реалий, разбит на уровни и фокусирует внимание на том, что в первую очередь
понадобится для старта и роста в профессии.
Please open Telegram to view this post
VIEW IN TELEGRAM
Логи в файлах: написал своё приложение для просмотра структурированных логов
Не каждому проекту нужно децентрализованное логирование. В моём случае, оказалось проще хранить логи в .json файлах формата Compact Log Event Format (CLEF). Мне нужно было простое и бесплатное решение для просмотра логов. Читать статью.
Не каждому проекту нужно децентрализованное логирование. В моём случае, оказалось проще хранить логи в .json файлах формата Compact Log Event Format (CLEF). Мне нужно было простое и бесплатное решение для просмотра логов. Читать статью.
MaaS, или мониторинг как сервис
В статье о том, как устроен мониторинг в Газпромбанке. Читать статью.
В статье о том, как устроен мониторинг в Газпромбанке. Читать статью.
Grafana 11 — уже доступна в preview (к 14 мая обещают выпустить в GA)
Как и полагается любой приличной мажорной версии — в Grafana 11 много чего нового.
🚀 Explore Metrics — обозреватель метрик Prometheus.Теперь не нужен PromQL.
🚀 Canvas panel — улучшенный визуальный редактор для создания схем потоков данных.
🚀 Colored background cell — возможности форматирования ячеек таблицы по условиям.
🚀 Невероятно, но появились подпапки для дашбордов.
🚀 Улучшенные возможности экспорта в PDF.
И много чего еще. Подробнее — в блоге Grafana.
Как и полагается любой приличной мажорной версии — в Grafana 11 много чего нового.
🚀 Explore Metrics — обозреватель метрик Prometheus.Теперь не нужен PromQL.
🚀 Canvas panel — улучшенный визуальный редактор для создания схем потоков данных.
🚀 Colored background cell — возможности форматирования ячеек таблицы по условиям.
🚀 Невероятно, но появились подпапки для дашбордов.
🚀 Улучшенные возможности экспорта в PDF.
И много чего еще. Подробнее — в блоге Grafana.
Чат для пользователей PRTG
Используете PRTG? Присоединяйтесь к чату русскоязычных пользователей @prtg_ru
Используете PRTG? Присоединяйтесь к чату русскоязычных пользователей @prtg_ru
Introducing an OpenTelemetry Collector distribution with built-in Prometheus pipelines: Grafana Alloy
Вчера я уже публиковал новость с GrafanaCON 2024 — анонс Grafana 11. Сегодня еще одна новость от Grafana — анонс нового продукта Grafana Alloy. Это сборщик телеметрии, который на 100% совместим с OTLP и предлагает собственные конвейеры для форматов телеметрии OpenTelemetry и Prometheus, поддерживая метрики, логи, трейсы и журналы профилирования. Пишут, что это не «еще один коллектор», а воплощение опыта Grafana. Что ж, будем посмотреть. Подробнее в блоге Grafana.
Вчера я уже публиковал новость с GrafanaCON 2024 — анонс Grafana 11. Сегодня еще одна новость от Grafana — анонс нового продукта Grafana Alloy. Это сборщик телеметрии, который на 100% совместим с OTLP и предлагает собственные конвейеры для форматов телеметрии OpenTelemetry и Prometheus, поддерживая метрики, логи, трейсы и журналы профилирования. Пишут, что это не «еще один коллектор», а воплощение опыта Grafana. Что ж, будем посмотреть. Подробнее в блоге Grafana.
Зонтичный мониторинг на коленке
Любопытный пример реализации одной из частей зонтичной системы мониторинга — сервисно-ресурсной модели. Правда, не в виде графа, а вложенным списком. Будущий убийца аналогичных промышленных решений. Что ж, будем посмотреть.
Статья на Хабре
Любопытный пример реализации одной из частей зонтичной системы мониторинга — сервисно-ресурсной модели. Правда, не в виде графа, а вложенным списком. Будущий убийца аналогичных промышленных решений. Что ж, будем посмотреть.
Статья на Хабре
Уже работаете с k8s? Настало время расширить стек!
Kubernetes: Мега — продвинутый курс Слёрма для тех, кто хочет понять структуру технологии и научиться самостоятельно решать сложные задачи.
Что будет на курсе:
❓создание отказоустойчивого кластера изнутри и аутентификацию пользователей в кластере;
❓ stateful приложения в кластере;
❓ хранение секретов;
❓ horizontal Pod Autoscaler;
❓ резервное копирование кластеров и служебные сертификаты;
❓ deploy и service mesh.
Вас ждут подробные видеолекции, практика на стендах в личном кабинете, АМА-сессии со спикерами и чат с куратором и другими участниками курса.
Старт нового потока на этой неделе!
ПОДРОБНОСТИ О КУРСЕ
Kubernetes: Мега — продвинутый курс Слёрма для тех, кто хочет понять структуру технологии и научиться самостоятельно решать сложные задачи.
Что будет на курсе:
❓создание отказоустойчивого кластера изнутри и аутентификацию пользователей в кластере;
❓ stateful приложения в кластере;
❓ хранение секретов;
❓ horizontal Pod Autoscaler;
❓ резервное копирование кластеров и служебные сертификаты;
❓ deploy и service mesh.
Вас ждут подробные видеолекции, практика на стендах в личном кабинете, АМА-сессии со спикерами и чат с куратором и другими участниками курса.
Старт нового потока на этой неделе!
ПОДРОБНОСТИ О КУРСЕ
Log Management Using Promtail-Loki-Grafana stack Secure Data Masking
В статье рассмотрены компоненты стека Promtail-Loki-Grafana, с пояснением их ролей в агрегировании, хранении и визуализации данных логов. Кроме того, рассказывается о концепции маскирования данных, обсуждается значение этого подхода для соблюдения правил защиты данных. Читать статью.
❗️Статья на Медиум.
В статье рассмотрены компоненты стека Promtail-Loki-Grafana, с пояснением их ролей в агрегировании, хранении и визуализации данных логов. Кроме того, рассказывается о концепции маскирования данных, обсуждается значение этого подхода для соблюдения правил защиты данных. Читать статью.
❗️Статья на Медиум.
«Миграция в облако: быстро и без ошибок»
Чтобы мигрировать в облако быстро, без простоев и лишних затрат, необходимо очень тщательно продумать все шаги и тщательно спланировать весь процесс. 26 апреля 16:00 МСК на вебинаре «Миграция в облако: быстро и без ошибок» команда Professional Services VK Cloud в прямом эфире расскажет:
• из каких этапов состоит миграция;
• как сделать процесс миграции прозрачным и простым;
• как мигрировать IaaS и PaaS в VK Cloud;
• что делать, если вы попали под «вендор лок»? Спойлер: «вендор лок» — не приговор. Выход есть!
• как локализовать данные и серверную инфраструктуру в России;
• как получить двойной бонус от чека Microsoft Azure, AWS и Google Cloud и бесплатно мигрировать в облако VK Cloud.
Спикеры проведут life-demo миграции наиболее популярных сервисов и инфраструктуры в VK Cloud, а также ответят на все вопросы во время Q&A-сессии.
Вебинар будет интересен специалистам ИT-подразделений компаний, разработчикам, инженерам и системным администраторам.
Зарегистрироваться
Чтобы мигрировать в облако быстро, без простоев и лишних затрат, необходимо очень тщательно продумать все шаги и тщательно спланировать весь процесс. 26 апреля 16:00 МСК на вебинаре «Миграция в облако: быстро и без ошибок» команда Professional Services VK Cloud в прямом эфире расскажет:
• из каких этапов состоит миграция;
• как сделать процесс миграции прозрачным и простым;
• как мигрировать IaaS и PaaS в VK Cloud;
• что делать, если вы попали под «вендор лок»? Спойлер: «вендор лок» — не приговор. Выход есть!
• как локализовать данные и серверную инфраструктуру в России;
• как получить двойной бонус от чека Microsoft Azure, AWS и Google Cloud и бесплатно мигрировать в облако VK Cloud.
Спикеры проведут life-demo миграции наиболее популярных сервисов и инфраструктуры в VK Cloud, а также ответят на все вопросы во время Q&A-сессии.
Вебинар будет интересен специалистам ИT-подразделений компаний, разработчикам, инженерам и системным администраторам.
Зарегистрироваться
OTel Collector Anti-Patterns
Коллектор OpenTelemetry — гибкий и мощный конвейер данных, который позволяет получать данные OTel из одного или нескольких источников, преобразовывать их (включая пакетную обработку, фильтрацию и маскирование) и экспортировать их в один или несколько серверов для анализа. Как и в случае со многими другими инструментами, очень легко приобрести вредные привычки. В статье рассказывается о пяти антипаттернах OpenTelemetry Collector и о том, как их избежать. Читать статью.
❗️Статья на Медиум.
Коллектор OpenTelemetry — гибкий и мощный конвейер данных, который позволяет получать данные OTel из одного или нескольких источников, преобразовывать их (включая пакетную обработку, фильтрацию и маскирование) и экспортировать их в один или несколько серверов для анализа. Как и в случае со многими другими инструментами, очень легко приобрести вредные привычки. В статье рассказывается о пяти антипаттернах OpenTelemetry Collector и о том, как их избежать. Читать статью.
❗️Статья на Медиум.
