ClickHouse: полезные лайфхаки
«Я начала пользоваться ClickHouse до того, как это стало мэйнстримом: первый раз я столкнулась c этой базой данных лет 8 назад. C тех пор я уверена, что это лучшая DB для аналитики. Большинство аналитиков, которых я знаю, в восторге от ClickHouse (иногда чтобы проникнуться, требуется немного времени: разобраться и привыкнуть к синтаксису). Однако, я не могу не отметить, что администрирование ClickHouse имеет свои нюансы и подводные камни, но это уже совсем другая история.
В этой статье я расскажу что такое ClickHouse и почему я считаю его идеально подходящим мощным инструментом для аналитики. А также поделюсь tips & tricks из моего опыта.» Читать статью.
«Я начала пользоваться ClickHouse до того, как это стало мэйнстримом: первый раз я столкнулась c этой базой данных лет 8 назад. C тех пор я уверена, что это лучшая DB для аналитики. Большинство аналитиков, которых я знаю, в восторге от ClickHouse (иногда чтобы проникнуться, требуется немного времени: разобраться и привыкнуть к синтаксису). Однако, я не могу не отметить, что администрирование ClickHouse имеет свои нюансы и подводные камни, но это уже совсем другая история.
В этой статье я расскажу что такое ClickHouse и почему я считаю его идеально подходящим мощным инструментом для аналитики. А также поделюсь tips & tricks из моего опыта.» Читать статью.
👍3
Клонирование ОС под шифрованным LVM на меньший по объему диск
Статья-туториал, основанная на личном опыте автора. Читать дальше.
Статья-туториал, основанная на личном опыте автора. Читать дальше.
❤6👏1
Оптимизация производительности запросов в ClickHouse: как ускорить неускоряемое
«Статья была подготовлена в начале года, когда я еще работал в ClickHouse. В ClickHouse я отвечал за словари, JIT-компиляцию, анализ и планирование запросов, но больше всего занимался оптимизациями производительности. Об этом и поговорим!
Я расскажу о высокоуровневой архитектуре ClickHouse, CI/CD, тестировании производительности, интроспекции, абстракциях и алгоритмах и выборе библиотек для высокопроизводительных приложений. Поделюсь ниндзя-техниками, которые помогут ускорить ваши системы. Вы сможете попробовать эти советы и практики на своем проекте и оценить насколько они полезны.» Читать дальше.
«Статья была подготовлена в начале года, когда я еще работал в ClickHouse. В ClickHouse я отвечал за словари, JIT-компиляцию, анализ и планирование запросов, но больше всего занимался оптимизациями производительности. Об этом и поговорим!
Я расскажу о высокоуровневой архитектуре ClickHouse, CI/CD, тестировании производительности, интроспекции, абстракциях и алгоритмах и выборе библиотек для высокопроизводительных приложений. Поделюсь ниндзя-техниками, которые помогут ускорить ваши системы. Вы сможете попробовать эти советы и практики на своем проекте и оценить насколько они полезны.» Читать дальше.
👍1
Учимся создавать и настраивать Jenkins Jobs
Jenkins CI позволяет разработчикам автоматизировать создание, тестирование и развёртывание кода. Jenkins Jobs фокусируется на непрерывном создании и тестировании кода, чтобы любые внесённые изменения легко интегрировались в сборку. В этой статье рассмотрено использование Jenkins в действии — разобрано, как создавать и настраивать Jenkins Jobs. Читать дальше.
Jenkins CI позволяет разработчикам автоматизировать создание, тестирование и развёртывание кода. Jenkins Jobs фокусируется на непрерывном создании и тестировании кода, чтобы любые внесённые изменения легко интегрировались в сборку. В этой статье рассмотрено использование Jenkins в действии — разобрано, как создавать и настраивать Jenkins Jobs. Читать дальше.
🔥2
👍7
lnav
Терминальная утилита для анализа лог-файлов. Возможности:
⚡️Логи из разных файлов сводятся в единое представление
⚡️Автоматически определяется формат лога
⚡️Автоматическая декомпрессия файлов GZip и BZip2
⚡️Фильтрация сообщений журнала на основе регулярных выражений
⚡️Использование SQL для анализа логов
⚡️И многое другое...
Репыч на Гитхабе.
Терминальная утилита для анализа лог-файлов. Возможности:
⚡️Логи из разных файлов сводятся в единое представление
⚡️Автоматически определяется формат лога
⚡️Автоматическая декомпрессия файлов GZip и BZip2
⚡️Фильтрация сообщений журнала на основе регулярных выражений
⚡️Использование SQL для анализа логов
⚡️И многое другое...
Репыч на Гитхабе.
👍4
HAProxy Logging Configuration Explained: How to Enable and View Log Files
В этой статье разбирается как включить различные логи HaProxy для полноценного анализа производительности. Читать статью.
В этой статье разбирается как включить различные логи HaProxy для полноценного анализа производительности. Читать статью.
👍5
External Debugging Tools 1: dtrace and strace
Удобные профайлеры для дебаггинга работы приложений на Linux-системах. Читать статью.
Удобные профайлеры для дебаггинга работы приложений на Linux-системах. Читать статью.
👍6
robusta
Robusta — это одновременно и инструмент автоматизации для Kubernetes, и платформа для многокластерной наблюдаемости.
Robusta обычно используется вместе с Prometheus, но поддерживаются и другие инструменты. Прослушивая все события в кластере, Robusta скажет, почему сработали оповещения, что произошло в это время и что вы можете с этим сделать. Robusta также может улучшить существующие оповещения и использоваться для создания новых оповещений.
Репыч на Гитхабе.
Robusta — это одновременно и инструмент автоматизации для Kubernetes, и платформа для многокластерной наблюдаемости.
Robusta обычно используется вместе с Prometheus, но поддерживаются и другие инструменты. Прослушивая все события в кластере, Robusta скажет, почему сработали оповещения, что произошло в это время и что вы можете с этим сделать. Robusta также может улучшить существующие оповещения и использоваться для создания новых оповещений.
Репыч на Гитхабе.
❤9
Database Sharding Explained
В этой статье рассказывается о шардинге баз данных, его преимуществах, о том, как его использовать и когда этого делать не следует. Читать статью.
В этой статье рассказывается о шардинге баз данных, его преимуществах, о том, как его использовать и когда этого делать не следует. Читать статью.
👍6
tbls
Решения для документирования баз данных. Поддерживаются PostgreSQL, MySQL, MariaDB, SQLite, BigQuery, Clod Spanner, Amazon Redshift, Microsoft SQL Server, Amazon DynamoDB, Snowflake и MongoDB.
Репыч на Гитхабе.
Решения для документирования баз данных. Поддерживаются PostgreSQL, MySQL, MariaDB, SQLite, BigQuery, Clod Spanner, Amazon Redshift, Microsoft SQL Server, Amazon DynamoDB, Snowflake и MongoDB.
Репыч на Гитхабе.
👍8
VolSync
VolSync выполняет асинхронную репликацию persistent volumes Kubernetes между кластерами с помощью rsync или rclone. Также поддерживается создание резервных копий persistent volumes через restic.
Репыч на Гитхабе.
VolSync выполняет асинхронную репликацию persistent volumes Kubernetes между кластерами с помощью rsync или rclone. Также поддерживается создание резервных копий persistent volumes через restic.
Репыч на Гитхабе.
👍3🔥1
Продвинутая работа с логами в Linux
Журнал событий journalctl — это компонент systemd, который захватывает сообщения Syslog, логи ядра, все события при инициализации системы (RAM, диск, boot, STDOUT/STDERR для всех сервисов), индексирует их и затем предоставляет удобной пользовательский интерфейс для поиска и фильтрации логов. Журнал (systemd journal) можно использовать вместе или вместо syslog или syslog-ng. Читать статью.
Журнал событий journalctl — это компонент systemd, который захватывает сообщения Syslog, логи ядра, все события при инициализации системы (RAM, диск, boot, STDOUT/STDERR для всех сервисов), индексирует их и затем предоставляет удобной пользовательский интерфейс для поиска и фильтрации логов. Журнал (systemd journal) можно использовать вместе или вместо syslog или syslog-ng. Читать статью.
👍2
Пример настройки Linux для высоконагруженных кластеров Кубернетес
Довольно часто можно встретить примеры настройки (тюнинга) сетевого стека Linux для высоконагруженных систем, однако некоторые из этих гайдов сильно устарели и не используют рекомендованные подходы к конфигурированию системы. В этом обзоре рассмотрена подготовка Linux, для использования в качестве узла управления Кубернетес. Читать статью.
Довольно часто можно встретить примеры настройки (тюнинга) сетевого стека Linux для высоконагруженных систем, однако некоторые из этих гайдов сильно устарели и не используют рекомендованные подходы к конфигурированию системы. В этом обзоре рассмотрена подготовка Linux, для использования в качестве узла управления Кубернетес. Читать статью.
👍5
SCP vs. sFTP: which one should manage your file transfers?
Пост-сравнение двух инструментов для передачи данных.
Пост-сравнение двух инструментов для передачи данных.
👍2
Погружение в индексы PostgreSQL
В этой статье рассказано о том, как устроены индексы PostgreSQL и какую пользу приносят. Читать статью.
В этой статье рассказано о том, как устроены индексы PostgreSQL и какую пользу приносят. Читать статью.
👍2
Monitoring Linux Servers with Prometheus, Node Exporter and Grafana
В этой статье рассмотрен процесс создания системы мониторинга Linux-серверов с помощью Prometheus/Grafana. Читать статью.
❗️Статья на Медиум, возможно, нужен VPN.
В этой статье рассмотрен процесс создания системы мониторинга Linux-серверов с помощью Prometheus/Grafana. Читать статью.
❗️Статья на Медиум, возможно, нужен VPN.
👍4
How to traceroute Kubernetes pod-to-pod traffic
В этой статье рассмотрена сетевую модель Kubernetes в контексте стандартной сетевой схемы VirtualBox и раскрыты основные концепции и механизмы, обеспечивающие бесперебойную связь между подами в кластере. Читать статью.
❗️Статья на Медиум, возможно, нужен VPN.
В этой статье рассмотрена сетевую модель Kubernetes в контексте стандартной сетевой схемы VirtualBox и раскрыты основные концепции и механизмы, обеспечивающие бесперебойную связь между подами в кластере. Читать статью.
❗️Статья на Медиум, возможно, нужен VPN.
👍6
Что происходит, когда запускаешь «Hello World» в Linux
В статье рассказано об инструментах, при помощи которых вы можете исследовать происходящее. Будут рассмотрены утилиты readelf, strace, ldd, debugfs, /proc, ltrace, dd и stat. Читать статью.
В статье рассказано об инструментах, при помощи которых вы можете исследовать происходящее. Будут рассмотрены утилиты readelf, strace, ldd, debugfs, /proc, ltrace, dd и stat. Читать статью.
👍6💩1