​Postgres Professional обновила бесплатный курс по администрированию PostgreSQL 16

Компания Postgres Professional заявила о выпуске обновлённого курса по администрированию свободно распространяемой СУБД PostgreSQL. DBA-1 представляет собой базовый курс для администраторов PostgreSQL, разработанный специалистами Postgres Professional. Материал доступен для самостоятельного изучения на сайте разработчика.

Can Postgres replace Redis as a cache?

Действительно ли Postgres как кэш — хорошая идея? Может ли он действительно заменить Redis? Вот будет разобрано в этой статье.

❗️Статья на medium.com

10 Best Terraform Tools To Use In 2024

В этой статье был представлен подробный обзор инструментов Terraform и 10 лучших инструментов Terraform, которые помогут повысить эффективность использования этого инструмента. Читать статью.

❗️Статья на medium.com

Сборка Debian пакетов для расширений PHP

«Проблематика: исторически сложилось, что мы используем некоторые не очень популярные расширения PHP, написанные и кое-как (почти никак) поддерживаемые своими авторами, и этих расширений нет в типовых источниках deb-пакетов. У нас постулируется принцип «нормально делай — нормально будет», поэтому у нас не приветствуется slackware-style установка бинарников в систему вне пакетных менеджеров. Поэтому будем собирать полноценные deb-пакеты для расширений PHP, не ломая совместимость с существующим окружением.» Читать на Хабре.

Установка Ubuntu 24.04 с полным шифрованием диска и использованием TPM

В статье разобран опыт автора. Читать на Хабре.

​Вышел Linux Mint 22, встречаем новую версию известного дистрибутива

Несколько дней назад вышел новый релиз Linux Mint — уже 22-й. Главное обновление в том, что его перевели на пакетную базу Ubuntu 24.04 LTS. Соответственно, эта версия совместима с Ubuntu. Есть кое-какие нюансы в плане интерфейса и подборки приложений по умолчанию, но это незначительные отличия. Отдельно стоит отметить, что этот дистрибутив отнесен к выпускам LTS, т. е. у него длительный срок поддержки — вплоть до 2028 года. Подробнее обо всем этом — в статье.

Linux Crisis Tools

Когда у вас происходит сбой, вызванный проблемой производительности, вы не хотите терять драгоценное время на установку инструментов, необходимых для ее диагностики. В этой статье список «кризисных инструментов», которые рекомендуется установить на серверах Linux по умолчанию (если они еще не установлены), вместе с именами пакетов (Ubuntu), из которых они взяты. Узнать что за инструменты.

​Monitor System Resource Usage (CPU, Memory, Disk) with Shell Scripts

В этой статье показано, как написать простые, но мощные Shell-скрипты для мониторинга использования процессора, памяти и корневого раздела системы. Когда утилизация ресурса превышает предустановленное значение предупреждения, скрипт автоматически отправит оповещение по электронной почте. Некоторые примеры:

Память:

mem=$(free | awk '/Mem:/ {printf "%.2f", $3/$2 * 100.0}')

Диск:

disk=$(df -h / | awk 'NR==2 {print $5}' | sed 's/%//')

Процессор:

cpu=$(top -bn1 | grep "Cpu(s)" | sed "s/.*, *\([0–9.]*\)%* id.*/\1/" | awk '{print 100 — $1}')

Подробности в статье

❗️Статья на Медиум

​The Kubernetes Troubleshooting Handbook

В этой статье рассмотрены различные методы и инструменты, помогающие устранять неполадки и отлаживать Kubernetes. Независимо от того, являетесь ли вы опытным пользователем Kubernetes или только начинаете, это руководство предоставит ценные сведения об эффективных методах отладки.

В статье рассмотрены следующие подходы и инструменты:

🔍 Анализ событий жизненного цикла Pod

🔍 События Kubernetes и журналы аудита

🔍 Панель управления Kubernetes

🔍 Мониторинг использования ресурсов

🔍 Использование логов kubectl

🔍 Использование kubectl exec для интерактивного устранения неполадок

🔍 Отладка на уровне узлов с помощью kubectl debug

🔍 Отладка на уровне приложения с помощью отладочных контейнеров

🔍 Эфемерные контейнеры для отладки

🔍 Решение проблем DNS и сети

🔍 Отладка приложений с отслеживанием состояния

🔍 Расширенные методы отладки (Jaeger, Mirrord и др.)

Читать статью и начиться траблшутить кубер

❗️Статья на medium.com

10 забористых примеров использования утилиты curl

В этом посте рассмотрим примеры использования утилиты curl для различных задач.

🔍 Globbing — множественные запросы одной командой:

curl -s "https://jsonplaceholder.example.com/users/[1-3]" | jq -s .

curl -s "https://jsonplaceholder.example.com/users/[0-10:2]" | jq -s .

curl -s "https://jsonplaceholder.example.com/photos/{1,6,35}" | jq -s .

curl -s "https://jsonplaceholder.example.com/users/[1-3]" -o "file_#1.json"

🔍 Использование конфигурационных файлов
Пример конфигурационного файла:

# ~/.curlrc

# some headers
-H "Upgrade-Insecure-Requests: 1"
-H "Accept-Language: en-US,en;q=0.8"

# follow redirects
--location

Пример вызова curl:

curl -K .curlrc https://google.com

Чтобы не палить логины/пароли в истории выполненных команд, можно использовать следующий файл:

# ~/.netrc
machine https://authenticationtest.com/HTTPAuth/
login user
password pass

И вот так вызвать curl:

curl --netrc-file .netrc https://authenticationtest.com/HTTPAuth/

🔍 Параллельные запросы:

curl -I --parallel --parallel-immediate --parallel-max 3 --config websites.txt

curl -I --parallel --parallel-immediate --parallel-max 3 stackoverflow.com google.com example.com

🔍 Форматирование и использование переменных:

curl --silent --output /dev/null --show-error -w @format.txt http://example.com/

# format.txt
Type: %{content_type}\nCode: %{response_code}\n\n

From 8.1.0:\n\n

Scheme: %{url.scheme}\n
Host: %{url.host}\n
Port: %{url.port}\n

Read header content (v7.83.0):\n
%header{date}

Вывод, соответственно, будет таким:

# Type: text/html; charset=UTF-8
# Code: 200
# 
# From 8.1.0:
# Scheme: http
# Host: example.com
# Port: 80
# 
# Read header content (v7.83.0):
# Server: Sat, 29 Jun 2024 13:01:30 GMT

Полный список переменных по ссылке.

🔍 Тестирование и траблшутинг
Можно выполнять, используя определенный сетевой интерфейс или DNS-сервер:

curl --interface enp5s0 https://example.com

curl --dns-ipv4-addr 1.1.1.1 https://example.com

🔍Использование trurl. Это специализированная утилита, которая позволяет форматировать вывод, например, в формат json:

# Parse as JSON:
./trurl --url "https://example.com/?name=hello" --json
# [
#   {
#     "url": "https://example.com/?name=hello",
#     "parts": {
#       "scheme": "https",
#       "host": "example.com",
#       "path": "/",
#       "query": "name=hello"
#     },
#     "params": [
#       {
#         "key": "name",
#         "value": "hello"
#       }
#     ]
#   }
# ] 

Эффективного использования curl!

​proton

Proton — это потоковый SQL-движок, быстрая и легкая альтернатива ksqlDB или Apache Flink, 🚀 работающая на ClickHouse. Он позволяет разработчикам решать задачи потоковой обработки данных, маршрутизации и аналитики из Apache Kafka, Redpanda и других источников, а также отправлять агрегированные данные в нижестоящие системы.

Репыч на Гитхабе

​My Notes for Understanding the Linux Boot Process: A Comprehensive Guide

Процесс загрузки Linux — это сложная последовательность событий, которая превращает выключенную машину в полностью работоспособную систему. Этот путь, от момента нажатия кнопки питания до момента, когда вы видите приглашение на вход или графический рабочий стол, включает несколько этапов, каждый из которых имеет значение для функциональности системы.

В этой статье подробно рассмотрен процесс загрузки Linux, начальные проверки оборудования, выполняемые BIOS или UEFI, роль загрузчика в загрузке ядра, обязанности ядра по инициализации оборудования и монтированию корневой файловой системы, а также заключительные этапы, на которых система init берет на себя запуск основных служб и настройку пользовательской среды. Читать статью.

❗️Статья на medium.com

Дом, милый дом: нюансы работы с ClickHouse. Репликация

У Петра из Nixys вышло продолжение серии обзорных статей про ClickHouse. В этой статье он рассказывает про особенности репликации в этой СУБД: как работают сервисы координации Zookeeper и ClickHouse Keeper, по какой причине может произойти падение репликации и почему не следует очищать Keeper вручную. Читать на Хабре.

Записки bash-скриптера. Листок первый. Сокращённый if

Существует огромное количество руководств, статей, видеоуроков по bash. И это очень здорово, но есть одна проблема с ними. Процент материала "для начинающих" среди всего этого богатства стремится к 100, а вот по-настоящему интересных тонкостей касаются не только лишь все. В этой статье на Хабре рассмотрена особенность работы нижеследующей конструкции:

[ условие ] && действие_1 || действие_2

​Из Linux уберут поддержку десятков ARM-чипов. Что происходит?

Многие чипы почти не используются, смысла в их поддержке в ядре Linux все меньше. Но как их убрать, чтобы изменения прошли безболезненно для пользователей? У одного из самых известных контрибьюторов Linux Арндта Бергмана есть план. Подробности — в этой статье на Хабре.

​Understanding kubernetes networking: services

В этой статье автор описывает как Kubernetes обеспечивает балансировку нагрузки между набором серверных модулей, позволяя клиентским модулям работать независимо и надежно. Читать статью.

❗️Статья на medium.com

​Простая автоматизация с Bash для новичков

Этот материал для тех, кто только рассматривает для себя инструменты автоматизации рутинных процессов. Автор рассматривает автоматизацию процессов в Linux с помощью bash скриптов на примере разворачивания простого python Django проекта при помощи системных юнитов (демонов) на удалённом сервере. Читать на Хабре.

​Сетевые плагины (CNI) в Kubernetes

Сеть Kubernetes — это сложная тема, наполненная множеством подвижных частей. Одним из ключевых компонентов, обеспечивающих сетевую связность и взаимодействие различных элементов кластера, является CNI (Container Networking Interface). В статье разобрано как устроен CNI. Читать на Хабре.

​Защита от брутфорса и эксплоитов OpenSSH

В последних версиях OpenSSH появилась защита от брутфорса (перебора) паролей, а также от попыток эксплоита. Это очень ценные настройки, которыми разработчики рекомендуют воспользоваться всем.

Нужно отметить, что новая функция OpenSSH фундаментально отличается от fail2ban, sshguard и подобных инструментов, поскольку она не парсит логи и не изменяет правила файрвола, а применяет опции только внутри одной программы, не обращаясь никуда через ядро, что делает её гораздо безопаснее вышеупомянутых утилит.

В статье рассказывается про две новый опции конфигурации PerSourcePenalties и PerSourcePenaltyExemptList. Читать на Хабре.

​Scaling for millions: PostgreSQL

В этой статье несколько предложений по улучшению производительности PostgreSQL. Читать статью.

❗️Статья на medium.com