Postgres Hacking 101 by Andrey Borodin
Серия из 5 видео о том как написать патч для PostgreSQL. Контент годный, но просмотров очень мало.
— Walk-through of implementing simple Postgres patch. From sources to CI
— Postgres Hacking 101: Benchmarking a Patch
— Postgres Hacking 101: Buffer Page and its API
— Postgres Hacking 101: drop of caches (flushing shared buffers)
— Postgres Hacking 101: detailed buffers statistics in EXPLAIN BUFFERS
Серия из 5 видео о том как написать патч для PostgreSQL. Контент годный, но просмотров очень мало.
— Walk-through of implementing simple Postgres patch. From sources to CI
— Postgres Hacking 101: Benchmarking a Patch
— Postgres Hacking 101: Buffer Page and its API
— Postgres Hacking 101: drop of caches (flushing shared buffers)
— Postgres Hacking 101: detailed buffers statistics in EXPLAIN BUFFERS
YouTube
Walk-through of implementing simple Postgres patch. From sources to CI.
In this video I'm doing "magic" binary search. This search fallbacks to linear search when the number of tuples is small. Typically this is done to reduce number of branch mispredictions, but it's rather toy feature here. It's taken only for example.
Resulting…
Resulting…
Видео Airflow Summit 2024
— Optimizing Airflow Performance: Strategies, Techniques, and Best Practices
— Airflow Datasets and Pub/Sub for Dynamic DAG Triggering
— Optimize Your DAGs: Embrace Dag Params for Efficiency and Simplicity
— Event-driven Data Pipelines with Apache Airflow
— LLMs for Software Development & Apache Airflow
— The road ahead: What’s coming in Airflow 3 and beyond?
— 10 years of Airflow: history, insights, and looking forward
Остальные доклады можно найти на официальном Ютуб-канале Apache Airflow
— Optimizing Airflow Performance: Strategies, Techniques, and Best Practices
— Airflow Datasets and Pub/Sub for Dynamic DAG Triggering
— Optimize Your DAGs: Embrace Dag Params for Efficiency and Simplicity
— Event-driven Data Pipelines with Apache Airflow
— LLMs for Software Development & Apache Airflow
— The road ahead: What’s coming in Airflow 3 and beyond?
— 10 years of Airflow: history, insights, and looking forward
Остальные доклады можно найти на официальном Ютуб-канале Apache Airflow
YouTube
Optimizing Airflow Performance: Strategies, Techniques, and Best Practices
Presented by Astronomer at Airflow Summit 2024.
Airflow is widely adopted for its flexibility and scalability. However, as workflows grow in complexity and scale, optimizing Airflow performance becomes crucial for efficient execution and resource utilization.…
Airflow is widely adopted for its flexibility and scalability. However, as workflows grow in complexity and scale, optimizing Airflow performance becomes crucial for efficient execution and resource utilization.…
Организовали с ребятами подборку ламповых каналов про дата инжиниринг 💡
https://www.tg-me.com/addlist/a1B07iwrPxUxNWIy
Подписывайтесь 😎
https://www.tg-me.com/addlist/a1B07iwrPxUxNWIy
Подписывайтесь 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
Telegram
data party
Айлин invites you to add the folder “data party”, which includes 8 chats.
The Ultimate Guide to Apache Airflow DAGs.pdf
4.5 MB
The Ultimate Guide to Apache Airflow® DAGs
E-book от ребят из Astronomer про Apache Airflow. 135 страниц концентрированной информации "без воды". Рекомендую! Заходит как справочник в самый раз 👍🏻
E-book от ребят из Astronomer про Apache Airflow. 135 страниц концентрированной информации "без воды". Рекомендую! Заходит как справочник в самый раз 👍🏻
AI Agent Course
На следующей неделе (10 февраля) стартует бесплатный курс Hugging Face Agents. Курс рассчитан на обучение в течение 6 недель, новый материал будет публиковаться раз в две недели. Цель курса научить вас создавать и деплоить ИИ Агентов в продакшен.
На следующей неделе (10 февраля) стартует бесплатный курс Hugging Face Agents. Курс рассчитан на обучение в течение 6 недель, новый материал будет публиковаться раз в две недели. Цель курса научить вас создавать и деплоить ИИ Агентов в продакшен.
huggingface.co
agents-course (Hugging Face Agents Course)
Org profile for Hugging Face Agents Course on Hugging Face, the AI community building the future.
Deep Dive into LLMs like ChatGPT
На канале Andrej Karpathy вышло 3-х часовое видео с разбором как работают LLM модели на примере ChatGPT. Более того, чуть больше года назад он уже выпускал часовой ролик Intro to Large Language Models, который уже набрал более 2.5 миллионов просмотров!
На канале Andrej Karpathy вышло 3-х часовое видео с разбором как работают LLM модели на примере ChatGPT. Более того, чуть больше года назад он уже выпускал часовой ролик Intro to Large Language Models, который уже набрал более 2.5 миллионов просмотров!
YouTube
Deep Dive into LLMs like ChatGPT
This is a general audience deep dive into the Large Language Model (LLM) AI technology that powers ChatGPT and related products. It is covers the full training stack of how the models are developed, along with mental models of how to think about their "psychology"…
Привет!
За два месяца ни одного нового поста. Признаться, мне стало неинтересно делиться ссылками на материал по теме и превращать канал в ссылкопомойку, но тем не менее я продолжаю активно читать и искать новые статьи/видео/лекции по темам:
— data engineering
— data processing
— distributed systems
— ml/ai engineering
У меня возникла идея сделать аналог hackernews только по нашей теме. Там мы вместе сможем делиться интересным материалом, обсуждать и коллективно оценивать его.
Я даже наговновайбкодил прототип 🤓, он сверху 🔝
Что скажете? Накидайте мнений в комментах.
За два месяца ни одного нового поста. Признаться, мне стало неинтересно делиться ссылками на материал по теме и превращать канал в ссылкопомойку, но тем не менее я продолжаю активно читать и искать новые статьи/видео/лекции по темам:
— data engineering
— data processing
— distributed systems
— ml/ai engineering
У меня возникла идея сделать аналог hackernews только по нашей теме. Там мы вместе сможем делиться интересным материалом, обсуждать и коллективно оценивать его.
Я даже на
Что скажете? Накидайте мнений в комментах.
Курс AI Agents от Microsoft
Нашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/
Помимо текстового материала есть и видео лекции на Ютубе.
Нашел на просторах сети бесплатный курс по AI Агентам от Microsoft: https://microsoft.github.io/ai-agents-for-beginners/
Помимо текстового материала есть и видео лекции на Ютубе.
ai-agents-for-beginners
AI Agents for Beginners - A Course
11 Lessons to Get Started Building AI Agents
Ахтунг! Про Apache Iceberg™
Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.
На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About It
А вы уже использовали его у себя?
Как то не заметил, что легенда Tim Berglund вернулся в Confluent, и теперь снова вещает нам с экранов.
На этот раз Тим разбирает Apache Iceberg: Apache Iceberg™ | What It Is and Why Everyone’s Talking About It
А вы уже использовали его у себя?
YouTube
Apache Iceberg: What It Is and Why Everyone’s Talking About It.
More Info: https://cnfl.io/4i2M17x | You’ve probably heard about Apache Iceberg™—after all, it’s been getting a lot of buzz. But what actually is it? And why are so many people excited about using it with streaming data?
In this lightboard, Tim Berglund…
In this lightboard, Tim Berglund…
Релиз Airflow 3.0
Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0
Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:
— DAG Versioning (в сообществе долго ждали эту фичу, но мне она не особо нужна)
— Code agnostic execution (появятся т.н. TaskSDK под разные языки программирования, начнут с Go)
— Event-driven scheduling and Data Assets (под капотом всё те же триггеры, но механизм немного изменён)
Подробности читайте здесь.
Час назад вышла мажорная версия Apache Airflow 3.0: https://github.com/apache/airflow/releases/tag/3.0.0
Помимо полностью обновлённого интерфейса там ещё куча разных ништяков:
— DAG Versioning (в сообществе долго ждали эту фичу, но мне она не особо нужна)
— Code agnostic execution (появятся т.н. TaskSDK под разные языки программирования, начнут с Go)
— Event-driven scheduling and Data Assets (под капотом всё те же триггеры, но механизм немного изменён)
Подробности читайте здесь.
GitHub
Release Airflow 3.0.0 · apache/airflow
📣 We are proud to announce the General Availability of Apache Airflow® 3.0, the most significant release in the project’s history.
Airflow 3.0 builds on the foundation of Airflow 2 and introduces a...
Airflow 3.0 builds on the foundation of Airflow 2 and introduces a...
MANNING_Practical_Guide_to_Apache_Airflow_3.pdf
14 MB
The Practical Guide to Airflow 3 🚀
Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊
Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practical Guide to Airflow 3 за авторством Tamara Janina Fingerlin, Developer Advocate, Astronomer. Книга издательства Manning, доступна бесплатно в электронном формате. Книга заточена под новшества новой версии, и будет полезна как начинающим так и опытным дата инженерам, планирующим переход на тройку.
У меня пока не дошли руки потестировать новую версию, планирую это сделать на выходных. А вы уже попробовали?
Дорогие друзья, я вижу как вам нравятся посты про Apache Airflow. В этот раз очередной пост про него любимого 😊
Прошла неделя с релиза Apache Airflow 3, и вот в сети от ребят из Astronomer выходит небольшая книга The Practical Guide to Airflow 3 за авторством Tamara Janina Fingerlin, Developer Advocate, Astronomer. Книга издательства Manning, доступна бесплатно в электронном формате. Книга заточена под новшества новой версии, и будет полезна как начинающим так и опытным дата инженерам, планирующим переход на тройку.
У меня пока не дошли руки потестировать новую версию, планирую это сделать на выходных. А вы уже попробовали?
Релиз Apache Airflow 2.11.0
Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0
Причем это не какой-то релиз с багфиксами, там есть новые фишки:
— DeltaTriggerTimetable (trigger-based scheduling)
— Consistent timing metrics across all backends
— Более плавная подготовка к миграции на Airflow 3.0 (добавили команды
Я уже не думал, что будут обновления для 2-й ветки Airflow, а тут релиз 2.11.0: https://github.com/apache/airflow/releases/tag/2.11.0
Причем это не какой-то релиз с багфиксами, там есть новые фишки:
— DeltaTriggerTimetable (trigger-based scheduling)
— Consistent timing metrics across all backends
— Более плавная подготовка к миграции на Airflow 3.0 (добавили команды
airflow config lint и airflow config update)GitHub
Release Airflow 2.11.0 · apache/airflow
Significant Changes
DeltaTriggerTimetable for trigger-based scheduling (#47074)
This change introduces DeltaTriggerTimetable, a new built-in timetable that complements the existing suite of
Airflow...
DeltaTriggerTimetable for trigger-based scheduling (#47074)
This change introduces DeltaTriggerTimetable, a new built-in timetable that complements the existing suite of
Airflow...
Доклады с PyCon US 2025 🐍🐍🐍
Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (несколько месяцев и больше). В этот раз ситуация немного лучше, и на официальном Ютуб канале уже доступны спонсорские доклады для просмотра:
— High-Performance Python: Faster Type Checking and Free Threaded Execution
— Building AI Applications the Pydantic Way
— Building Scalable AI Tool Servers with Model Context Protocol (MCP) and Heroku
— Evolving Django: What We Learned by Integrating MongoDB
— Accelerated Python: The Community and Ecosystem
Полный список можно посмотреть в плейлисте (сейчас доступно 11 докладов)
Я так понимаю, что все записи уже доступны, но скрыты от нежелательных глаз. Когда именно появятся все доклады неизвестно, но надеюсь в самое ближайшее время. В этот раз было много интересных тем.
Когда я был на PyCon US в 2016 году в Портленде, то записи докладов в сети появлялись в тот же день, но последние года 4 организаторы решили на этом зарабатывать, и записи с конференций появляются со значительной задержкой (несколько месяцев и больше). В этот раз ситуация немного лучше, и на официальном Ютуб канале уже доступны спонсорские доклады для просмотра:
— High-Performance Python: Faster Type Checking and Free Threaded Execution
— Building AI Applications the Pydantic Way
— Building Scalable AI Tool Servers with Model Context Protocol (MCP) and Heroku
— Evolving Django: What We Learned by Integrating MongoDB
— Accelerated Python: The Community and Ecosystem
Полный список можно посмотреть в плейлисте (сейчас доступно 11 докладов)
Я так понимаю, что все записи уже доступны, но скрыты от нежелательных глаз. Когда именно появятся все доклады неизвестно, но надеюсь в самое ближайшее время. В этот раз было много интересных тем.
YouTube
High-Performance Python: Faster Type Checking and Free Threaded Execution (Sponsor: Meta)
Presented by: Sam Gross and Neil Mitchell
Meta's Commitment to the Python Community: Empowering Innovation and Collaboration
At Meta, we're dedicated to advancing the Python ecosystem through open-source contributions and community engagement. Our mission…
Meta's Commitment to the Python Community: Empowering Innovation and Collaboration
At Meta, we're dedicated to advancing the Python ecosystem through open-source contributions and community engagement. Our mission…
⚡️Пошаговый план: как стать аналитиком данных в 2025
Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?
Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опыта
Что будет на вебинаре?
🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня;
🟠 Лайфхаки трудоустройства:
— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;
— обсудите, какие отклики работают, а какие сразу отправляют в корзину;
— изнанка найма: инсайдерский взгляд на процессы отбора
🟠 Практические техники для новичков: разберёте, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях
🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от Simulative, который поможет бустануть карьеру
😶 Зарегистрироваться на бесплатный вебинар
Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет?
Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опыта
Что будет на вебинаре?
— покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание;
— обсудите, какие отклики работают, а какие сразу отправляют в корзину;
— изнанка найма: инсайдерский взгляд на процессы отбора
🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от Simulative, который поможет бустануть карьеру
Please open Telegram to view this post
VIEW IN TELEGRAM
Apache Airflow 3.0.2
Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и открытых файлов из-за чего количество файл дескрипторов росло вместе с количеством потребляемой оперативной памяти. Важный апдейт. Обновился только что и пока наблюдаю решил ли релиз проблему, позже отпишусь в комментариях.
Ссылка на релиз: https://github.com/apache/airflow/releases/tag/3.0.2
Буквально час назад вышла новая багфикс версия Apache Airflow 3.0.2. Я с недавнего времени начал использовать тройку на своих проектах и столкнулся с неприятным сюрпризом - утечкой памяти. Встроенный dag-processor плодил кучу тредов и открытых файлов из-за чего количество файл дескрипторов росло вместе с количеством потребляемой оперативной памяти. Важный апдейт. Обновился только что и пока наблюдаю решил ли релиз проблему, позже отпишусь в комментариях.
Ссылка на релиз: https://github.com/apache/airflow/releases/tag/3.0.2
GitHub
Release Airflow 3.0.2 · apache/airflow
What's Changed
📦 PyPI: https://pypi.org/project/apache-airflow/3.0.2/
📚 Docs: https://airflow.apache.org/docs/apache-airflow/3.0.2/
🛠️ Release Notes: https://airflow.apache.org/docs/apache-airf...
📦 PyPI: https://pypi.org/project/apache-airflow/3.0.2/
📚 Docs: https://airflow.apache.org/docs/apache-airflow/3.0.2/
🛠️ Release Notes: https://airflow.apache.org/docs/apache-airf...
Orchestrating Workflows for GenAI Applications
На платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI Applications
Курс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow. В курсе разбирают пример создания кастомного RAG с последующей загрузкой в векторную базу через призму работы с Airflow. Возможно кому-то будет полезным!
На платформе DeepLearning AI вышел новый курс про Apache Airflow от ребят из Astronomer — Orchestrating Workflows for GenAI Applications
Курс прикладной без лишней воды, рассчитан на тех, кто не знаком с Airflow. В курсе разбирают пример создания кастомного RAG с последующей загрузкой в векторную базу через призму работы с Airflow. Возможно кому-то будет полезным!
www.deeplearning.ai
Orchestrating Workflows for GenAI Applications - DeepLearning.AI
Turn your GenAI prototype into an automated pipeline using Apache Airflow.
Ранее я писал про релиз Airflow 3.0.2 в котором исправили утечку памяти, но на деле оказалось, что не полностью. Проблема была решена лишь частично, мои пайплайны продолжали периодически падать и съедать память. Посидев вечерок я локализовал проблему и написал фикс, который благополучно был принят в главную ветку Airflow.
Судя по всему релиз 3.0.3 не за горами.
Судя по всему релиз 3.0.3 не за горами.
GitHub
Explicitly close log file descriptor in the supervise function (#51627) · apache/airflow@4a0a89b
We didn't close log file descriptor properly hence leading to too many open files error from the operating system.