Дайджест статей

Как LLM меняют архитектуру систем: от простых дата-пайплайнов к интеллектуальным автономным агентам
https://habr.com/ru/articles/868648/

Кастомизация в Luxms BI: программируем под свои желания
https://habr.com/ru/companies/luxms_bi/articles/870684/?utm_source=habrahabr&utm_medium=rss&utm_campaign=870684

Чем занимаются дата-сайентисты в Авито — полный разбор
https://habr.com/ru/companies/avito/articles/870672/

Инфраструктура для Data-Engineer Liquibase
https://habr.com/ru/articles/863242/

Опыт Звука: как реализовать рекомендательную систему аудиокниг с использованием больших языковых моделей (LLM)
https://habr.com/ru/companies/zvuk/articles/869664/

Unity Catalog: Revolutionizing Data Governance and Collaboration in the Modern Era
https://towardsdev.com/unity-catalog-revolutionizing-data-governance-and-collaboration-in-the-modern-era-4bef053b972d?gi=f74e30595346

Universal data lakehouse: The most vendor/tool neutral data architecture
https://atwong.medium.com/universal-data-lakehouse-the-most-vendor-tool-neutral-data-architecture-b247b4fedf0a

Top 20 Platform Engineering Tools
https://medium.com/spacelift/top-20-platform-engineering-tools-7e9c7289fb94

Solve Governance Debt with Data Products
https://medium.com/@community_md101/solve-governance-debt-with-data-products-bc17e95384b0

Реальное внедрение LLM в бизнес-процессы (3 кейса)
https://habr.com/ru/articles/868784/

Как не нужно визуализировать данные: антипаттерны в примерах
https://habr.com/ru/articles/868870/?utm_source=habrahabr&utm_medium=rss&utm_campaign=868870

Tarantool CDC. Жизнь данных в гетерогенной среде
https://habr.com/ru/companies/vk/articles/868406/

Как выбрать вкусное вино на основе данных с помощью Luxms BI
https://habr.com/ru/companies/luxms_bi/articles/869382/

Безопасная миграция данных из Vault одной командой
https://habr.com/ru/companies/flant/articles/869290/

Дата-контракты: как мы научили жить дружно источники и потребителей данных
https://habr.com/ru/companies/ru_mts/articles/868384/

The Future of Data Lies in Transformer Models vs. Big Data Transformations
https://dzone.com/articles/the-future-of-data-lies-in-transformer-models-vs-b

Data Warehousing (DWH) best practices
https://rihab-feki.medium.com/data-warehousing-dwh-best-practices-ef9c61cf657d

Редакция понимает, что достала всех уже этими агентами, но что бы закрыть тему:

https://www.llmwatch.com/p/a-non-technical-introduction-to-ai?utm_source=post-email-title&publication_id=1428667&post_id=151269796&utm_campaign=email-post-title&isFreemail=true&r=15862q&token=eyJ1c2VyX2lkIjo2OTI0NTM3OCwicG9zdF9pZCI6MTUxMjY5Nzk2LCJpYXQiOjE3MzI2NDIyNDksImV4cCI6MTczNTIzNDI0OSwiaXNzIjoicHViLTE0Mjg2NjciLCJzdWIiOiJwb3N0LXJlYWN0aW9uIn0.IgM3I67NlSN8gRiOu1gnZ8kJSCU0UgAZK4WhINw9rus&triedRedirect=true

ИМХО очень неплохая статья

https://clickhouse.com/blog/building-a-data-warehouse-with-clickhouse

И все таки

https://habr.com/ru/articles/871104/?utm_source=habrahabr&utm_medium=rss&utm_campaign=871104

Что читать про данные в 2025 году?

Хочу поделиться некоторыми источниками статей, которые редакция регулярно обрабатывает для подготовки дайджестов.

habr.com — основной источник. Вы, наверное, заметили, что в дайджест попадает очень много материалов отсюда. Статьи здесь разные: есть большие, качественные и вдумчивые, а есть плохо сделанные переводы.

medium.com — оригинал Habr на английском языке. Очень хорошие статьи: объемные, с полезными и практичными инсайтами. Отдельно стоит отметить удобную рекомендательную систему, которая помогает ориентироваться в большом количестве материалов.

semianalysis.com — это в основном платный источник, так как авторы обычно распространяют материалы по подписке. Некоторые из них стоят достаточно дорого, но качество содержания всегда на высоте. Статей не так много, но каждая достойна отдельного изучения с карандашом.

https://substack.com/home-i - тоже очень неплохой, но сложно находить на нем релевантные материалы

https://news.mit.edu — здесь обычно встречаются интригующие заголовки, но сами материалы часто не слишком глубокие.

https://dzone.com — всё чаще встречаются небольшие заметки, а действительно качественные материалы попадаются редко.

https://www.infoq.com — полезный ресурс: здесь можно найти не только новости, но и презентации с расшифровками, а также крупные статьи.

Блоги технологических компаний — их не привожу здесь списком, но ранее публиковал в постах. Также полезными источниками остаются LinkedIn и Twitter, где можно найти интересные ссылки и посты.

Вопрос к аудитории: что вы могли бы добавить в этот список? Какие источники вы регулярно читаете? Делитесь в комментариях!

Рубрика «копилка»

https://medium.com/@amosgyamfi/the-6-best-llm-tools-to-run-models-locally-eedd0f7c2bbd

Минутка истории вспомнить про великую компанию которую NVidia столкнула с пьедестала 🙂

https://uproger.com/kratkaya-istoriya-intel/

Еще редакция хотела бы напомнить, что у нас есть twitter. Кому интересно и кто может туда ходить (тут оба условия должны выполняться одновременно) - подписывайтесь!

Но там контент несколько шире чем просто про данные, так что на любителя.

https://x.com/kaysersw?s=21&t=8hYN91GrWxuHxTD3byhnjA

Голосовые технологии и виртуальные ассистенты

Давайте немного отвлечемся от AI агентов и взглянем на тренды в области голосовых технологий. Компания Cartesia как раз опубликовала любопытный материал. Cartesia это компания работающая в области искусственного интеллекта, основанная в 2023 году группой исследователей из Стэнфордского университета. Основной продукт: Sonic - голосовой API с ultra-реалистичной генерацией речи.

Какие тренды отмечают коллеги в своем отечете из того, что показалось мне интересным:

⁃ В первую очередь прорывом в части интеграции LLM в цепочку STT → LLM → TTS что в целом дало буст разговорным интерфейсам за счет того что боты стали общаться более адекватно, улучшилось понимание и генерация ответов.
⁃ Появились полностью дуплексные системы преобразования речи в речь. Эти модели "всегда включены", поскольку они могут слушать пользователя, пока модель говорит. Это дает возможность заглянуть в будущее мультимодальной озвучки, где модели будут постоянно слушать пользователя.
⁃ Появились новые архитектуры моделей для речи: на основе пространства состояний (SSM) с авторегрессионным обучением. Эти архитектуры представляют собой значительный отход от более традиционных моделей трансформеров на основе внимания, поскольку они обеспечивают большую гибкость в средах развертывания. Теперь возможны развертывания на устройствах с ограниченной памятью, а также улучшенное качество и задержки.
• Речевые модели (имеется ввиду ASR/TTS) теперь поддерживают потоковую передачу данных, позволяя генерировать звук в реальном времени по мере получения данных от LLM, сохраняя при этом последовательность просодии (интонация, ритм, ударения, паузы) в сегментах речи.
• Улучшилась поддержка интеграции голосовых моделей в платформах создания ботов и виртуальных ассистентов, что снижает порог сложности для их применения и создания мультимодальных интерфейсов
• Эти же платформы становятся ключевым элементом общей инфраструктуры виртуальных ассистентов, объединяя в себя все элементы более “низкого” уровня технологического стека: ASR/TTS, LLM, RAG
• Очень интересно, что нарисовался целый отдельный класс платформ (observability platforms) предназначенный для оценки и контроля работы виртуальных ассистентов. Это такие платформы как: Hamming, Coval, Vocera, and Canonical
• С точки зрения бизнес-областей, использование голосовых ассистентов стало практически стандартом в рекрутинге, продажах и поддержке клиентов

В 2025 году следует ожидать дальнейшее снижение задержи работы моделей, улучшение в понимание контекста и обработку различных артефактов естественной речи, такие как прерывание речи, паузы и тд. Так же модели лучше смогут работать на конечных устройствах и станут более компактными за счет новых архитектур, дистилляции и использования специализированных чипов.

https://www.cartesia.ai/blog/state-of-voice-ai-2024

Дайджест статей

How Twitter processes 4 billion events in real-time daily
https://vutr.substack.com/p/how-twitter-processes-4-billion-events?t=

Data :Lakehouse Architecture: Overview, Tools and Cost Management
https://blog.devgenius.io/data-lakehouse-architecture-overview-tools-and-cost-management-c6b350b01c1b

Оптимизация SQL запросов
https://habr.com/ru/articles/861604/

40 лучших ИИ-инструментов 2025 году (проверенные и протестированные)
https://habr.com/ru/articles/871268/

Iceberg Catalogs: A Guide for Data Engineers
https://dzone.com/articles/iceberg-catalogs-a-guide-for-data-engineers

Искусственный интеллект в продукт-менеджменте: как ИИ облегчает жизнь продакта — обзор инструментов и личный опыт
https://habr.com/ru/articles/871172/

Part 1: A Survey of Analytics Engineering Work at Netflix
https://netflixtechblog.com/part-1-a-survey-of-analytics-engineering-work-at-netflix-d761cfd551ee

Data Modeling Techniques for the Post-Modern Data Stack
https://towardsdatascience.com/data-modeling-techniques-for-the-post-modern-data-stack-03fc2e4a210c

The Semantic Layer: What It Is and How Should It Be?
https://iamhuy.medium.com/the-semantic-layer-what-it-is-and-how-should-it-be-419904b24e3f

Небольшая полезность в копилку для тех, кто пишет код - очень интересный плагин для vscode для, собственно, визуализации кода. Для построения диаграммы использует Cloude и умеет выгружать картинки в формате draw.io.

https://github.com/EdisonLabs-Inc/CodeViz-Public

Сам не пробовал, но продукт выглядит интересно - такой легкий BI над CSV и Excel в онлайне. Если вам надо покрутить CVS то кажется прям самое то.

https://www.tomat.ai/

На фоне отличной презентации NVIDIA на CES сегодня, о которой пишут все без исключения каналы, блогеры и AI специалисты в тональности «будущее наступило, это было феерично» - стоимость ее акций упала на 7%

Количество всяких онлайн сервисов которык используют LLM и предоставляют качественно новый уровень клиентского опыта сейчас просто зашкаливает. Я не только не успеваю все попробовать, но и даже не успеваю читать и просматривать все списки рекомендаций который валятся просто отовсюду 🙂

Но тем не менее какие то сервисы, которые мне кажется полезными позволю себе публиковать тут.

Вот, например, сервис который превращает любой "человеческий" документ в json или markdown и делает его пригодным для автоматизированно обработки может оказаться многим полезным

https://monkt.com/

Сегодня хочу поделиться ссылкой на интервью выдающегося ученого, с которым имею честь быть знаком лично - Чоканом Лаумулиным. Несколько раз мы встречались и очень много говорили о науке и это всегда было максимально интересно и познавательно.

В интервью обсуждаютс ятакие темы как:
- какие научные направления актуальны в 21ом веке?
- как связаны наука, технологии и геополитика?
- какие вызовы нас ждут в ближайшем будущем?


https://youtu.be/sl3QskqQchM?si=2vLvkkOlhrpigxjv