Дайджест статей

How Meta Solves Data Lineage At Scale
https://vutr.substack.com/p/how-meta-solves-data-lineage-at-scale?r=15862q&utm_medium=ios&triedRedirect=true

Книги по базам данных, которые стоит прочитать в 2025 году
https://habr.com/ru/companies/ru_mts/articles/884678/

Data Pattern Automation With AI and Machine Learning
https://dzone.com/articles/data-pattern-automation-ai-machine-learning

AI Agents: Future of Automation or Overhyped Buzzword?
https://dzone.com/articles/ai-agents-future-of-automation-or-overhyped-buzzword

Как мы прикрутили RAG для интент-классификации, или Трудности перевода на LLM-ский
https://habr.com/ru/companies/domclick/articles/880114/

Трансформация платформы данных: от пары кубов до хранилища > 30 Тб и 1000 ETL-процессов
https://habr.com/ru/companies/cdek_blog/articles/881618/

Интересный подход Google к пользовательскому опыту взаимодействия с виртуальным ассистентом - представить его в виде виртуального друга, которому ты звонишь когда тебе нужна какая то помощь :)

https://gizmodo.com/google-gemini-really-wants-to-pretend-its-your-friend-2000559616

в копилку: aisuite - python библиотека-wraper для работы с разными LLM моделями. что бы можно было не разбираться в особенностях каждого API, а работать с ними через единый программный интерфейс. Поддерживает OpenAI, Anthropic, Azure, Google, AWS, Groq, Mistral, HuggingFace Ollama, Sambanova and Watsonx


https://github.com/andrewyng/aisuite

Митап DataPeople для Менеджеров ИТ-проектов:

📅 4 марта в 18:00
📍 Москва, м. Курская, бар GB

Project managers, поговорим о вас!)
🔹Как эффективно справляться с проектными вызовами и превращать их в новые возможности.
🔹Как уместной шуткой разрядить обстановку, укрепить командный дух и даже найти нестандартные решения (а иногда просто сделать так, чтобы все не плакали от стресса).

Вносите свой вклад в программу встречи:
🔸при регистрации задавайте вопросы, даже те, что не обсудишь в офисе )
🔸мы подготовим ответы
В формате открытого диалога, посудачим 🙂

Количество мест ограничено, регистрируйтесь заранее: https://datapeople.ru/DP_4032025

📣Внимание! Завершается приём заявок на Data Award 2025 — престижную премию для data-driven организаций и директоров по данным, учрежденную издательством «Открытые системы»
⏳ Последний день подачи — 3 марта! ⏳

Почему стоит участвовать?
🏆Data Award — это знак признания в профессиональном сообществе. Уже седьмой год подряд премия объединяет лидеров работы с данными, вдохновляет на новые открытия и демонстрирует лучшие практики отрасли.,
Прозрачность и объективность — победителей выбирает независимый экспертный совет из CDO и признанных профессионалов. Здесь выигрывают лучшие!

Ваши достижения увидит рынок!

🏆Победа в Data Award — это не просто награда, а мощный инструмент мотивации команды, HR-брендинга и профессионального роста.

Среди компаний, уже подавших заявки в этом году: X5, Самолет, РСХБ, ОТП Банк, Газпром ИД, Роснефть, Банк "Санкт-Петербург", T2, Газпром нефть, Fplus и многие другие.
Присоединяйтесь к лидерам data-driven подходов!

Что нового в сезоне 2025?
✅ Больше номинаций — премия отражает ключевые тренды data-индустрии.
✅ Фокус на заказчиков проектов — ИТ-компании участвуют в ограниченном числе номинаций.

Что остаётся неизменным?
✔️ Главное — инновации и вклад команды.
✔️ Полная независимость премии — победу нельзя купить, только заслужить!
Ключевые даты:
✎ до 3 марта — приём заявок
✎ до 10 апреля — публикация интервью номинантов
✎ конец апреля – начало мая — подведение итогов
✎ 15 мая — торжественная церемония награждения

⚡️Станьте героем экономики данных⚡️

Подавайте заявку прямо сейчас

How AI Has Changed Startups Forever

Стоимость написания программного обеспечения стремится к нулю. Но это ещё не всё. Маркетинг, продажи, обслуживание клиентов, операционная деятельность и другие бизнес-функции также ощутят значительное снижение затрат. Это уже происходит в крупных компаниях. Стартапам больше не нужно много финансирования и большое количество людей, чтобы стать крупными. Иными словами, ожидайте больше единорогов, созданных всего парой соучредителей и с финансированием в полмиллиона долларов.

Это приводит к вопросу: если теперь так дешево писать программное обеспечение и масштабировать бизнес, то какие барьеры остаются?

1. Закрытые данные: Эксклюзивные данные о клиентах или трудно доступные публичные наборы данных создают конкурентное преимущество.
2. Сетевые эффекты: Теоретически можно воссоздать программную архитектуру Facebook или Nasdaq, но их клиентов так легко не заполучить.
3. Глубокая интеграция: Корпоративное ПО с глубокой интеграцией в рабочие процессы имеет высокие затраты на переключение.
4. Закрепление экосистемы: Платформы с сильной экосистемой разработчиков и интеграциями остаются востребованными.
5. Регуляторные барьеры: ИИ не может получить лицензии и выстроить связи, необходимые для работы в строго регулируемых отраслях, таких как финансы, здравоохранение и оборона.
6. Доверие и бренд: Потребители и организации будут продолжать доверять проверенным брендам в критических вопросах.
7. Физический мир: Физическая инфраструктура, робототехника и цепочки поставок имеют ограничения, которые ИИ не может обойти.
8. Глубокое понимание пользователей: Пока ИИ может коммодитизировать посредственные идеи, настоящее понимание пользователей не встроено в обучающие наборы данных — его можно получить только через прямое общение с клиентами.

Главным приоритетом для стартапов до PMF остаётся поиск Product-Market Fit, но сейчас как никогда важно заранее продумать потенциальную защиту от конкурентов после достижения PMF.

https://x.com/QwQiao/status/1892558420017865135

Data teams - тоже люди :)

https://seattledataguy.substack.com/p/biggest-productivity-killers-for

Свежая статья от MITSloan про Causal ML - область машинного обучения, предназначенную для исследования вариантов развития событий (так называемый what-if анализ). К сожалению технических подробностей там нет и какие конкретно модели в этой области применимы не раскрывается, тем не менее для бизнес-аудитории статья может показаться вполне интересной.

Такие модели/подходы сейчас становятся более актуальными тк продолжается демократизация данных и их накопление. Это критично для CasualML тк моделям требуются наблюдения за довольно большие временные промежутки.

Если эта тема кажется вам интересной и актуальной для вас - рекомендую пройтись по ссылкам в статье, тк они ведут уже на более развернутые и технические материалы.

https://sloanreview.mit.edu/article/a-new-machine-learning-approach-answers-what-if-questions/

А между тем сегодня на Луну успешно прилунился второй частный космический аппарат «Синее приведение».

Потрясающий инженерный опыт.

https://www.telegraph.co.uk/business/2025/03/02/private-spaceship-blue-ghost-lands-on-the-moon/

https://www.youtube.com/live/3SSjzdj-ONw?si=i23FShM0Tgz2X4ig

Дайджест статей

The Future of Data Lakehouses: Apache Iceberg Explained
https://dzone.com/articles/the-future-of-data-lakehouses-apache-iceberg

Doris Lakehouse Integration: A New Approach to Data Analysis
https://dzone.com/articles/doris-lakehouse-integration

Data Engineering — это не Software Engineering
https://habr.com/ru/articles/883026/

Мама, у меня RAG: пути к улучшению, когда он «наивный»
https://habr.com/ru/articles/885770/

NoSQL: понятие, виды баз данных и их особенности
https://habr.com/ru/companies/timeweb/articles/885354/

Как внедряет ИИ крупнейший банк США JPMorgan. Интервью WSJ с руководителем внедрения ИИ
https://habr.com/ru/articles/886040/

Умный помощник для корпоративного обучения: опыт внедрения продвинутой RAG-системы в крупной компании
https://habr.com/ru/companies/doubletapp/articles/886108/

Как не утонуть в данных: выбираем между DWH, Data Lake и Lakehouse
https://habr.com/ru/companies/arenadata/articles/885722/

10 примеров и вариантов использования RAG от реальных компаний. Со схемами и пояснениями
https://habr.com/ru/articles/886732/

База об организации процесса разметки: команда, онбординг, метрики
https://habr.com/ru/companies/alfa/articles/883822/

Все что вы хотели знать про ChatGPT-4.5

https://www.lesswrong.com/posts/PpdBZDYDaLGduvFJj/on-gpt-4-5?utm_source=tldrnewsletter