В этом видео рассказ от компании Wayfair про их путь к Data Mesh коорый включал переход от монолитной централизованной модели данных к децентрализованной архитектуре, основанной на доменах и микросервисах.

Приняв принципы Data Mesh, Wayfair предоставила группам по предметной области возможность взять на себя сквозное владение своими данными.

Организационно Wayfair представила модель Embedded Data Engineering — внедрение инженеров по данным в группы по предметной области — для внедрения мышления «Данные как продукт» среди владельцев дата-продуктов.

Этот социотехнический сдвиг гарантировал, что те, кто создает данные, также владеют их качеством, документацией и развитием, а не полагаются на централизованную команду BI. В результате владельцы данных в Wayfair теперь несут ответственность за четко определенные, высококачественные данные, а потребители данных могут легче находить и доверять данным через унифицированный каталог и онтологию.

https://www.youtube.com/watch?v=fVAQLDbYCMg

Коллеги, спешу поделиться ссылкой на интересное мероприятие и обратите внимание, что там есть возможность регистрации на online трансляцую, хотя мероприятие будет оффлайн.

30 мая нобелевский лауреат и один из отцов ИИ Джеффри Хинтон прочтёт лекцию в Лондоне в Королевском институте (Royal Institution): «Цифровой интеллект против биологического».

Хинтон будет говорить о различиях между обучением цифровых нейросетей и биологического мозга, о границах и потенциале современной ИИ-систематики.

Лекция пройдёт в формате знаменитого Friday Evening Discourse — публичных научных выступлений, которые в РИ ведутся с середины XIX века. Когда-то в этой же аудитории свои идеи впервые представляли Фарадей и Максвелл — теперь эстафету принимает интеллект цифровой.

https://www.rigb.org/whats-on/discourse-digital-intelligence-vs-biological-intelligence

Grok тут API подогнало. Сам его не особо юзаю, но вроде как они сильно демократичнее по ценам чем OpenAI

https://docs.x.ai/docs/models#models-and-pricing

Модели ChatGPT 4o и 4.5 напоминают мне то, что психолог и нобелевский лауреат Даниэль Канеман описал в своей теории как «система 1» (быстрая) и «система 2» (медленная) мышления.

Система 1 — это быстрая, автоматическая, интуитивная и не всегда точная система. Она работает быстро, на основе эвристик и прошлого опыта, часто ошибается, но при этом оказывается вполне эффективной и полезной в большинстве повседневных ситуаций — примерно в 80% случаев.

Система 2 — медленная, аналитическая, требующая усилий и затрат ресурсов (времени, энергии). Она включается тогда, когда требуется глубокое осмысление, построение причинно-следственных связей, критическое мышление и понимание сути происходящего. Без неё невозможно решение сложных задач, понимание новых концепций и принятие обоснованных решений.

Если провести аналогию, то ChatGPT 4o — это скорее «быстрая система»: он реагирует моментально, хорошо обучен, выдаёт результат почти мгновенно, но нередко поверхностно и с ошибками. ChatGPT 4.5 ближе к «медленной системе»: он работает дольше, рассуждает глубже, стремится к большей точности и пониманию сути задачи, и его подход необходим для 20% задач, где важна не скорость, а качество размышлений.

При этом мы уверены, что без возможностей модели уровня GPT-4.5 искусственный интеллект в полном смысле слова не может считаться «интеллектом». Можно сказать, что сообщество в целом уже негласно признало: ChatGPT 4o — это всё ещё не интеллект, а инструмент, пусть и весьма продвинутый.

Возникает интересный вопрос: а как тогда относиться к людям, которые в своей повседневной жизни почти не используют «медленную систему» мышления? Не задумываются, не анализируют, не стремятся понять суть вещей, не строят причинно-следственные связи? Можем ли мы в полной мере называть такую форму мышления интеллектом? Или это всего лишь автоматическая, почти рефлекторная реакция — как у модели, которая быстро отвечает, но не думает?

Статья «Leveraging Knowledge Graphs in Real Estate Search» на Zillow Tech Hub описывает, как компания Zillow использует графы знаний для улучшения поиска недвижимости - графы знаний сейчас мега популярная тема, особенно применительно к RAG, так что я решил взглянуть подетальнее на практический, а не абстрактный кейс.

Граф знаний (Knowledge Graph, KG) — это структура данных, которая представляет информацию в виде узлов (сущностей) и связей между ними. Это позволяет эффективно организовывать и интерпретировать данные, делая их более доступными для анализа как людьми, так и машинами.

Zillow применяет графы знаний для:
• Связывания различных сущностей, таких как дома, районы, школы и агенты, что обеспечивает более точные и релевантные результаты поиска.
• Улучшения пользовательского опыта за счет предоставления структурированной и связанной информации о недвижимости.
• Повышения эффективности алгоритмов машинного обучения, использующих структурированные данные из графа знаний.

Рекоммендую взглянуть, компания в целом дает положительный feedback: KG стал для нас отличным инструментом для агрегации данных из разных источников, их стандартизации и поддержки. Это позволило нам запустить первый опыт поиска на естественном языке в сфере недвижимости, и мы ощутили рост клиентского опыта, измеренный с помощью AB-тестов. Мы также отметили значительный рост количества объектов недвижимости, показанных для поиска по ключевым словам, способность лучше понимать запросы пользователей и более высокую оценку релевантности объектов недвижимости, показанных пользователям. Стандартизация также привела к лучшему пониманию пользователей и улучшила наши алгоритмы поиска и ранжирования.

Так что графы знаний - то что нужно для GenAI !

https://www.zillow.com/tech/leveraging-knowledge-graphs-in-real-estate-search/?utm_source=tldrdata

Вам посылка от OpenAI - A practical guide to building agents

Дайджест статей

From Traditional BI to GenBI: Embracing a Smarter, More Human Approach
https://medium.com/wrenai/from-traditional-bi-to-genbi-embracing-a-smarter-more-human-approach-d4c166ee5c10

Build a Data Analyst AI Agent from Scratch
https://medium.com/teradata/build-a-data-analyst-ai-agent-from-scratch-f613a1f5027c

Best Practices for Data Warehouses in Microsoft Fabric
https://dzone.com/articles/best-practices-data-warehouses-microsoft-fabric

SQLMesh & Multi-Engine Data Stack
https://juhache.substack.com/p/sqlmesh-and-multi-engine-data-stack?utm_source=post-email-title&publication_id=1211981&post_id=158989757&utm_campaign=email-post-title&isFreemail=true&r=15862q&triedRedirect=true&utm_medium=email

DWH: История поиска альтернативы PostgreSQL и Snowflake. Часть 2
https://habr.com/ru/companies/otus/articles/900916/

Теорема CAP: почему нельзя иметь все сразу и как аналитик выбирает чем пожертвовать
https://habr.com/ru/articles/900330/

Архитектура проекта автоматического обучения ML-моделей
https://habr.com/ru/companies/ingos_it/articles/901782/

Анализ данных: от EDA до Tinder-битвы графиков
https://habr.com/ru/companies/ru_mts/articles/900572/

Self-Service BI: как сделать, чтобы он полетел
https://habr.com/ru/companies/glowbyte/articles/901884/

Emerging Data Architectures: The Future of Data Management
https://dzone.com/articles/data-architectures-future-of-data-management

Building a modern Data Warehouse from scratch
https://rihab-feki.medium.com/building-a-modern-data-warehouse-from-scratch-d18d346a7118

How to Build a General-Purpose LLM Agent
https://medium.com/data-science/build-a-general-purpose-ai-agent-c40be49e7400

Data Federation vs Data Ingestion: updated guidance on an optimal strategy for the integration of external data sources on Databricks
https://medium.com/dbsql-sme-engineering/data-federation-vs-data-ingestion-updated-guidance-on-an-optimal-strategy-for-the-integration-of-7c6056d45201

Как CTO проходят собеседования в X5 Tech?

23 апреля у вас будет шанс оказаться по ту сторону двери, которая обычно плотно закрыта. South HUB, совместно с X5 Tech открывает внутреннюю кухню найма на одну из самых высоких и конкурентных позиций в стране — CTO в AI-департаменте X5 Tech.

В прямом эфире вы увидите Match Checking Interview — последний этап перед оффером с главным бизнес-заказчиком. На что обращают внимание в таких интервью? Как проходит Match Checking? Как понять, готов ли кандидат реализовать Ai стратегию, управлять крупной командой и обеспечить успех проектов, затрагивающих миллионы пользователей — вот что важно понять на этой встрече.

🎙 В эфире:
Владимир Слайковский — соискатель, CTO PEARCH.AI, Kaggle Notebooks Grandmaster
Михаил Неверов — интервьюер, директор по развитию AI в X5 Tech, архитектор AI CoPilot X5 и AI Lifecycle Platform, лидер команды из 200+ AI-специалистов

Для CTO, технических лидеров которые хотят понять, как выглядят собеседования на топовые C-level позиции и специалистов в области AI и ML, стремящихся вырасти до роли CTO. Не упустите шанс увидеть собеседование в крупнейшую технологическую компанию России!

📅 Когда: 23 апреля, 19:00-20:30
📍 Где: Прямой эфир в Telegram-канале South HUB

🔥 А уже в мае South HUB соберёт C-level в IT обсудить раскалённую до бела тему — искусственный интеллект! «Прожарка AI» — один вечер, 50 мест, ноль проходных идей — только well done. Регистрация тут: https://i.southhub.ru/7POXT

🎉 Data Awards 2025: Финальный отсчёт начался! 🎉

Друзья, церемония вручения престижной премии Data Awards 2025 состоится уже 15 мая в Москве! Это седьмой сезон награды, которая отмечает компании и лидеров из России и стран СНГ за выдающиеся достижения в области data-driven трансформации. В этом году особое внимание уделяется проектам с использованием искусственного интеллекта, включая генеративные модели, а также инициативам в госсекторе и промышленности.

🗂 Более 75 заявок уже поданы, и на этой неделе оргкомитет завершает их оценку. Познакомиться со всеми анкетами и проектами можно по ссылке:
🔗 https://www.osp.ru/lp/dataaward2025

📌 Номинации 2025 года включают:
• Создание новой бизнес-модели на основе данных
• Повышение эффективности B2B и B2C-бизнеса
• Реализация инновационных идей
• Создание цифровых экосистем
• Внедрение генеративного ИИ
• Социально значимые инициативы
• Качество данных и клиентоцентричность
• Подготовка специалистов по работе с данными
• Импортонезависимые решения
• Международные проекты
• Вклад в развитие сообщества

…и другие. Полный список номинаций доступен на сайте премии.

До встречи на Data Awards 2025! 🚀

Несколько месяцев назад писал пост о том, как меняются индустрия перевода под натиском технологий LLM., а вот свежий обзор от коллег из Intento (которым передаю тут привет) с оценкой и сравнением разных моделей применительно к задачам перевода между языками.

Так же должен отметить, что не так давно читал еще книгу, которую написал профессиональный переводчик, который как раз рассуждал на тему машинный перевод против человеческого перевода под призной LLM.

Если коротко - доля людей в переводе сохраниться по всей видимости на долго, но сместиться полностью в нишу "высокопрофессионального перевода" где важнен не только текст и язык, но и смыслы и понимание культурных различий не только народов но и конкретных собеседников. Как аргументация - профессиональные переводчики официальных делегаций владеют не только знанием языков но и глубокими знаниями культурных различий, протоколов общения, практикой считывания невербальных сигналов и тп.

https://inten.to/blog/generative-ai-for-translation-in-2025/

Дайджест статей

Introducing Lakehouse 2.0: What Changes?
https://moderndata101.substack.com/p/introducing-lakehouse-20-what-changes

Выбираем BI-системы: обзор архитектуры, технологий и выбора
https://habr.com/ru/articles/903974/

Организация датасетов с ClearML
https://habr.com/ru/articles/902824/

Виртуальная СУБД. Язык манипулирования данными (DML)
https://habr.com/ru/articles/902360/

A Modern Stack for Building Scalable Systems
https://dzone.com/articles/modern-stack

Три примера, как BI помогает ИТ-директору крупной компании мониторить производительность и снижать нагрузку на систему
https://habr.com/ru/companies/w_code/articles/904006/

Как геймификация в BI влияет на мотивацию сотрудников
https://habr.com/ru/companies/modusbi/articles/904110/

RAG-технология в действии: как создать интеллектуальную систему поиска по нормативным документам
https://habr.com/ru/articles/904418/

Эра Big Data: новые возможности в принятии решений
https://habr.com/ru/articles/904108/

Индекс доходимости студентов и не только: как отечественные BI-системы помогают образованию
https://habr.com/ru/companies/w_code/articles/904076/

Хочу обратить ваше внимание на очень важную публикацию. Она получила большой резонанс в информационном пространстве технологической отрасли и даже была признана одной из самых читаемых статей за прошлую неделю.

Её значимость определяется нестандартным, тщательно аргументированным и прагматичным взглядом на перспективы развития ИИ и скорость его проникновения в бизнес и повседневную жизнь. Лично я с большим интересом прочитал статью несколько дней назад; изложенная авторами позиция во многом совпадает с моим собственным пониманием происходящего и оценкой перспектив этой технологии.

Материал очень объёмный, и даже краткий пересказ всех важных тезисов — это уже отдельная статья. Тем не менее для меня ключевая мысль выглядит так:

Скорость внедрения ИИ в бизнес определяется не столько возможностями самой технологии, сколько тем, как быстро люди и организации её осваивают.

Существует цикл инноваций, адаптации и обратной связи, через который проходят изменения бизнес-процессов: нужно что-то изменить, оценить результат, сделать следующий шаг. На общую скорость влияют инерция государств (регулирование), компаний (способность перестраивать процессы) и людей (обучение работе с новыми инструментами). Изменение рабочих практик, норм и законов занимает десятилетия, поэтому даже генеративные модели сегодня дают экономике лишь доли процента прироста производительности.

Многие знания в организациях носят неформальный характер и не фиксируются в виде, который можно усвоить пассивно. Поэтому циклы обратной связи приходится проходить заново в каждом секторе, а в сложных задачах — даже в отдельных компаниях, что ограничивает возможности быстрого параллельного обучения.

ИИ, как и любая другая технология, ещё предстоит долгий путь — примерно десятилетие, — прежде чем мы сможем полностью его освоить и адаптировать свою жизнь. Люди остаются главным «актором» и объектом изменений, тогда как ИИ остаётся лишь инструментом в их руках.

Бизнес сложнее любой симуляции. Сейчас ИИ выдаёт точный результат примерно в 80 % случаев, а в 20 % — нет. Для бизнеса этого недостаточно: в вопросах безопасности, автономного транспорта, кредитования, диагностики и других критически важных сферах требуется близкая к 100 % надёжность. Технологиям ещё предстоит пройти большой путь, чтобы обеспечить такие гарантии.

Любая зрелая технология — это взаимодействие технологии и общества. Такой подход отвергает технологический детерминизм, особенно представление об ИИ как самостоятельном агенте, который сам определяет своё будущее. Авторы статьи опираются на уроки прошлых технологических революций, подчёркивая медленный и непредсказуемый характер внедрения и распространения новшеств.

“Diffusion is limited by the speed of human, organizational, and institutional change.”

Пожалуй, это главная мысль статьи, хотя в ней есть ещё много интересного.

https://knightcolumbia.org/content/ai-as-normal-technology

С Днём «Звёздных войн»!

Думаете, это Звезда Смерти? А вот и нет!

На самом деле это Мимас — один из спутников Сатурна, открытый британским астрономом Уильямом Гершелем в 1789 году.

Его самая заметная особенность — гигантский ударный кратер, названный в честь Гершеля, который простирается на треть диаметра спутника.

Это изображение было сделано аппаратом «Кассини-Гюйгенс», который провёл 20 лет, изучая Сатурн, его кольца и спутники.

Дайджест статей

Ambient AI: What You Need to Know as a Product Manager
https://www.prodpad.com/blog/ambient-ai/?utm_source=tldrproduct

Как мы в PIX BI научились выжимать максимум из данных с помощью таблиц
https://habr.com/ru/companies/pix_robotics/articles/905188/

ACID, BASE, CAP: Фундамент архитектуры распределенных систем
https://habr.com/ru/articles/906220/

Как мы разработали LLM-модель, которая генерирует описания товаров для пользователей Авито
https://habr.com/ru/companies/avito/articles/906504/

Распределённые транзакции в микросервисах: от SAGA до Two‑Phase Commit
https://habr.com/ru/articles/906484/

Искусственный интеллект в медицине: Революция в здравоохранении
https://habr.com/ru/articles/906426/

Больше данных — ровнее ландшафт нейросетей
https://habr.com/ru/articles/906336/

Распределенные системы и горизонтальное масштабирование
https://habr.com/ru/articles/906332/

Зловредное выравнивание: как небольшая тонкая настройка приводит к огромным отклонениям поведения языковой модели
https://habr.com/ru/articles/906626/

Созвон про федеративное обучение

▫️ 7 мая (среда), !! 14:00 МСК
▫️ Google Meet→

Вместе с коллегами из компании Guardora Михаилом Фатюхиным и Дмитрием Масловым обсудим текущее положение дел с адаптацией технологий федеративного обучения (FL) в enterprise-среде:
— Напомним основные термины, определения и подходы из FL;
— Перечислим перспективные бизнес-кейсы применения этой технологии в различных индустриях и направлениях;
— Разберём основные угрозы безопасности и модель рисков связанных с FL;
— Рассмотрим другие методы обеспечения конфиденциальности процессов анализа данных и их связь с федеративным обучением;
— Поговорим про правовые аспекты использования технологий конфиденциального анализа данных и текущее положение дел в области их регулирования;
— Обсудим, какие есть преграды перед широким внедрением технологий FL и конфиденциальных вычислений для решения бизнес-задач.

Перед созвоном можно ознакомиться с отчётом (white paper) от Ассоциации больших данных, Guardora и Privacy Advocates @prv_adv:
Конфиденциальные вычисления и доверенные среды исполнения. Federated Learning, 2025 (~35 минут).

!!Еще раз обращаем внимание на время начала: 14:00 МСК.

Неожиданно из этого анонса узнал о компании Gurdora. Ребята делают framework для Federated Learning в ML задачах. С первого взгляда похоже на Flower, но надо изучить подробнее. Выглядит интересно.

https://guardora.ru/

Друзья, наши партнеры из @digital4food подготовили действительно классную квест-игру!

В ней вам предстоит побывать в шкуре финансового, технического или ИТ- директора предприятия.

– Погрузитесь в проект автоматизации

– Принимайте непростые решения, от которых будет зависеть успех всего проекта

– Решайте возникающие проблемы на пути к главной цели🎯

Готовы ли вы проверить себя на прочность? Тогда на старт, внимание ...@DIGITAL4FOOD_quizbot

P.S. В конце квеста вас ждет небольшой подарок 🎁