Пора переименовывать канал :) Не модно уже (в кои то веки автозамена написала действительно «модно» когда это нужно :)) )

https://amzn.to/3PZBGxu

Кстати вот эта вся шумиха про DeepSeek неплохо имхо про суммирована в этой статье.

Редакция еще не прочитала, но беглый просмотр материала привел в выводу, что надо поспешить поделиться.


https://open.substack.com/pub/thealgorithmicbridge/p/7-implications-of-deepseeks-victory?r=15862q&utm_medium=ios

Вот и ответочка от мессии прилетела

https://openai.com/index/openai-o3-mini

Обновленная матрешка

Дайджест статей

Озеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышло
https://habr.com/ru/companies/kaspersky/articles/876834/

Дорожная карта миграции большого хранилища данных
https://habr.com/ru/companies/oleg-bunin/articles/876306/

Руководство по интерпретации данных
https://habr.com/ru/companies/otus/articles/877712/

По ту сторону экрана: про найм в Data-аналитики глазами нанимающего Лида
https://habr.com/ru/articles/877932/

Менеджер данных: как новая роль изменила подход к работе с ML
https://habr.com/ru/companies/2gis/articles/877868/

How does Netflix ensure the data quality for thousands of Apache Iceberg tables?
https://blog.det.life/how-does-netflix-ensure-the-data-quality-for-thousands-of-apache-iceberg-tables-76d3ef545085

Поделюсь новостью, хотя обычно стараюсь не превращать канал в ленту новостей, отдавая предпочтение аналитическому контенту. Тем не менее - вчера OpenAI выкатили нового агента ChatGPT Deep Research.

Это не новая модель, а новый агент, предназначенный для исследований. Но самое инетресное тут - что такое "исследования". На самом деле это не только научный reseach который мне тут читается по умолчанию, а вообще любое предметное изучение любой тематики.

Например это может быть полезно для разборчивых покупателей, которым нужны гиперперсонализированные рекомендации по покупкам, обычно требующим тщательного изучения, например автомобилям, бытовой технике и мебели. Каждый вывод полностью документирован, с четкими ссылками и кратким изложением мыслей, что облегчает поиск и проверку информации. Он особенно эффективен при поиске нишевой, неинтуитивной информации, для получения которой пришлось бы просматривать множество веб-сайтов. Глубокое исследование высвобождает драгоценное время, позволяя разгрузить и ускорить сложные, требующие много времени веб-исследования с помощью всего одного запроса. Глубокое исследование самостоятельно находит, осмысливает и консолидирует информацию, полученную со всего Интернета.

В общем "Агентский подход + веб поиск в реальном времени + о3 mini = очень полезный инструмент для работы и жизни".

https://openai.com/index/introducing-deep-research/

Дайджест статей

Построение инфраструктуры для работы с языковыми моделями: опыт X5 Tech
https://habr.com/ru/companies/X5Tech/articles/880288/

LLM в науке, тюнинг и регулирование систем ИИ
https://habr.com/ru/companies/mws/articles/880056/

Self service в действии: как Luxms BI помогает ускорить аналитику
https://habr.com/ru/companies/luxms_bi/articles/880082/

Создаем BI отчеты для SEO помощью Google Looker и A-Parser
https://habr.com/ru/articles/880044/

Гайд: как оценить удобство вашей дата-инфраструктуры
https://habr.com/ru/companies/dododev/articles/879778/

Как обойти гору: эффективные приёмы обработки пользовательских данных
https://habr.com/ru/companies/vk/articles/879386/

LLM для автоматизации поддержки
https://habr.com/ru/companies/tbank/articles/879128/

Вот я люблю C4 и стараюсь использовать эту нотацию, когда делаю какие то картинки про архитектуру. А тут статья попалась про использвоание C4 для моделирования data домена с практическими советами как следует структурировать сущности.

https://blog.datatraininglab.com/c4-modelling-for-data-teams-from-chaos-to-clarity-a9f499007e20

Интересный пост увидел в FB, оригинал которого находится в LI (ссылка ниже). Так что мопед не мой но утверждения интересные. Что думает общественность?

«Количество вакансий для разработчиков рухнуло на 70% с пика 2022 года. Многие скажут, что причина в конце эпохи «бесплатных денег». Но все гораздо глубже.

- Миддл разработчики больше не нужны! Один сильный инженер с GitHub Copilot, Cursor, Bolt и другими AI-инструментами делает работу, которую 5 лет назад делала целая команда. Microsoft только что отчиталась о рекордной выручке на одного сотрудника.

- Джунов больше нет! Вместо entry-level разработчиков приходят "product builders". Они создают готовые продукты за считанные дни, используя AI.

- Топ-инженеры зарабатывают больше, чем когда-либо в истории.

Но теперь они уходят в топовые направления, решая действительно сложные задачи:

- AGI в OpenAI
- Ракетостроение в SpaceX
- Автопилот в Tesla

Что это все значит?
Миддлы и джуны исчезают! Топ-инженеры зарабатывают как хедж-фонды. Будущее — за билдерами и соло-предпринимателями.»

-> https://www.linkedin.com/in/gisenberg/

Посмотрите большую презентацию от UBS про их опыт использования Data Mesh. А то все агенты да агенты.

https://www.infoq.com/presentations/data-mesh-architecture/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

Дайджест статей

Данные на льду: как Apache Iceberg перевернул мир аналитических систем
https://habr.com/ru/companies/selectel/articles/875472/

RL RecSys в проде: хайп или игра вдолгую
https://habr.com/ru/companies/tbank/articles/882478/

Self-Service в BI — зачем нужен, как работает и как реализован в Modus
https://habr.com/ru/companies/modusbi/articles/882568/

Тестирование с интеллектом: Пилотный проект внедрения ИИ в РСХБ-Интех
https://habr.com/ru/companies/rshb/articles/881072/

Миграция BI-аналитики: как перейти на Apache Superset и не потерять пользователей
https://habr.com/ru/companies/m2tech/articles/881190/

Гарантии видимости в распределённых хранилищах
https://habr.com/ru/articles/881204/

Методы построения RAG систем
https://habr.com/ru/articles/881268/

Как с помощью искусственного интеллекта повысить эффективность плавильного оборудования
https://habr.com/ru/articles/881622/

Как LangChain и LangGraph упрощают жизнь разработчика ИИ-Агентов
https://habr.com/ru/articles/881372/

Как проводят оценку качества данных в Airbnb
https://habr.com/ru/companies/itsumma/articles/786228/

У меня иногда возникает ощущение, что Microsoft Research и Microsoft это 2 вообще разные организации, которые не подозревают о существовании друг друга. Вот MR выпускает очень интересные материалы, хорошие исследования и разработки. Выпустили очень перспективный метод и библиотеку GraphRAG, вот еще одна статья о методе ExACT - интересный подход к обучению агентов.

Вот только куда это все девается? Зашел как на в Azure - черт ногу сломит там с NLP и LLM сервисами - одно еще не доступно, второе уже устарело, это не используйте мы скоро это отключим и тд. Кошмар :(

https://www.microsoft.com/en-us/research/blog/exact-improving-ai-agents-decision-making-via-test-time-compute-scaling/

Собственно не знаю что прокомментировать относительно этой статьи. Проблема с модерацией - давно известна, но всегда остается "подводной частью айсберга" и про нее говорят крайне мало. Хотя если посмотреть на нее то работа бедных модераторов мало чем отличается от эксплуатации нелегальной рабочей силы.

Надеюсь, что ИИ сделает эту работу более гуманной.

https://www.theguardian.com/commentisfree/2025/feb/12/moderator-facebook-real-cost-outsourcing-digital-labour

Это интересно

Интеллектуальный каюк Homo sapiens близок.
Лишь 15 россиян способны программировать лучше ИИ, в Китае таких еще 59, а в США осталось лишь 7.
Потрясающее зрелище – наблюдать в реальном времени интеллектуальное поражение людей от ИИ.
Когда бестелесные алгоритмы превзошли лучших шахматных гроссмейстеров мира и ушли в отрыв, показывая немыслимый для людей рейтинг уровня игры, - репутация людей, как носителей высшего интеллекта, пошатнулась, но устояла – см. рис слева.
Ведь шахматы, как известно, - хоть и чрезвычайно умная игра, но узкоспециальная интеллектуальная деятельность, ограничиваемая фиксированными правилами.

Но с программированием (выполнением сложных задач кодирования и рассуждений) все иначе. Здесь все почти как в жизни. Вместо следования фиксированным правилам, нужно думать, рассуждать, строить гипотезы и прогнозы. И если с программированием произойдет, как с шахматами, то каюк интеллектуальному превосходству людей (только уникальная способность к инсайтам и останется, - и то, ненадолго).

Насколько этот каюк близок, показывают результаты CodeForces – международной платформы соревнований по программированию.
Текущие результаты модели о3 от OpenAI таковы.
• Рейтинг модели 2724 лучше, чем у 99.8% всех участников этой платформы (а там соревнуются десятки тысяч программистов со всего мира: 26 тыс китайцев, 14 тыс россиян, 3,5 тыс американцев) – см. рис справа вверху;
• Это значит, что во всем мире осталось меньше 200 человек, способных программировать лучше этой модели – см. рис справа внизу.

Остались считанные месяцы, когда людей, способных превзойти ИИ в программировании останется 50, 10, 3 … 0. А дальше модели, как и в шахматах, уйдут в отрыв, похерив интеллектуальное превосходство людей навсегда.

И никакой интеллект кентавра (гибридные системы из человека и ИИ) этому помешать не сможет. Урок с шахматами повторится. Ибо непреодолимым препятствием остаются ограниченные возможности когнитивной архитектуры людей.

Но это не беда. Ибо эволюции (генно-культурной) вообще до фонаря интеллект индивидов. Главное – рост коллективного интеллекта планетарной (а потом и вселенской) жизни. А уж кого в социо-когнитивных сетях глобального интеллекта окажется больше – людей или алгоритмов, - эволюции все равно.

Только ведь людям (и конкретно, нашим детям и внукам) это будет далеко не все равно …

Подробней см:
• https://arxiv.org/abs/2502.06807
• https://codeforces.com/ratings/countries

#ИИриски #Хриски #Вызовы21века

Коллеги, анонс от наших друзей - вебинар по аналитике, который пройдет 27/02

🔹 Почему пользователи заходят, но не покупают?
🔹 Какие фичи реально принесут прибыль?
🔹 Как ваши действия влияют на клиентов в долгосрочной перспективе?
🔹Как повысить эффективность коммуникаций?

Ответы на эти вопросы — в аналитике. Но одной цифры недостаточно, важен контекст. Что если объединить два подхода?

Продуктовая аналитика — изучает путь пользователя на цифровых витринах, чтобы найти зоны роста.
CRM-аналитика — помогает узнать своего покупателя как можно лучше и выстроить с ним эффективную коммуникацию.

🎯 Как использовать эти инструменты, чтобы улучшить продукт и заработать больше?

Обсудим на вебинаре 27 февраля в 16:00.

Егор Лысянский, руководитель группы аналитиков данных АЭРО, расскажет, как:

- Найти выгоду для бизнеса в объединении данных о продукте и клиенте.
- Выделять клиентские сегменты для решения задач персонализации и создавать дополнительные точки контакта с пользователями.
- Выявить, какие каналы приводят клиентов «надолго», а с каких пользователи исчезают после одного заказа.
- Повысить вероятность покупок, увеличить чек и LTV с помощью обогащения данных и качественной data-инфраструктуры.

Присоединяйтесь к вебинару: https://aeroidea.ru/analytics-aero-webinar-27-february

Немного веселой продуктовой аналитики :) а ведь правда, получается что чем лучше работает дайтинг приложение, тем выше отток :)

В блоге Martinа Fower появилась интересная статья со систематизацией и описанием подходов по использованию GenAI (оно же LLM в данном контексте) при разработке ИТ продуктов и систем. В целом, думаю, что полное описание всех современных методов и подходов может потянуть на целую книгу, но как отправная точка для более подробного исследования - статья хорошая.

Коллеги разбираюсь следующие подходы:

- Direct Prompting: Send prompts directly from the user to a Foundation LLM
- Evals: Evaluate the responses of an LLM in the context of a specific task
- Embeddings: Transform large data blocks into numeric vectors so that embeddings near each other represent related concepts
- Retrieval Augmented Generation (RAG): Retrieve relevant document fragments and include these when prompting the LLM


https://martinfowler.com/articles/gen-ai-patterns/

Microsoft хайпанул вчера не хуже DeepSeek и выпустила квантовый чип, который я бы назвал «прикладного уровня» - то есть который уже имеет перспективы работать в реальных бизнес задачах.

Очень интересно, как это скажется на теме ИИ и крипты (тут все ожидают угрозу алгоритмам шифрования, но говорят что это надумано, но я не изучал детали, надо поинтересоваться).

А еще надо помнить что OpenAI сильно дружит с Microsoft и становится интересно, используют ли они квантовые технологии в разработке новых моделей 🤔

https://news.microsoft.com/source/features/ai/microsofts-majorana-1-chip-carves-new-path-for-quantum-computing/