Про квантовые вычисления

По мотивам семинара на этой неделе, подборка про квантовые вычисления и алгоритмы от докладчика Сергея Усманова:
▫️ Научно популярное введение в тему: S. Aaronson - Quantum Computing Since Democritus (есть перевод), 2013 (~400 стр.);
▫️ Канонический учебник по квантовым вычислениям: M.A. Nielsen, I.L. Chuang - Quantum Computation and Quantum Information (перевод тоже где-то есть), 2010 (~700 стр.);
▫️ Современный обзор приложений и алгоритмов (главы 4 и 5 - про комбинаторную и непрерывную квантовую оптимизацию, глава 9 - про квантовый ML): A.M. Dalzell et al. - Quantum algorithms: A survey of applications and end-to-end complexities, 2023 (~330 стр.);
▫️ Ресурс с каталогом квантовых алгоритмов: Quantum Algorithm Zoo;
▫️ Ландшафт рынка в области квантовых вычислений: Quantum Computing Companies: A Full 2024 List.

P.S.:
С автором книги “Квантовые вычисления со времен Демокрита” Скоттом Ааронсоном есть два выпуска подкаста Лекса Фридмана:
▫️ Scott Aaronson: Quantum Computing, 2020 (1 час 35 минут);
▫️ Scott Aaronson: Computational Complexity and Consciousness, 2020 (1 час 50 минут).

P.P.S: Материалы по теме от других участников сообщества:
▫️ @Yah179 - учебник А. Китаев, А. Шень, М. Вялый - Классические и квантовые вычисления, 1999 (~190 стр.);
▫️ @Alex15785 - статья на Хабре: Механический квантовый компьютер, 2024 (15 минут);
▫️ @kirill_chizhov - библиотека от IBM: Qiskit Optimization: A library for optimization applications using quantum computing.

Кстати, в блогах Qiskit много постов про квантовые вычисления и оптимизацию простыми словами, например:
▫️ A Walkthrough of Qiskit’s New Optimization Module, 2020 (6 минут);
▫️ Cutting Through the Hype of Quantum Optimization, 2021 (13 минут).

Коллеги, анонс от наших друзей: До ухода компании SAP из России ее решения использовали около полутора тысяч клиентов из государственных и коммерческих структур. Что интересно, многие продолжают работать с ними независимо от ограничений – найти качественный аналог бизнес-критичной системы непросто. Часть бизнеса пошло по пути замещения части решений, без изменения текущей экосистемы.

Чтобы разобраться, как обстоят сегодня дела с качеством мастер-данных в экосистеме SAP, коллеги проводят любопытный вебинар «MDM в среде SAP – как это выглядит на практике?», который состоится 4 июля.

Важно - вебинар не теоретический, приглашенный гость - Алена Быкова, Объединенные пивоварни Хайнекен. Разговор будет строиться исключительно на основе опыта.

Что планируется обсудить:
- Сценарии взаимодействия MDM и SAP
- Архитектура взаимодействия MDM и SAP
- Настройка workflow для обработки данных и ролевой модели
- Специфика реализации проекта, на что обратить внимание

Участие в вебинаре будет интересно CIO, CDO, архитекторам, руководителям отделов аналитики, а также менеджерам по аналитике и работе с данными.

Присоединяйтесь и делитесь впечатлениями!
https://harmony4data.ru/events/040724/?utm_source=TG&utm_medium=CDO&utm_campaign=04_06_MDM_SAP

Как говорится - всех причастных с праздником!

Знаю, что в канале много людей, кто стоял у истоков этой истории, сотрудников, клиентов, конкурентов или просто неравнодушных людей, которые так или иначе пересекались с нашей командой и продолжают помогать 🙂

🎉 CleverData 10 лет!🎉
В этом году наша компания отмечает юбилей! 

Образовавшись как небольшой стартап мы развиваемся, растем, усиливаемся, крепнем, учимся, решаем сложные задачи, принимаем вызовы и достойно выдерживаем все испытания на протяжении 10 лет🧑🏻‍💻👩🏼‍💻! И, конечно, не останавливаемся на достигнутом, а рвемся только вперед! 🚀

CleverData - это, прежде всего, люди💓. Это команда профессионалов, объединенных одной идеей: Вместе меняем мир, анализируя данные! 

💚 Спасибо каждому человеку, кто с нами за ваше доверие и выбор! 💚

Мы не будем подводить итоги, а просто отметим основные этапы развития нашей компании. Конечно, все это случилось только благодаря нашим основателям, руководителям, сотрудникам, клиентам и партнерам, которые рядом с нами все это время 🙏🏻. 

Спойлер: только посмотрите, какие мы крутые 😎 (ниже).  Не всех клиентов мы отрыто можем раскрывать, но поверьте, вы точно их знаете ;)
💫 Поздравления принимаем в комментариях ;)

И еще одна небольшая персональна новость :) извините за офф топик

https://www.prnewswire.com/news-releases/crossover-markets-raises-12-million-series-a-funding-round-led-by-illuminate-financial-and-drw-venture-capital-302182278.html

Довольно неплохой доклад про платформу управления данными.

https://youtu.be/jYOWpcwfyTI?si=PsZWK4YGnpVfu3g8

Дайджест статей

TacticAI: an AI assistant for football tactics
https://deepmind.google/discover/blog/tacticai-ai-assistant-for-football-tactics

How Data Mesh Platforms Connect Data Producers and Consumers
https://www.infoq.com/news/2024/06/data-mesh-platforms/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

LLM Orchestrator: The Symphony of AI Services
https://dzone.com/articles/llm-orchestrator-the-symphony-of-ai-services

ИИ познает женскую красоту
https://habr.com/ru/articles/824390/?utm_source=habrahabr&utm_medium=rss&utm_campaign=824390

Рекомендательная система для интернет-магазина: графы, векторы и генеративный ИИ
https://habr.com/ru/companies/lad_/articles/824516/?utm_source=habrahabr&utm_medium=rss&utm_campaign=824516

База по базам данных. Для всех интересующихся
https://habr.com/ru/articles/825104/?utm_source=habrahabr&utm_medium=rss&utm_campaign=825104

Качество данных в М.Видео-Эльдорадо
https://habr.com/ru/companies/mvideo/articles/825314/?utm_source=habrahabr&utm_medium=rss&utm_campaign=825314

Кратко про Multi-Head RAG: решение многоаспектных задач с помощью LLM
https://habr.com/ru/companies/otus/articles/821943/?utm_source=habrahabr&utm_medium=rss&utm_campaign=821943

Интересный tool в коллекцию: https://quickview.email/

просто даете ему ссылку на youtube ролик и получаете на почту кракое саммари. вот что получилось по докладу из поста выше:

Как создать платформу для обработки данных в IT-компании / Александр Артёменко | duration 2537s

Докладчик рассказал о построении платформы управления данными в Яндексе, начиная с объяснения термина DMP (Data Management Platform). DMP представляет собой платформу для сбора и обработки данных, необходимую практически любой IT-компании для аналитики и управления данными о заказах, клиентах и поставщиках. Он поделился опытом работы над платформой в Яндексе, где сначала использовали крон для запуска процессов, затем перешли на декларативный фреймворк для типовых задач.

Он описал эволюцию платформы, начиная с примитивных процессов и перехода к более сложным с использованием Luigi для построения графов задач. Рассказал о разработке собственного оркестратора для эффективного управления процессами и расширения возможностей платформы. Он также упомянул использование триггеров для запуска задач по событиям и мониторинга качества данных.

Вопросы из аудитории касались различных аспектов работы с данными, таких как консистентность данных, обработка ошибок, масштабирование процессов, передача данных и мониторинг. Докладчик поделился советами по выбору инструментов для маленьких компаний, упомянув о возможности использования готовых решений, таких как Airflow Manager. Также были заданы вопросы о работе с конкурентным доступом к данным, обработке ошибок и забавных случаях при работе с данными.

В целом, доклад представил интересный путь развития платформы управления данными в Яндексе, подчеркнув важность эффективного управления процессами сбора и обработки данных для компаний любого масштаба. Он также подчеркнул необходимость постоянного развития и адаптации платформы к растущим потребностям компании.

Новый рекорд скорости передачи данных через стандартную оптику -

402 Tb/s

Опыт команды LinkedIn по внедрению GenAI в свой продукт:

- "главное выбрать правильного агента" - короче распознать что конкретно хочет пользователь так и остается одной из важных задач в диалоговых системах и просто кидать запросы в LLM не помогает решить конкретную пользовательсксую проблему 🙂

- Retrieval - а еще агент должен не только знать но и уметь ходить в нуные сервисы за информацией, а не просто выдавать ответы на основе обучающих данных. Поэтому нужна интегарция и гереация запросов. А еще агент должен уметь делать дейвия в системах, тогда он рельно будет приносить пользу, а не просто давать советы из области "вам надо стать ежиками" 🙂 Реально клиентский опыт меняет не ответы а дейтвия: отпишись от всех "друзей" с должность "business developer", например (коли речь идет о LinkedIn, там это просто боль)

What worked for us:
- Fixed 3-step pipeline
- Small models for routing/retrieval, bigger models for generation
- Embedding-Based Retrieval (EBR) powered by an in-memory database as our 'poor man's fine-tuning' to inject response examples directly into our prompts
- Per-step specific evaluation pipelines, particularly for routing/retrieval

What we are working on: a unified skill registry to dynamically discover and invoke APIs/agents packaged as LLM friendly skills across our generative AI products.

А еще интересные компромисы подсвечиваются: Quality vs Latency - ну понятно, надо либо бытсро либо хорошо. А пользователь хочет и быстро и хорошо 🙂

https://www.linkedin.com/blog/engineering/generative-ai/musings-on-building-a-generative-ai-product

⚡️ Microsoft только что был опубликовали Graph RAG!

Проект Graph RAG - это пакет для обработки и преобразования данных открытым исходным кодом, предназначенный для извлечения структурированных данных из неструктурированного текста с использованием возможностей LLMs.

Эо методология использования структур памяти knowledge graph для улучшения работы LLM.

▪ Github
▪ Docs
▪ Blog

@data_analysis_ml

Дайджест статей

Базовое руководство для улучшения качества продуктов с LLM
https://gopractice.ru/skills/improving-products-with-llm/

Как влияет искусственный интеллект на управление данными
https://cio.osp.ru/articles/270624-Kak-vliyaet-iskusstvennyy-intellekt-na-upravlenie-dannymi

Build an Advanced RAG App: Query Rewriting
https://dzone.com/articles/build-an-advanced-rag-app-query-rewriting

Инфраструктура для data engineer S3
https://habr.com/ru/articles/827052/

Phased Approach to Data Warehouse Modernization
https://dzone.com/articles/phased-approach-to-data-warehouse-modernization

Knowledge Graph Enlightenment, AI, and RAG
https://dzone.com/articles/knowledge-graph-enlightenment-ai-and-rag-the-year

Generative Search: Practical Advice for Retrieval Augmented Generation (RAG)
https://www.infoq.com/presentations/vector-embedding-llm/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

Как справиться с нехваткой открытых данных для обучения и тестирования ML-моделей
https://habr.com/ru/companies/selectel/articles/826266/

17 продвинутых RAG-техник: как превратить прототип LLM-приложения в готовое решение
https://habr.com/ru/companies/bothub/articles/825850/

Графы в рекомендательных системах [часть 1]
https://habr.com/ru/articles/825896/

Хранилища данных. Обзор технологий и подходов к проектированию
https://habr.com/ru/articles/822669/

Визуализация данных: четыре простых способа быстро улучшить диаграмму
https://habr.com/ru/companies/vk/articles/824260/

Друзья!

У нас есть неожиданное и очень приятное предложение от редакции канала CDO Club и команды CleverData: давайте повторим наш оффлайн формат и соберемся в августе в Москве, чтобы обсудить рынок данных, монетизацию, тренды и поделиться новостями?

Мы видим, что интерес к теме на рынке растет, и чувствуем, что накопилось достаточно информации для продуктивного разговора и обмена идеями. Это будет уютная камерная встреча без записи и трансляций, в кругу единомышленников и экспертов.

С этим постом мы хотим получить вашу обратную связь: насколько вам интересно принять участие, какие у вас есть идеи и предложения. Кто хочет что-то рассказать? Какие пожелания по формату, повестке и организации мероприятия?

На данный момент у нас есть ориентировочная дата – 13 августа.

Давайте вместе создадим незабываемое событие! Ваши идеи и предложения можно оставить в комментариях или прислать в личные сообщения.

Ждем отклика!

Если вы строите экономику данных, то этот отчет о совместном использовании ИИ и блокчейна для вас

Ключевые сферы внимания в докладе:

1. обеспечение экономики данных децентрализованными фреймворками ИИ, использование блокчейна для безопасного и эффективного обучения моделей ИИ, а также использование ИИ для автоматизированного маркет-мейкинга и торговых стратегий в децентрализованных финансах (#DeFi ).

2. представлены тематические исследования по выявлению мошеннических схем на основе ИИ, сохранение #privacy в DeFi и использование обработки естественного языка (#NLP ) для анализа тональности и анализа данных.

3. обсуждается применение цифровых двойников #digitaltwin в управлении активами.

4. рассматриваются этические, социальные и управленческие принципы, подчеркивая необходимость глобального отрудничества и надежной нормативно-правовой базы для обеспечения положительного воздействия этих конвергентных технологий на общество.

Это шедевр: известное австралийское медиа, которое снимает колкую политическую сатиру, опубликовало видео про ИИ

В ролике пародийный ИИ-ассистент GovGPT, "сделанный компанией ClosedAI", с сарказмом и пасхалками прожаривает тех-гигантов и отвечает на вопрос "Будет ли SkyNet?".

Ничего лучше вы сегодня не увидите

Using Federated Machine Learning to Overcome the AI Scale Disadvantage

Статья не новая, прошлого года, но любопытная. Рассказывается кейс использования Federated Learning в исследовательских задачах в фарминдустрии. Ряд довольно крупных компаний, таких как AstraZeneca, Bayer, GSK, Janssen Pharmaceutica, Merck, and Novartis в 2017 году организовали консорциум Melloddy в рамках которого проводили эксперимент по создания общей платформы для работы с данными в децентрализованном режиме. В качестве базы для платформы использовали стартап Owkin (https://www.owkin.com/substra).

Инновации в фармацевтике - дело очень дорогое и трудоемкое. Средняя стоимость вывода нового препарата на рынок составляет около 2,3 миллиарда долларов по состоянию на 2022 год, а сам процесс может занять более 10 лет. Одна из основных трудностей при открытии лекарств связана с чрезвычайно большим количеством возможных молекул (порядка 10⁶⁰) и связанной с этим проблемой поиска молекул с перспективными свойствами в этом огромном пространстве. Фармацевтические компании также сталкиваются с давлением, поскольку такие крупные технологические игроки, как Alphabet, используют свои глубокие знания в области искусственного интеллекта и машинного обучения для открытия лекарств.

Melloddy - представлял собой трехлетний пилотный проект, целью которого было проверить FedML на целесообразность и эффективности. Проект финансировался совместно с Европейским союзом; Еврокомиссия рассматривала Melloddy как тестовый пример для получения информации для бизнес-секторов за пределами фармацевтики. Используя данные друг друга, но не делясь ими, участвующие фармацевтические компании могли обучать свои модели машинного обучения на самом большом в мире наборе данных об открытии лекарств, что позволяло делать более точные прогнозы относительно перспективных молекул и повышало эффективность процесса открытия лекарств.

Результаты пилотного проекта Melloddy, который завершился в 2022 году, показали, что создание безопасной многосторонней платформы для совместного ИИ с использованием децентрализованных данных вполне осуществимо и что производительность моделей машинного обучения действительно повышается при использовании подхода FedML.

Но вот про дальнейшие шаги что то в статье не очень много деталей 🙂

Дайджест статей

От «дата-ада» к знаку качества. Как в М.Видео-Эльдорадо работа с качеством данных улучшает результаты в бизнесе
https://habr.com/ru/companies/mvideo/articles/827876/

Unified Database: Laying the foundation for large language model vertical applications
https://www.microsoft.com/en-us/research/blog/unified-database-laying-the-foundation-for-large-language-model-vertical-applications/

GPT для генерации кода в реальном применении на производстве
https://habr.com/ru/companies/nlmk/articles/826754/

Будущее хранения данных. Где и на чем будем хранить данные в будущем
https://habr.com/ru/companies/timeweb/articles/826284/

How data governance contributes to a data-driven culture
https://www.datasciencecentral.com/how-data-governance-contributes-to-a-data-driven-culture/

MIT researchers introduce generative AI for databases
https://news.mit.edu/2024/mit-researchers-introduce-generative-ai-databases-0708

Optimize AI Model Performance and Maintain Data Privacy with Hybrid RAG
https://developer.nvidia.com/blog/optimize-ai-model-performance-and-maintain-data-privacy-with-hybrid-rag/