Дайджест статей

От «дата-ада» к знаку качества. Как в М.Видео-Эльдорадо работа с качеством данных улучшает результаты в бизнесе
https://habr.com/ru/companies/mvideo/articles/827876/

Unified Database: Laying the foundation for large language model vertical applications
https://www.microsoft.com/en-us/research/blog/unified-database-laying-the-foundation-for-large-language-model-vertical-applications/

GPT для генерации кода в реальном применении на производстве
https://habr.com/ru/companies/nlmk/articles/826754/

Будущее хранения данных. Где и на чем будем хранить данные в будущем
https://habr.com/ru/companies/timeweb/articles/826284/

How data governance contributes to a data-driven culture
https://www.datasciencecentral.com/how-data-governance-contributes-to-a-data-driven-culture/

MIT researchers introduce generative AI for databases
https://news.mit.edu/2024/mit-researchers-introduce-generative-ai-databases-0708

Optimize AI Model Performance and Maintain Data Privacy with Hybrid RAG
https://developer.nvidia.com/blog/optimize-ai-model-performance-and-maintain-data-privacy-with-hybrid-rag/

Google по всей видимости раскатил Gemini на public Gmail

А кто нибудь встречал какие то уже +/- внятные объяснения что за global сбой происходит? интересны причины, но пока нигде не вижу никакой более менее конкретной инфомрации

UP: https://www.theregister.com/2024/07/19/crowdstrike_falcon_sensor_bsod_incident
UPP: https://news.ycombinator.com/item?id=41004103

Дайджест статей

Как Notion проектировал свой data lake, чтобы успевать за быстрым ростом
https://habr.com/ru/companies/wunderfund/articles/828906/

Всё что нужно знать про DuckDB
https://habr.com/ru/articles/829502/

Шины данных (ESB): зачем компаниям использовать этот инструмент
https://habr.com/ru/articles/828818/

Enhancing data governance with AI: From theory to practice
https://www.datasciencecentral.com/enhancing-data-governance-with-ai-from-theory-to-practice/

Poisoning AI Brain: The Hidden Dangers of Third-Party Data and Agents in AI Systems
https://dzone.com/articles/the-hidden-dangers-of-third-party-data-and-agents

Всем привет! Делюсь анонсом от наших друзей

Коллеги, я как то писал в своем обзоре и упомянал в ходе вебинара по FL о кейсе коллег из Yandex - а в эту среду они расскажут о нем из первых уст :) Так что преглашаю всех присоединиться и послушать!

Семинар про FL в медицине

▫️ 24 июля (среда), 17:00 МСК
▫️ Подключение→

Выступают: Евгений Попов (Yandex Cloud), Никита Лазарев (ИСП РАН), Юрий Маркин (ИСП РАН)

Тема: Практический опыт применения FL в медицине на примере обучения модели по классификации ЭКГ-синдромов

Аннотация
На семинаре рассмотрим следующие вопросы:
▫️ Федеративное обучение (FL): основные классы решаемых задач, возможности и ограничения, обзор основных алгоритмов агрегации в FL;
▫️ Предпосылки пилота для Сеченовского Университета, особенности предметной области при обучении моделей классификации ЭКГ-синдромов;
▫️ Архитектура FL-фреймворка NVFlare, особенности настройки инфраструктуры для FL, процесс разработки FL моделей с помощью NVFlare;
▫️ Эксперимент с обучением FL модели для классификации ЭКГ, основные результаты, дальнейшие планы.

И как бы прям в продолжении семинара сегодня анонс от команды Flower


In partnership with Andrew Ng and his wonderful team at DeepLearning.AI we have launch two courses on federated learning using Flower!

The two courses will cover both FL fundamentals, as well as how to federate LLMs and use them to safely include private, sensitive and regulated data.

https://www.deeplearning.ai/short-courses/intro-to-federated-learning/?utm_campaign=flower-launch&utm_content=301436194&utm_medium=social&utm_source=twitter&hss_channel=tw-992153930095251456

To support these courses we have made a new slack channel: #course-deeplearning-ai in which we will answer questions, discuss the content and provide additional materials. We will also host an AMA next Monday from this channel that will be also broadcast on our YouTube channel: 29 July 16:00 UTC (09:00 SF, 12:00 NY, 17:00 LON, 18:00 CET, 21:30 IST, 00:00 北京)

Дайджест статей


Продвинутые методы улучшения качества продуктов с LLM: RAG
https://gopractice.ru/skills/improving-products-with-llm-rag/

Large language models don’t behave like people, even though we may expect them to
https://news.mit.edu/2024/large-language-models-dont-behave-like-people-0723

Master Data Governance in a Multi-Cloud Environment
https://www.smartdatacollective.com/master-data-governance-in-a-multi-cloud-environment/

Ускорение генерации токена LLM в два раза для больших контекстов
https://habr.com/ru/articles/817009/

Проблемы с логикой у LLM и с доверием не только у LLM
https://habr.com/ru/articles/830370/

Быстрая обработка данных в data lake с помощью SQL
https://habr.com/ru/companies/oleg-bunin/articles/828836/

Настройся на RAGAS и настрой RAGAS под себя
https://habr.com/ru/companies/sberbank/articles/831346/

Продвинутые методы улучшения качества продуктов с LLM: RAG
https://gopractice.ru/skills/improving-products-with-llm-rag/

Data Architecture The Right Way
https://medium.com/@arupnanda/data-architecture-the-right-way-daccf0e17a76

Интересная статья "Исследование развития космической отрасли с учетом новой космической экономики" рассматривает глобальную тенденцию новой космической экономики, основанную на технологических инновациях и бизнес-моделях. В статье поднимается вопрос активного роста компаний, сокращения затрат на транспортировку на орбиту Земли и роста количества космических аппаратов.

Также автор тут анализирует перспективные технологии, необходимые для развития новой космической экономики, такие как производство космических аппаратов, новые типы ракет, а также системы энергоснабжения и связи.

Основываясь на этих предпосылках, можно сделать вывод о том, что сейчас закладываются основы новой космической экономики, что создает очень много новых возможностей и перспектив.

https://habr.com/ru/articles/831984/

Бежим покупать

https://www.piter.com/collection/all/product/data-mesh-v-deystvii?utm_campaign=172235528699&utm_medium=email&utm_source=mailganer&utm_order_number=2

О, интересно - похоже первые более менее человеческие очки с дополненной реальностью? На сайте не очень много подробностей о функциях, но выглядят интересно

https://www.evenrealities.com

Всем привет! Коллеги, ранее анонсированное мероприятие состоится 13/08 в 17-00 в офф-лайн формате по адресу: https://loft-ministerstvo.ru/tainaya/)

Говорить будем узким крутом в формате панельной дискуссии на тему «Рынок данных: тренды, монетизация, новости». Хотим сделать закрытое обсуждение, без особых докладов, но с активным вовлечением всех участников в обсуждение 🙂

Планируем обсудить такую повестку:
- какие вы видите общие тренды в индустрии обмена данными: кейсы, области, результаты и тд
- какие видятся проблемы и барьеры: законодательство, технологии, доверие, приоритеты и тд
- ну и какие решения тут могут быть, какие есть идеи, предложения

Большая просьба - все, что хочет придти - отпишитесь в комментариях, что бы мы понимали размер аудитории! У нас зал не очень большой, полрядка 50 человек.

Спасибо!

☑️ Вышло огромное интервью Лекса Фридмана с разработчиками Neuralink, включая Маска, а также с пациентом, которому имплантировали их BCI. Видео аж на 8 с половиной часов, но в помощь есть транскрипт: на него замедление не распространяется. Хотя и текст за раз не осилить.

☑️ Ars Technica поговорили с Беном Рапопортом, из Precision Neuroscience, бывшим соучредителем Neuralink, который ушел создавать нейроинтерфейс иного типа: тонкую пленку вводят через щель в черепе и кладут на мозг. Бен считает, что для целей BCI проникать в глубину не нужно: “все сигналы, представляющие интерес, возникают в миллиметрах от поверхности мозга”. Недавно Precision уложили на кору мозга человека 4,096 электродов, это рекорд ЭКоГ.

☑️ Is Generative AI in Drug Discovery Overhyped? — Алекс Жаворонков, СЕО Insilico Medicine: “В этой статье я выскажу свое мнение о шумихе и реальности вокруг ИИ-разработки лекарств. Обратите внимание, что я пишу с точки зрения основателя Insilico Medicine, поэтому я глубоко предвзят и противоречив”. — Небольшое, но полезное эссе, почти инструкция.

☑️ Главный врач Helius Medical Technologies, компании-продавца стимулятора PoNS (пластина подает эл. импульсы на язык) поясняет, как их устройство используется для лечения пациентов с рассеянным склерозом. Принцип действия: стимуляция языка усиливает нейропластичность в мозге, что способствует укреплению нейронных связей.

☑️ Battelle получили от DARPA $22 млн. на разработку технологии, останавливающей повреждение мозга при травме, вызванной взрывом или ударом. Когда голова травмируется, в мозге запускается каскад клеточных и молекулярных событий, как эффект домино. Идея в том, чтобы еще перед боем ввести в военнослужащего препарат, который остановит этот каскад в случае сотрясения, попадания осколка и т.д.

Дайджест статей

Как мы прогнозируем спрос на заказы в Яндекс Лавке, чтобы эффективнее распределить нагрузку на курьеров. Доклад Яндекса
https://habr.com/ru/companies/yandex/articles/831534/

Как организовать анализ большого объема данных в реальном времени
https://habr.com/ru/companies/vk/articles/832584/

Building Professional Diagrams: LLM/RAG Example with Source Code
https://www.datasciencecentral.com/building-professional-diagrams-llm-rag-example/

Implementing and Deploying a Real-Time AI-Powered Chatbot With Serverless Architecture
https://dzone.com/articles/real-time-ai-powered-chatbot-with-serverless-architecture

Data warehousing reinvented- Using the AI advantage
https://www.datasciencecentral.com/data-warehousing-reinvented-using-the-ai-advantage/

Apache Iceberg Table Management
https://dzone.com/articles/apache-iceberg-table-management

Apache Kafka — Important Designs
https://blog.det.life/apache-kafka-important-designs-2a0e6aa6c5bf

Как я ad-hoc задачи аналитиков автоматизировал
https://habr.com/ru/companies/tbank/articles/798235/

Имхо есть тут определено здравое зерно