mad2024.pdf
11.6 MB
THE 2024 MAD (MACHINE LEARNING, ARTIFICIAL INTELLIGENCE & DATA) LANDSCAPE
Grand Prix Formula LLM :)
Forwarded from SpaceX (Евгения Макаренко)
This media is not supported in your browser
VIEW IN TELEGRAM
🌑 Взлётный модуль Chang'e-6 стартовал с Луны
📌 Он стал первым космическим аппаратом, взлетевшим с обратной стороны Луны.
Теперь модуль должен состыковаться на орбите Луны с возвращаемым аппаратом, который вернёт образцы на Землю ~25 июня.
📌 Он стал первым космическим аппаратом, взлетевшим с обратной стороны Луны.
Теперь модуль должен состыковаться на орбите Луны с возвращаемым аппаратом, который вернёт образцы на Землю ~25 июня.
Пост про RAG
Тк основное внимание ИТ сообщества приковано сейчас к теме использования LLM в бизнесе, а надо отметить важность такого класса решений, как RAG (Retrieval-Augmented Generation ) платформы. На фоне того, что бы конкуренция в области LLM возрастает, что стоимость токенов кратно и постоянно падает, то именно RAG становится точкой соединения “бизнеса” и LLM и основной статьей бюджета компаний.
В RAG платформу сейчас по сути сейчас “сгружаются” все существующие до LLM методы поиска и ранжирования информации и там они раскрываются в полной мере.
Я не хочу описывать все, что может быть “под капотом” RAG, в статье ниже это все очень хорошо описано, почитайте. Кроме этого там еще затрагиваются и смежные технологии типа векторных баз данных (и в кои то веки дается очень человеческое объяснение что это такое и зачем нужно :)), методы промпирования LLM, Knowledge Graph и тд.
В общем RAG - очень интересная и перспективная область развития. Это и самостоятельный класс решений и в целом достаточно наукоемкая область в которой инновации могут помочь получить конкретное преимущество и с тз бизнес модели они занимают очень правильное место в цепочке добавленной стоимости для бизнеса - есть есть и консалтинг, и внедрение и лицензионная составляющая + на самом деле RAG (или его владелец/пользователь) определяет, какая LLM будет получить бюджеты.
Но вот если обратиться ко второй части статьи то там делает интересное и не безосновательное утверждение о том, что чем больше у LLM контекстное окно, тем все для более многих задач RAG просто не требуется (или не все его компоненты), т.к. все данные можно поместить в это контекстное окно. Но пока они еще требуются и есть причина по которой RAG может остаться с нами надолго - разделение прав и управление доступом. Делать это на уровне LLM никак нельзя, ибо LLM можно убедить в чем угодно и так останется ещё долго (если не всегда).
Часть первая: https://habr.com/ru/companies/raft/articles/791034/
Часть вторая: https://habr.com/ru/companies/raft/articles/818781/
Тк основное внимание ИТ сообщества приковано сейчас к теме использования LLM в бизнесе, а надо отметить важность такого класса решений, как RAG (Retrieval-Augmented Generation ) платформы. На фоне того, что бы конкуренция в области LLM возрастает, что стоимость токенов кратно и постоянно падает, то именно RAG становится точкой соединения “бизнеса” и LLM и основной статьей бюджета компаний.
В RAG платформу сейчас по сути сейчас “сгружаются” все существующие до LLM методы поиска и ранжирования информации и там они раскрываются в полной мере.
Я не хочу описывать все, что может быть “под капотом” RAG, в статье ниже это все очень хорошо описано, почитайте. Кроме этого там еще затрагиваются и смежные технологии типа векторных баз данных (и в кои то веки дается очень человеческое объяснение что это такое и зачем нужно :)), методы промпирования LLM, Knowledge Graph и тд.
В общем RAG - очень интересная и перспективная область развития. Это и самостоятельный класс решений и в целом достаточно наукоемкая область в которой инновации могут помочь получить конкретное преимущество и с тз бизнес модели они занимают очень правильное место в цепочке добавленной стоимости для бизнеса - есть есть и консалтинг, и внедрение и лицензионная составляющая + на самом деле RAG (или его владелец/пользователь) определяет, какая LLM будет получить бюджеты.
Но вот если обратиться ко второй части статьи то там делает интересное и не безосновательное утверждение о том, что чем больше у LLM контекстное окно, тем все для более многих задач RAG просто не требуется (или не все его компоненты), т.к. все данные можно поместить в это контекстное окно. Но пока они еще требуются и есть причина по которой RAG может остаться с нами надолго - разделение прав и управление доступом. Делать это на уровне LLM никак нельзя, ибо LLM можно убедить в чем угодно и так останется ещё долго (если не всегда).
Часть первая: https://habr.com/ru/companies/raft/articles/791034/
Часть вторая: https://habr.com/ru/companies/raft/articles/818781/
Хабр
Архитектура RAG: полный гайд
Первая часть. Часть вторая про Advanced RAG тут . Если, открывая холодильник, вы еще не слышали из него про RAG - то наверняка скоро услышите. Однако, в сети на удивление мало полных гайдов,...
Дайджест статей
Фишки и «грабли» использования машинного обучения от спикеров ML2Business
https://habr.com/ru/companies/yandex_cloud_and_infra/articles/819735/
How To Build a Basic RAG App
https://dzone.com/articles/how-to-build-a-basic-rag-app
AI Risk Management Framework: A Technical Deep Dive for AI Developers
https://dzone.com/articles/ai-risk-management-framework-a-technical-deep-dive
Building Robust ML Systems: Best Practices for Production
https://dzone.com/articles/building-robust-ml-systems-best-practices
Master Data Management (MDM) and CRM: Ensuring data quality for enhanced customer relationships
https://www.datasciencecentral.com/master-data-management-mdm-and-crm-ensuring-data-quality-for-enhanced-customer-relationships/
When Should You Use Distributed PostgreSQL for Gen AI Apps?
https://dzone.com/articles/when-should-you-use-distributed-postgresql-for-gen
The Role of Data Engineering in Building Scalable AI Systems
https://dzone.com/articles/the-role-of-data-engineering-in-building-scalable
Фишки и «грабли» использования машинного обучения от спикеров ML2Business
https://habr.com/ru/companies/yandex_cloud_and_infra/articles/819735/
How To Build a Basic RAG App
https://dzone.com/articles/how-to-build-a-basic-rag-app
AI Risk Management Framework: A Technical Deep Dive for AI Developers
https://dzone.com/articles/ai-risk-management-framework-a-technical-deep-dive
Building Robust ML Systems: Best Practices for Production
https://dzone.com/articles/building-robust-ml-systems-best-practices
Master Data Management (MDM) and CRM: Ensuring data quality for enhanced customer relationships
https://www.datasciencecentral.com/master-data-management-mdm-and-crm-ensuring-data-quality-for-enhanced-customer-relationships/
When Should You Use Distributed PostgreSQL for Gen AI Apps?
https://dzone.com/articles/when-should-you-use-distributed-postgresql-for-gen
The Role of Data Engineering in Building Scalable AI Systems
https://dzone.com/articles/the-role-of-data-engineering-in-building-scalable
Хабр
Фишки и «грабли» использования машинного обучения от спикеров ML2Business
В среду 29 мая мы провели ML2Business — первую конференцию от Yandex Cloud, посвящённую кейсам применения GenAI, NLP, CV и других технологий ML в бизнесе. Спикеры главного...
Пока все переваривают фееричный прорыв Apple в области AI, редакция канала участвует в конференции TechWeek London 24.
Отдельно напишу впечатления в течении недели, а пока несколько зарисовок о происходящем снятые через запретные очки.
Отдельно напишу впечатления в течении недели, а пока несколько зарисовок о происходящем снятые через запретные очки.
Forwarded from Экономика данных. Как это делается - OSP (TelepostBot)
🔥 #Яндекс разработал и открыл для всех библиотеку YaFSDP, которая значительно ускоряет обучение больших языковых моделей — как собственной разработки, так и сторонних, с открытым с исходным кодом. Как утверждают в компании, в зависимости от архитектуры и параметров нейросети библиотека дает ускорение до 25%. Кроме того, благодаря YaFSDP можно экономить до 20% ресурсов графических процессоров при обучении моделей. Исходный код YaFSDP уже выложен на GitHub.
GitHub
GitHub - yandex/YaFSDP: YaFSDP: Yet another Fully Sharded Data Parallel
YaFSDP: Yet another Fully Sharded Data Parallel. Contribute to yandex/YaFSDP development by creating an account on GitHub.
Книга «Охота на электроовец: большая книга искусственного интеллекта»
Друзья, не могу пройти мимо и не порекомендовать новую книгу моего коллеги, Сергея Маркова (@oulenspiegel), «Охота на электроовец: большая книга искусственного интеллекта».
Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно (ссылка ниже) но я призываю всех поддержать автора и сделать заказ печатного издания (можно сделать там же на сайте)!
«Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»
https://markoff.science/
Друзья, не могу пройти мимо и не порекомендовать новую книгу моего коллеги, Сергея Маркова (@oulenspiegel), «Охота на электроовец: большая книга искусственного интеллекта».
Полные электронные версии книги (epub, docx, pdf) можно скачать с сайта бесплатно (ссылка ниже) но я призываю всех поддержать автора и сделать заказ печатного издания (можно сделать там же на сайте)!
«Мифы и заблуждения об искусственном интеллекте, страхи, насущные проблемы, перспективные направления исследований — обо всём этом вы узнаете из «Большой книги искусственного интеллекта»
https://markoff.science/
Коллеги, делюсь приглашением от участника нашего канала принять участие в премии!
Forwarded from Викибот – ИИ-боты для бизнеса
Мы рады объявить о премии Support Awards 2024 – Оскаре для команд технической поддержки!
Специалисты техподдержки каждый день справляются с трудными задачами, оставаясь в тени. Присоединяйтесь к нам, чтобы выразить признательность этим незаметным героям, благодаря которым наша жизнь становится легче!
Номинации:
1. Лучший кейс внедрения чат-бота в поддержку.
2. Лучший хелпдеск для совместной работы ИИ и человека.
3. Лучший саппорт проект.
4. Человек года.
5. Личный опыт - любая личная история про саппорт.
До 1 октября 2024 года отправьте заявку на гугл форму.
Подведение итогов и награждение победителей 1 ноября 2024.
Структура заявки:
1. Один-два обзаца о компании.
2. О вашей команде поддержки.
3. Описание проблемы или задачи.
4. Описание решения, желательно с цифрами и деталями преодоления трудностей.
5. Итоги и планы.
Все заявки будут опубликованы в блоге и соцсетях Wikibot.
Каждый участник получит крутой приз.
- Точно, каждый?
- Точно, каждый.
Ждем ваши заявки.
По всем вопросам пишите @tom_leto
Ваш Викибот.
Специалисты техподдержки каждый день справляются с трудными задачами, оставаясь в тени. Присоединяйтесь к нам, чтобы выразить признательность этим незаметным героям, благодаря которым наша жизнь становится легче!
Номинации:
1. Лучший кейс внедрения чат-бота в поддержку.
2. Лучший хелпдеск для совместной работы ИИ и человека.
3. Лучший саппорт проект.
4. Человек года.
5. Личный опыт - любая личная история про саппорт.
До 1 октября 2024 года отправьте заявку на гугл форму.
Подведение итогов и награждение победителей 1 ноября 2024.
Структура заявки:
1. Один-два обзаца о компании.
2. О вашей команде поддержки.
3. Описание проблемы или задачи.
4. Описание решения, желательно с цифрами и деталями преодоления трудностей.
5. Итоги и планы.
Все заявки будут опубликованы в блоге и соцсетях Wikibot.
Каждый участник получит крутой приз.
- Точно, каждый?
- Точно, каждый.
Ждем ваши заявки.
По всем вопросам пишите @tom_leto
Ваш Викибот.