Школа GenAI Разработчика (по заявкам читателей)

По многочисленным просьбам и советам делаю школу GenAI разработчика, в которой мы в практическом русле разберем и опробуем все ключевые аспекты разработки GenAI продуктов.

Будет 6 встреч по 2 часа, с сильным практическим уклоном, чтобы на выходе каждой встречи был работающий код, решающий конкретную бизнес-задачу.

Темы:
1) Intro to GenAI. In-Context Learning
2) Retrieval-Augmented Generation
3) Fine Tuning
4) Generative Agent
5) Multi-Agent Systems
6) LLMOps: Testing, Monitoring & Debugging GenAI Systems

Для кого?
Для каждого, кто хочет научиться разрабатывать GenAI продукты. Моя задача - помочь вам сделать "первый шаг" в практический мир разработки Generative AI продуктов, разобраться в подходах и инструментах, набить руку.

ОЧЕНЬ ВАЖНО: эффективное участие предполагает знание Python языка программирования. Вам будет сложно без этого.
Если же вы знаете другой язык программирования, разрабатываете на нем хотя бы 3 года и чувствуете себя комфортно с GitHub Co-Pilot или подобными инструментами - то должно быть все в порядке.

Когда?
Стартуем - 18 мая, встречи по субботам в 16мск, 6 недель подряд.

Стоимость
Можно купить пакет на все встречи за $200 или покупать по одной - $50 за встречу.
Для тех, кто покупал пакет (3,6 или12 мес) на мои EDU встречи, действует 20% скидка.
Если не сможете очно участвовать, то будет запись и все материалы (презентации, исходники и тп) при покупке доступа

Киллер фича Биткоина — это глобальная резервная валюта и надгосударственные, нецензуоирцемые деньги.

Киллер фича Эфира — децентрализованные финансовые рынки, социальные сети, игры, суверенная личность.

Именно поэтому между ними нет и не будет конкуренции.

Just stating the obvious.

А если вы хотите понять досконально как именно деньги и кредит создаются в мировой экономике, то выше найдёте максимально технически точное описание современной монетарной теории.

ИИ — вещь или сеть?

Существует две модели создания и распространения технологий: вещи и сети. Вещи — это стиральная машинка, машина, чип, мобильный телефон. Их изобретают, создают производство и продают поштучно. Сети — это дороги, телеграф, интернет. Их ценность пропорциональна количеству участников в сети (закон Меткалфе). Открытые и удобные сети растут, а бизнесы строятся поверх них.

ИИ имеет оба свойства. Сами модели — это вещи, так как их создают и продают, у них есть классическая цепочка добавленной стоимости. Но, например, агенты — это сети, потому что чем больше специализированных публично доступных агентов, тем более сложные процессы можно с их помощью делать.

Инвестируя в ИИ важно смотреть на оба качества:
1. конкурентные преимущества моделей, бизнес-модели компаний их создающих, стоимость производства и спрос
2. сеть агентов и то каким образом ценность каждой функции сети (агенты, фреймворки, системы оркестрации, платежей, коммуникации между агентами) увеличивается из-за роста всей сети

Продуктовые LLM Бенчмарки GPT-4o 🤩


GPT-4o модель очень шустра, обладает контекстом в 128K и стоит дешевле GPT-4 Turbo. А еще умеет понимать эмоции и выражать их.

Под капотом у нее расширенный словарь, который в разы уменьшает число tokens, которые использует модель. Говорят, что улучшили понимание языков.

Особо сильного скачка у модели не было, т.к. модели OpenAI там уже практически уперлись в потолок - она просто обновила максимумы.

Но там есть один нюанс - категория Reason (способность к сложным рассуждениям) исторически была сделана очень сложной. GPT-4o подняла эту категорию с 62 (GPT-4 Turbo v3/1106-preview) до 75.

Что самое крышесносное - вся эта красота доступна не только по API, но и будет доступна в ChatGPT бесплатно. А это вызывает вопросик - что же такого OpenAI выкатят платным пользователям, чтобы те не ломанулись отменять подписки?

Ваш, @llm_under_hood 🤗

---


Описание работы, категорий и примеры кейсов есть в лабах. См другие бенчмарки по категории #bench

Очень советую посмотреть демки новой модели GPT-4 Omni. Этот релиз это прям большой шаг от крутой технологии к ежедневно незаменимому помощнику не для 10 млн кодеров, а для 5-6 млрд людей с телефонами. Вот классные примеры:

— Ассистент на совещаниях, с которым можно в любой момент поговорить
— Помогает научиться решать задачи используя видео в реальном времени
— Синхронный перевод и озвучка между любыми языками
— Помогает слепым видеть
— Поёт
— Помогает студенту в реальном времени

Теперь переведу на понятный язык что случилось:

1. Технически, GPT-4o — это новая модель, которая одновременно работает с текстовой, речевой и видео модальностями. В этом вся инновация.

2. Продуктово, большинство показанных кейсов уже существовали в форме десятков продуктов (remember Rabbit? 🐰), но OpenAI показали продуктовый уровень и дисциплину сильно выше большинства стартапов. И это не связано с инновациями в базовой модели — скорее качественный vision & execution того, как ИИ ассистент постепенно проникнет во все сферы нашей жизни.

Ну что, про новый GPT все забыли уже?

Прямо сейчас идет мега-дупер-супер-анонс новой гугловской модели Gemini:
— генерация музыки
— генерация видео 1080p
— окно контекста 2 миллиона токенов (несколько тысяч страниц текста в одном промте)
— мультимодальность (кого этим удивишь теперь?)
— новая диффузионка, которая умеет красиво и в текст
— как и у всех, снижение цены в несколько раз
— встроенные ассистенты (они там че, сговорились все?)
— еще насыпали новое поколение своих собственных TPU и процессоров для ML

Прям ноздря в ноздрю с OpenAI идут, аж стрёмно.

Полный демо день тут: https://www.youtube.com/watch?v=XEzRZ35urlk (еще идет)

Google: "наш новый революционный ИИ продукт — это поиск"

1. Overview. Поисковик теперь умеет суммаризировать ответ на вопрос.
2. Агенты. Внутри поиска теперь есть агент, который может разделить сложный вопрос на десятки мелких, сделать поиск и вернуть ответ.
3. Умеет планировать и собирать сложносочиненные ответы.
4. Можно искать с видео (записываешь ролик и задаешь вопрос голосом)

И к грустным новостям. Перцева признали виновным и осудили на 5 лет.

Как я и писал последние примерно 7 лет: любое государство вынуждено будет бороться с финансовой независимостью граждан, если хочет продолжить существовать. Выиграет много битв, но, рано или поздно, проиграет войну.

Конкретно сейчас государственная система финансовой слежки и контроля одерживает победу за победой: кеш фактически запрещен во всех развитых странах (или лимит ~$10к); приватность финансовых операций под запретом, а написание кода приравнивается чуть ли не к терроризму. Прямо сегодня идут расследования и суды против Ethereum Foundation, Tornado Cash, Samurai Wallet, Uniswap, Robinhood, Shapeshift.

Каждая из этих компаний куда меньше помогла отмыванию денег или финансированию терроризма, чем самый забытый богом региональный банк, но причина не в этом, а в том, что банк можно контролировать и принуждать, а криптоэкономические протоколы нельзя.

Люди пострадают, но биткоин продолжит создавать блок каждые 10 минут.

Программируемая (или кибер-) экономика нужна, чтобы оптимизировать аллокацию ресурсов и создание ценности.

Это достигается через:
1. оптимизацию транзакционных издержек и стоимости доверия через криптографическую проверяемость и дизайн механизмов
2. оптимизацию операционных издержек создания товаров и услуг через автоматизацию

Совсем грубо можно сказать, что задачу (1) решает блокчейн, а задачу (2) решает искусственный интеллект. Давайте упростим, разобьём на составляющие части и изучим.

Часть I. Проблема доверия

Репутация и доверие были первыми в истории человечества рельсами для экономики. До изобретения денег, для бартера использовалось доверие: “я тебе дал кусок мяса, а ты мне отдашь картошку, но не сегодня, потому что она мне не нужна, а завтра”. По мере роста экономики следить за этим стало невозможно и массовыми стали прото-деньги типа ракушек, золото, частичное резервирование и, наконец, фиатные инфляционные деньги.

Фиатная система неплохо скейлится на миллиарды пользователей и сотни триллионов долларов settlement’a, но делает это за счет компромисса доверию. Она полностью централизована и ты должен верить банку, что тот отдаст тебе деньги по требованию и верить государству что оно сохранит стоимость денег. Биткоин решил эту проблему предложив, впервые в истории, цифровую монетарную систему, которая не требует доверия ни одному участнику сети. Биткоин является приложением с одной функцией — быть деньгами.

Эфир и другие проекты расширили идею и сделали универсальную платформу для построения не требующих доверия систем. С переходом на proof of stake, эфир помимо криптографии стал использовать дизайн механизмов для достижения этой цели. Критография дает гарантию проверяемость и доказуемость целостности данных, а дизайн механизмов создает экономические условия для того, чтобы пытаться нарушить правила системы было бы не выгодно. Вкупе эти два подхода делают транзакционные, то есть издержки на участие в рынке, ниже, чем у бюрократического института или корпорации.

Сегодня вы можете создавать или использовать не требующие доверия приложения (например финансовые рынки, игры, социальные сети, автономные агенты), подобные по свойствам биткоину, без необходимости создавать собственную криптоэкономическую сеть для обеспечения доверия. Вы просто платите небольшую комиссию базовой сети за эту титаническую работу, которая равномерно разделена между валидаторами, блокбилдерами, пропоузерами, рестейкинг протоколами и т.д.

Итого: доверие необходимо для функционирования экономики, а децентрализованные крипто сети принести инновацию, позволяющую создавать и покупать/продавать “программируемое” доверие, что снижает транзакционную стоимость многих сервисов и институтов.

Бен и Марк утверждают, что в среднесрочной перспективе тренировка и использование ИИ будет использовать ~10% мировой энергии. Для сравнения, Биткоин использует <0.1%, более 50% которой возобновляемая и поэтому майнинг центры часто строят в жопе мира.

Я не к тому, что биткоин и ИИ нужно сравнивать по энергопотреблению, но о том, что спрос на энергию растет сильно быстрее, чем генерация. Я слышу консенсус о том, что без относительно массового возобновления строительства атомных электростанций эта ситуация станет очень острой в ближайшие несколько лет.

Рассказывали про свой стартап «портативные атомные реакторы». Думаю, вот на участке поставить, пусть дымит, а народ будет на нем ИИ-вайфу генерировать.