С 2022 по 2023 годы я вела в МГУ курс по основам AI. У курса был формат, где на каждом занятии был один jupyter notebook с теорией и практикой, и мы по нему шли. Курс я уже не веду, но ноутбуки у меня остались, и мне нравится, как я их сделала. И у меня была мысль перевести их на английский, немного дополнить, причесать и выложить на GitHub как открытый курс "DL Intro". И я даже потихоньку начала это делать, вот репозиторий, там уже есть первые два урока (Intro to NN, PyTorch, Backprop).

Но вот недавно я думала о том, какой рисерч делать дальше после недавней статьи (статья кстати вот, чуть позже о ней тоже напишу), и мне стало интересно исследовать многообразия, которые составляют векторы-выходы разных слоев диффузионной модели. Я начала читать статьи и думать над тем, как вообще такое делают, и в итоге залезла куда-то в дифференциальную геометрию. И тут ко мне пришла очень гениальная мысль: а что если спросить у GPT объяснить мне то, что я не понимаю? Или спросить что-то типа "вот я хочу вот это понять про многообразие, могу ли я это сделать и как?"
Тут если вам кажется, что эта мысль ничерта не гениальна и все делают так каждый день, то я до этого момента GPT не использовала вообще. Ну, 3-4 раза за все время, может, и по каким-то совсем отвлеченным поводам. Чувстсвую себя бабкой, честное слово))

Так вот, на мои эти вопросы GPT выдала очень классные саммари и предложения, и для некоторых вещей даже код написала (и даже почти совсем правильный). И если веруться к разговору про курс: теперь я думаю о том, что, возможно, с помощью GPT можно довольно быстро собрать неплохой такой курс по чему угодно. Так-то объяснения по диффгеому GPT выдавала понятные и достаточно развернутые, а если чего-то не хватает, то можно попросить пояснить. И теперь думаю о том, насколько усилия по составлению курсов людьми из головы становятся оправданы)

Думаю, что этот курс я все-таки доделаю и выложу (снова, вот ссылка, буду рада звездочкам 🙃), все же ноутбуки у меня в основном готовы, нужно их только причесать. Но в то же время пойду понимать, на что способна GPT, у меня теперь есть подписка на GPT и Claude, буду их мучить. Все-таки преподавание — это значительная часть моей работы, которую я люблю и хочу развивать, и хочется понимать, как делать эту работу лучше и быстрее. И не делать того, что можно не делать. Правда, в создании курсов я перфекционист, мне редко нравятся чужие объяснения, и я очень долго продумываю свои. Но посмотрим, может, GPT справится и удивит меня еще больше) Пока думаю, что, как минимум, в качестве помощника в составлении общей структуры курса и поиска дополнительных материалов GPT точно должна быть полезна.

Еще наблюдение про GPT и образование: мы сейчас делаем олимпиаду DLS. Она проходит в два этапа, отборочный и финальный. На этих выходных вот был отбор, финал будет в конце апреля. На каждом туре олимпиады дается несколько практических задач (а-ля обучите модель на таком-то датасете), и несколько теоретических на математику+ML, где надо дать численный ответ. На финальном этапе будет прокторинг (то есть, специальный человек будет смотреть на ваш экран все время, пока вы решаете задачи, и сделить, чтобы вы не читерили), а вот на отборочном его не было. То есть, участники могли пользоваться GPT/Claude/whatever. А значит, надо было попытаться составить такие задачи, которые эти всякие GPT-like штуки не могут слишком легко решить.

Поэтому перед стартом олимпиады мы сами скормили задачи ChatGPT, Deepseek и Claude, и смотрели, какие она стабильно решает, а где лажает. Из 7 теоретических задач студенческого трека были две такие, на которых все LLM стабильно лажали, выдавая разные, но неправильные ответы. Одна из этих задач — переформулированная задача про лапшу (ее стащила отсюда). А вторая задача — это я решила выяснить, кто из участников олимпиады ботал задачи с прошлого года (хе-хе 🤣), и дала новый вариант прошлогодней задачи "Неоднозначный PCA" (про нее я писала тут). Разница в условии с прошлым годом была только в точках, на которых строится PCA.

Так вот. После завершения отбора статистика правильных ответов по задачам, кажется, хорошо отражает то, насколько просто задачу решает ChatGPT =) На тех задачах, которые GPT решает правильно, участники дали 85%-95% правильных ответов, а вот на этих двух задачах правильных решений всего 45%. При этом задача про лапшу — это задача на простой теорвер, и я бы ожидала, что ее решат большее количество людей, чем некоторые другие задачи, если бы доступа к ChatGPT не было. Может, конечно, дело в чем-то другом (мало ли, может, мы где-то неправильно настроили чекер верных ответов, мы уже плохо соображали в ночь на субботу). Но пока что вывод такой, что люди правда пользуются ChatGPT для решения задач, если у них есть такая возможность ¯\_(ツ)_/¯

Теперь еще вот о чем думаю: мне в LinkedIn уже второй раз в сообщения прилетает предложение работы вида "придумывать задачи по математике, которые LLM не сможет решить". Видимо, собирают датасет для обучения более мощной LLM или чего-то такого. Теперь думаю, может, согласиться, и скормить им эти две задачи, будут easy money 🙃

Помните, рассказывала про курс по LLM в Лондоне, где читала несколько лекций? И упоминала, что у них скоро должен запуститься новый курс по LLM Engineering. Так вот, время пришло, курс запускается!

Итак, курс LLM Engineering Essentials от Стаса Федотова и Nebius Academy.
Рассчитан на разработчиков или ML-инженеров (то есть, не совсем новичков), которые хотят больше узнать о LLM-ках и начать создавать свои AI-сервисы. На курсе будет про то, как устроены LLM-модели (обещали даже мою лекцию включить, хех), как с ними работать, как их деплоить. Ну и, как обычно на хороших курсах — куча практики: в процессе вы сделаете чатбот из любимого фэнтези-персонажа и создадите собственную фабрику NPC!
Более конкретно, будет шесть больших тем: Working with LLM APIs, LLM workflows and agents, Context, Self-hosted LLMs, Optimization and monitoring, Fine-tuning.

Еще про курс:
- курс полностью бесплатный
- обучение полностью онлайн
- Старт 7 мая, курс рассчитан на 12 недель. 7 мая в 20:00 по Лондону будет вводный вебинар. Регистрация на него тут
- Во время обучения будут еженедельные Q&A со Стасом и другими лекторами — а это означает живой фидбэк и возможность задать кучу вопросов.

Все материалы лежат на GitHub курса, их уже можно начать разбирать.

Ссылки:
🎓 Сайт курса
💻 GitHub репо с материалами
📰 Регистрация на вводный вебинар

Полчаса назад в подмосковье стартовал первый тур отбора школьников на IOAI (межнар по AI). Отбор будет идти три дня, каждый тур по 6 часов. В первый и второй день будут по три задачи (таблички, CV, NLP), в третий день две (CV и NLP). Задачи мы старались придумать подобные тем, что были на прошлогоднем межнаре: то есть, очень интересными, где надо подумать и сделать что-то с фичами/моделями, а не просто Kaggle-style вида "вот датасет, обучите как-нибудь, чтобы было хорошо"

И вот что: отбор сделан как открытая олимпиада Northern Eurasia OAI 2025 (NEOAI) на Kaggle, и участвовать могут все желающие. Если хотите, присоединяйтесь) Сейчас открыты три задачи текущего тура (на них остается 5.5 часа), завтра и послезавтра в 10 утра по Москве откроются второй и третий туры. Leaderboard открытый, ваши посылки и посылки школьников с отбора будут одинаково видны. А в конце олимпиады (после трех туров) будет финальный лидерборд с рейтингом по всем задачам.
Разбор задач после олимпиады тоже будет, решения будут открыты.

Ссылка на соревнование: https://www.kaggle.com/competitions/neoai-2025/overview
Приходите, мы классные задачи придумали, правда)

P.S. Откройте бейзлайн сегодняшней задачи по NLP. Мы с Егором (который делал эту задачу) получили огромное удовольствие, когда придумали легенду 🤣

Новый выпуск подкаста Deep Learning Stories с Андреем Райгородским!

Недавно ездила в Москву, и заехала на Физтех, чтобы записать этот выпуск) Андрей Михайлович Райгородский — директор Физтех-Школы Прикладной Математики и Информатики (ФПМИ) МФТИ, математик, доктор наук и очень крутой деятель образования в России. DLS, к слову, тоже в 2017 году была организована с его подачи.

О чем поговорили:
- высшее и школьное образование в сфере математики и AI: какое оно должно быть, как его развивать, чего не хватает и какие вызовы стоят
- наука в математике и AI

Ссылки:
- YouTube
- VK
- Apple Podcasts
- Spotify
- Яндекс.Музыка

Ставлю на то, что этот выпуск вызовет у вас сильное желание пойти учиться на ФПМИ МФТИ 🙃

Помните, выше писала про программы по AI Safety/Alignment? Они обычно устроены так, что вы в течение какого-то времени под руководством ментора работаете над небольшим рисерч проектом индивидуально или в группе. И потом, если из рисерча получается что-то хорошее, пишете статью на воркшоп или конференцию.

Так вот, в своем рисерче я, как говорила, занимаюсь исследованием внутренних представлений моделей, и, в частности, representation engineering. Вот статья CASteer была как раз про то, как использовать подход representation engineering для контроля генерации диффузионной модели. И во время работы и размышлений над всем этим у меня накопились несколько идей того, что интересно было бы в этой сфере попробовать сделать. Но всем сразу я заняться не могу, и многие из этих идей тянут скорее на небольшой пет-проект, чем на полноценное исследование. Поэтому мне пришла мысль дать эти идеи в качестве итоговых проектов второй части курса DLS: там студенты как раз только что изучили устройство LLM, и, возможно, кому-то было бы интересно покопаться во внутренностях моделей и найти что-то интересное. Благо тема representation engineering еще такая, где редко нужно обучать сложные модели, и большинство экспериментов делаются достаточно быстро, не требуя мощных GPU

Короче, если не взяли на MATS, приходите в DLS в следующем семестре 😂
Сейчас проекты в DLS только начались, будут идти до 6 июля. Посмотрим, что в итоге получится, потом напишу сюда пост)