VLM в Нейро

Сегодня у нас большое обновление в Поиске. В том числе, команда VLM тоже приняла в нём участие!

Написали с коллегами пост на хабр про то, как мы затаскивали VLM в Нейро (писал про релиз здесь). В этот раз мы немного раскрыли подробности про то, как работает Нейро, где и зачем потребовалась там мультимодальность. Припорошили немножечко теорией про VLM.

Больше ни слова в посте, приятного прочтения поста!

# Я пишу научно-популярную книгу про искусственный интеллект

Контракт с издательством подписан и можно наконец-то вам рассказать.

Когда мне предложили писать книгу про ИИ моя реакция была такой: "Я???"

Определённо мне не хватит экспертизы сказать что-то весомое по технической части или концептуализировать, что ИИ несет для общества.

Однако я обнаружил, что есть обделенная вниманием ниша, где именно я могу кое-что сделать. Все книги про ИИ делятся на технические, футурологические и про применение в бизнесе. Плюс всякий треш про ваш перввй миллиард на нейросетях. Вот чего не хватает: научпопа.

Я намерен написать лучшую книгу, которая объяснит любопытному читателю как работает искусственный интеллект. Без спекуляций о будущем, запугиваний, что вас завтра заменят, инструкций как трансформировать свой шиномонтаж с помощью ChatGPT. Без пустого хайпа.

Не знаю как самая важная тема века осталась без веселого просветительского материала, но постараюсь это исправить и рассказать, что действительно происходит и как оно работает.

Я хочу показать всем, что ИИ это очень интересно, доступно каждому и просто круто.

Редко выпадает шанс сделать что-то действительно отлично. Здесь я его вижу. Можно написать лучшую книгу в своем роде.

Всем известно, что писать книги сплошное удовольствие. Физик-космолог Макс Тегмарк в своей книге описывает как исследовал что-то связанное с космической радиацией. Шест лет работы, чтобы построить один график. В результате получилась статья в которой было шестьдесят соавторов. Он пишет, что это было самое изнурительное дело в его жизни. Потом добавляет: кроме этой книги.

Так что пожелайте мне удачи

Как жаль, я думал это верный термин

Ого, почти год с моего фундаментального обзора на развитие computer vision. Посмотрим, что изменилось

6. Устали от костылей, сделали OWL-ViT v2
7. Нагромодили костылей, снова добавили к DETR anchor box и получили Co-DETR
8. Устали от костылей, изобрели Florence-2
9. Нагромодили костылей, получили AM-RADIO
10. Вы находитесь здесь

Даже не представляю, что будет дальше

По сути за год ничего интересного не произошло кроме Florence-2. Все интересное теперь в мультимодальных LLM, куда в целом и Florence можно отнести

Что у нас дальше в цирке уродов?

Здесь весь комплект. ChatGPT, Success в качестве третьего слова и конечно же светящийся шар с буквами AI и дорожками от печатной платы. Без дорожек я бы не понял, что речь о технологиях будущего.

Автор тоже заслуживает доверия, потому что писал на множество разных тем. Например, про судебный процесс над Трампом. И про Red Light Therapy как средство для молодости, здоровья и потенции. Описание книги так и начинается: "RLT это НЕ ПСЕВДОНАУКА", что не позволяет сомневаться в качестве материала.

Я прочитал семпл. Хорошая ли это книга? Нет. Но написана ли она доступно для новичков? Тоже нет. Несмотря на это, может быть она просто интересна? Нет.

Однако я был удивлён: насколько я могу судить книгп написана человеком. И как будто бы автору даже не целиком плевать на читателя. Да, книга написана коряво. Да, автор сразу прыгает в неймдроппинг LLM и GPT, не давая читателю представления о том, что это такое, так что настоящий новичок бы запутался. И да, автор сам ничего не понимает. Но я не вижу вранья, по крайней мере умышленного.

Достаточно быстро он говорит о том, как стать миллионером с помощью ChatGPT: сложно. Пишет, что все легкие деньги обещают в своих книгах шарлатаны и его книга тоже не принесёт моментальных богатств. Говорит, что ИИ может помочь вам сделать себя продуктивнее, повысить свою конкурентоспособность и начать какую-нибудь халтурку на Fiverr. Потом начинает вести читателя за ручку, показывает как зарегистрироваться на сайте OpenAI и какие есть альтернативы.

У книги всего 4 отзыва, но один из них мне кажется реальным. Там написано: просто кладезь информации, автор посоветовал прогонять имейлы через ChatGPT и одно это окупило покупку!

Я скрежечу зубами, но это правда. Действительно есть много людей, для которых такой совет окупит покупку. Им нужна книга, которая расскажет все именно в таком ключе: вот сайт, вот сюда вставляешь промпт, промпт пиши поточнее, а еще бывают галлюцинации... Я пишу книгу, но она не закроет этой потребности. Тем более не закроют эту потребность книга Сергея Маркова или книга Ле Куна. Про полноценные учебники даже не будем говорить.

С другой стороны автор сумел и в эту книгу вставить пропаганду своей позиции по Трампу, а так же сказать, что желающий стать музыкантом читатель может попросить ChatGPT принять роль великого мастера: Эда Ширана.

В общем книга ужасна, но я не могу отделаться от мысли: кто-то же должен. Мы тут смеемся в своем ботанском пузыре, а запрос есть. Может быть вы напишите нормальную книгу такого плана?

Год назад я обозревал доклады с Practical ML Conf 2023 от Яндекса и теперь стараюсь за ней послеживать, потому что там появляются очень ценные доклады про применение ML. В сентябре прошла Practical ML Conf 2024, и я наконец-то добрался посмотреть пару докладов.

Все доклады можно найти здесь.

Посмотрел Виктора Плошихина, который рассказывал про создание LLM для работы с кодом.

Особенно интересные моменты:
- Обучали не на next token prediction, а на next statement prediction, потому что в коде можно выделить законченные куски кода.
- Главная онлайн метрика - retention. Насколько разработчики возвращаются к использованию ассистента.
- Назвали очень интересную оффлайн метрику: UnitTest. Берется test покрывающий функцию, маскируем часть кода в этой функции, заполняем с помощью ассистента, проверяем, проходит ли тест.
- Изобрели другую оффлайн метрику, скомбинировав несколько факторов, чтобы она коррелировала с Retention.
- Между пользователем и LLM стоит CPU бекенд с Catboost, который решает, надо ли дополнять контекст, кеширует и позволяет делать A/B тесты. Разделять GPU инференс и CPU бизнес логику вообще бестпрактис.

Мало сказали про модель помимо того, что ее размер около 7B. В основном получилось про метрики и данные, но мне кажется это как раз самая интересная часть. Хотя я бы еще послушал про методы ускорения, которыми они добились ответов p99 в пределах 500ms.

Huh

Tesla снова показала какие-то красивые дизайны, машины катающиеся по павильонам и обещания роботакси в 2025 и глобальный self driving к 2027. Так что воспользуюсь шансом поорать на облако.

Для сравнения лидер индустрии Waymo существует с 2009 и только недавно расширил область операций до того, что можно уже более менее назвать такси в трех городах. Для меня Тесла абсолютный лидер в секторе clown tech и главная загадка: каким образом это вообще существует? Поэтому я уверен, что в этот раз точно получится сделать все и сразу всего лишь за год. Ведь это уже какое, двадцатое обещание? Не могут же они снова обмануть!

Та самая компания которая делает посредственные оверпрайснутые электрокары известные ответственностью за 2/3 всех auto assist аварий, кривым качеством сборки и тем, что ломаются чаще Dacia Logan. Но при этом каким-то образом едва ли не доминирующая на рынке