#обзор_статьи
Babe, it's time for your daily bitter lesson.
# TULIP: Towards Unified Language-Image Pretraining
Не успели все внедрить SigLIP2 в свои мультимимодальные LLM, как появился ещё более хороший новый CLIP-like энкодер текста и изображений.
CLIP-подход позволяет тренировать модели на большом количестве пар текст-изображение, которые можно насобирать в интернете. Он не требует хорошей разметки. Это самое близкое, что есть в в компьютерном зрении к NLP-like foundational моделям. CLIP модели можно использовать для zero-shot классификации, дообучения для downstream задач, поиска и много чего ещё. Однако в последнее время всех интересует одно конкретное применение: как visual encoder для мультимодальных LLM.
Способность у LLM видеть картинки появляется через пришивание визуального энкодера, обычно CLIP-подобного. Делается примерно так. Берем уже хорошо обученную LLM и отдельно обученный визуальный энкодер. От визуального энкодера требуется уметь превращать картинки в последовательность эмбеддингов, например эмбеддинги патчей как в ViT. Теперь у нас есть два нечта которые проецируют текст и картинки в последовательности векторов. Однако эти векторы изначально в разных пространствах. Поэтому мы делаем проекцию: обучаем небольшой MLP который получает на вход эмбеддинги пачтей картинок и переводит в ту же размерность, что эмбеддинги токенов LLM.
Теперь у нас есть способ сделать из картинки такую последовательность токенов, которую можно подать в LLM вместе с текстом. Надо только дообучить LLM, чтобы она научилась работать с этими токенами. В итоге качество визуального энкодера во многом определяет способности мультимодальной LLM. Если токены картинки на входе плохие, то много не сделаешь.
Обычный CLIP это отличный энкодер для MMLM потому что он изначально обучается сопоставлять текст и изображения и благодаря обучению на условно всём интернете хорошо обобщается. Однако у него есть недостатки:
1. Хорошо понимает общие концепты, например, что на картинке собака. Но теряет понимание маленьких деталей изображения, потому что его лосс этого не требует.
2. Теряет нюансы текста. Он не обучается сопоставлять части изображений с частями текста.
Всем хочется такой энкодер, который:
1. Будет давать хорошие репрезентации для понимания на разных уровнях абстракции. И image-level understanding, и pixel-level understanding. Сможет сказать, и что на картинке собака, и какого цвета фон.
2. Будет для каждого патча давать такие репрезентации, которые описывают, что происходит именно на этом патче. Чтобы VLM могла сопоставить эту информацию с промптом.
TULIP, как и недавно вышедший SigLIP2, это CLIP плюс дополнительные лоссы, чтобы сделать хороший энкодер. Качество по бенчмаркам очень близкое, но в TULIP более общее и красивое решение, так что лессон более биттер.
Babe, it's time for your daily bitter lesson.
# TULIP: Towards Unified Language-Image Pretraining
Не успели все внедрить SigLIP2 в свои мультимимодальные LLM, как появился ещё более хороший новый CLIP-like энкодер текста и изображений.
CLIP-подход позволяет тренировать модели на большом количестве пар текст-изображение, которые можно насобирать в интернете. Он не требует хорошей разметки. Это самое близкое, что есть в в компьютерном зрении к NLP-like foundational моделям. CLIP модели можно использовать для zero-shot классификации, дообучения для downstream задач, поиска и много чего ещё. Однако в последнее время всех интересует одно конкретное применение: как visual encoder для мультимодальных LLM.
Способность у LLM видеть картинки появляется через пришивание визуального энкодера, обычно CLIP-подобного. Делается примерно так. Берем уже хорошо обученную LLM и отдельно обученный визуальный энкодер. От визуального энкодера требуется уметь превращать картинки в последовательность эмбеддингов, например эмбеддинги патчей как в ViT. Теперь у нас есть два нечта которые проецируют текст и картинки в последовательности векторов. Однако эти векторы изначально в разных пространствах. Поэтому мы делаем проекцию: обучаем небольшой MLP который получает на вход эмбеддинги пачтей картинок и переводит в ту же размерность, что эмбеддинги токенов LLM.
Теперь у нас есть способ сделать из картинки такую последовательность токенов, которую можно подать в LLM вместе с текстом. Надо только дообучить LLM, чтобы она научилась работать с этими токенами. В итоге качество визуального энкодера во многом определяет способности мультимодальной LLM. Если токены картинки на входе плохие, то много не сделаешь.
Обычный CLIP это отличный энкодер для MMLM потому что он изначально обучается сопоставлять текст и изображения и благодаря обучению на условно всём интернете хорошо обобщается. Однако у него есть недостатки:
1. Хорошо понимает общие концепты, например, что на картинке собака. Но теряет понимание маленьких деталей изображения, потому что его лосс этого не требует.
2. Теряет нюансы текста. Он не обучается сопоставлять части изображений с частями текста.
Всем хочется такой энкодер, который:
1. Будет давать хорошие репрезентации для понимания на разных уровнях абстракции. И image-level understanding, и pixel-level understanding. Сможет сказать, и что на картинке собака, и какого цвета фон.
2. Будет для каждого патча давать такие репрезентации, которые описывают, что происходит именно на этом патче. Чтобы VLM могла сопоставить эту информацию с промптом.
TULIP, как и недавно вышедший SigLIP2, это CLIP плюс дополнительные лоссы, чтобы сделать хороший энкодер. Качество по бенчмаркам очень близкое, но в TULIP более общее и красивое решение, так что лессон более биттер.
huggingface.co
Paper page - TULIP: Towards Unified Language-Image Pretraining
Join the discussion on this paper page
Статья строится на красивой ключевой идее. Если обычный CLIP построен на идее, что встреченные вместе изображение и его подпись имеют какую-то связь и можно попробовать её выучить, то здесь авторы идут дальше. Они говорят: на самом деле изображение и текст являются представлениями объекта из объективной реальности.
Это означает, что для этого объекта может быть больше представлений. Для одного тюльпана может быть много фотографий с разных углов и много описаний, все из которых являются его отражением. Давайте же будем сопоставлять все представления друг-другу! Пока что опустим откуда мы возьмем много фотографий и описаний одного объекта.
Следуя за этой идеей авторы предлагают новый сетап для contrastive learning. Берем много изображений и текстовых описаний для одного объекта. Будем считать constrastive loss не только между парами (изображение, текст), но и между (изображение, изображение) и (текст, текст). Таким образом мы заставим модель учиться описывать в своих эмбеддингах реальный объект независимо от того в каком виде он описан.
Кстати это очень похоже на Platonic Representation Hypothesis.
Это добавляет к обычному CLIP сетапу два новых лосса: Image-Image Contrastive Learning и Text-Text Contrastive Learning. Они делают обучение более эффективным.
Однако этого недостаточно. Это прокачивает то, что CLIP уже умеет хорошо: image-level understanding. Но не помогает понимать маленькие детали изображений и сохранять их связь с текстом.
Это означает, что для этого объекта может быть больше представлений. Для одного тюльпана может быть много фотографий с разных углов и много описаний, все из которых являются его отражением. Давайте же будем сопоставлять все представления друг-другу! Пока что опустим откуда мы возьмем много фотографий и описаний одного объекта.
Следуя за этой идеей авторы предлагают новый сетап для contrastive learning. Берем много изображений и текстовых описаний для одного объекта. Будем считать constrastive loss не только между парами (изображение, текст), но и между (изображение, изображение) и (текст, текст). Таким образом мы заставим модель учиться описывать в своих эмбеддингах реальный объект независимо от того в каком виде он описан.
Кстати это очень похоже на Platonic Representation Hypothesis.
Это добавляет к обычному CLIP сетапу два новых лосса: Image-Image Contrastive Learning и Text-Text Contrastive Learning. Они делают обучение более эффективным.
Однако этого недостаточно. Это прокачивает то, что CLIP уже умеет хорошо: image-level understanding. Но не помогает понимать маленькие детали изображений и сохранять их связь с текстом.
Чтобы научить эту модель ещё и сохранять детали, авторы добавляют два лосса реконструкции: для изображений и текста.
Для изображений это Masked Autoencoder сетап. Для каждой картинки пропущенной через визуальный энкодер мы получаем её эмбеддинг, подаем этот эмбеддинг и часть патчей оригинального изображения в небольшую модель. Остальные патчи заменяем маск-токенами. Задача модели: использовать эмбеддинг, чтобы попиксельно восстановить замаскированные патчи.
Таким образом мы ставим задачу, что по эмбеддингу должно быть возможно восстановить любую часть изображения.
Для текста задача реконструкции выглядит как декодирование. Берем подпись, делаем из неё эмбеддинг, а затем пытаемся из эмбеддинга декодировать подпись в оригинальном виде. Таким образом мы ставим задачу, что эмбеддинг должен сохранять все нюансы входного текста.
Подходы почти идентичные тем, что применили в SigLIP2! К тому же, как и там, Visual Encoder обучали с помощью DINO-like self-distillation.
Авторы называют лоссы реконструкции регуляризацией. Их задача – не дать модели забыть маленькие детали, которые необходимы VLM для решения сложных задач.
Для изображений это Masked Autoencoder сетап. Для каждой картинки пропущенной через визуальный энкодер мы получаем её эмбеддинг, подаем этот эмбеддинг и часть патчей оригинального изображения в небольшую модель. Остальные патчи заменяем маск-токенами. Задача модели: использовать эмбеддинг, чтобы попиксельно восстановить замаскированные патчи.
Таким образом мы ставим задачу, что по эмбеддингу должно быть возможно восстановить любую часть изображения.
Для текста задача реконструкции выглядит как декодирование. Берем подпись, делаем из неё эмбеддинг, а затем пытаемся из эмбеддинга декодировать подпись в оригинальном виде. Таким образом мы ставим задачу, что эмбеддинг должен сохранять все нюансы входного текста.
Подходы почти идентичные тем, что применили в SigLIP2! К тому же, как и там, Visual Encoder обучали с помощью DINO-like self-distillation.
Авторы называют лоссы реконструкции регуляризацией. Их задача – не дать модели забыть маленькие детали, которые необходимы VLM для решения сложных задач.
Но откуда можно взять много изображений и описаний одного объекта? Обычный CLIP этим не заморачивается: парсим из интернета всё, что нашли, и на этом учимся.
Здесь эта статья принципиально превосходит SigLIP2. Авторы используют диффузионную модель, чтобы генерировать positive/negative примеры для изображений, и замороженную LLAMA 3.1 8b для примеров текстов. Старая добрая аугментация данных, но сделанная очень красиво.
Здесь эта статья принципиально превосходит SigLIP2. Авторы используют диффузионную модель, чтобы генерировать positive/negative примеры для изображений, и замороженную LLAMA 3.1 8b для примеров текстов. Старая добрая аугментация данных, но сделанная очень красиво.
Для простоты, вот пример.
Здесь красиво то, что так как мы контроллируем агументацию, то можем не засорять батчи шумом. Допустим у вас была фотография попугая. Вы сделали из неё позитивный пример (другое изображение того же попугая) и сложный негативный (похожее изображение другой птицы). Есть опасность, что добавив эти примеры в батч, вы случайно создатите новые позитивные пары. Только что созданное изображение другой птицы может оказаться подходящим к какому-то текстовому описанию. Но мы об этом не знаем и будем учить модель так, будто они не подходят друг другу.
Авторы решают эту проблему с помощью весов в лоссе для пар. Ставим вес 0 везде где мы не уверены, что пары позитивные или негативные, то есть просто не учитываем ошибки на этих парах.
Здесь красиво то, что так как мы контроллируем агументацию, то можем не засорять батчи шумом. Допустим у вас была фотография попугая. Вы сделали из неё позитивный пример (другое изображение того же попугая) и сложный негативный (похожее изображение другой птицы). Есть опасность, что добавив эти примеры в батч, вы случайно создатите новые позитивные пары. Только что созданное изображение другой птицы может оказаться подходящим к какому-то текстовому описанию. Но мы об этом не знаем и будем учить модель так, будто они не подходят друг другу.
Авторы решают эту проблему с помощью весов в лоссе для пар. Ставим вес 0 везде где мы не уверены, что пары позитивные или негативные, то есть просто не учитываем ошибки на этих парах.
Мне эта статья понравилась сильно больше, чем SigLIP2, который я даже не стал обозревать. Потому что там был такой вайб типа "мы добавили дополнительные лоссы и головы, потому что это нууу работает". Тут прям стройная идея и как-то более целостно всё, что-ли.
В итоге метод показывает очень хорошие результаты. Например, на сложном visual reasoning бенчмарке BLINK, MMLM LLava 34B с энкодером TULIP достигает качества GPT-4o.
Моделей на HF пока что нет, но скоро будет, а пока код и статья.
В итоге метод показывает очень хорошие результаты. Например, на сложном visual reasoning бенчмарке BLINK, MMLM LLava 34B с энкодером TULIP достигает качества GPT-4o.
Моделей на HF пока что нет, но скоро будет, а пока код и статья.
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
RL не развивает потенциал рассуждений LLM (by Tsinghua)
RL с верифицируемыми наградами (RLVR) — один из самых популярных подходов для прокачки reasoning-способностей современных LLM, вроде OpenAI-o1 и DeepSeek-R1. Считается, что RLVR позволяет модели самой находить новые паттерны рассуждений, отсутствующие в базовой версии.
Но авторы новой статьи из Tsinghua и SJTU решили это перепроверить и получили крайне неожиданный результат: RLVR НЕ создаёт новые стратегии рассуждений.
Когда мало сэмплов (pass@1), то да, RL версии обгоняют base модели. Но если взять pass@128 или pass@256 (много попыток), то уже наоборот, базовые версии стабильно оказываются ЛУЧШЕ, причём существенно!
Причина: RL не создаёт новые паттерны, а лишь усиливает вероятность уже известных решений из базовой модели. При этом резко падает энтропия, а значит, сужается пространство возможных решений.
Прямо противоположный эффект у дистилляции (например, Distill-R1-Qwen): дистилляция реально добавляет в модель новые стратегии рассуждений.
Авторы проверили гипотезу на огромном наборе задач (математика, программирование, визуальный reasoning), множестве моделей и RL-алгоритмов (PPO, GRPO, ReMax и др.). Везде одно и то же — базовая модель имеет больший потенциал при достаточном количестве попыток.
Похоже, что для реального роста reasoning-способностей нужно придумывать совершенно другие подходы.
Статья, GitHub
RL с верифицируемыми наградами (RLVR) — один из самых популярных подходов для прокачки reasoning-способностей современных LLM, вроде OpenAI-o1 и DeepSeek-R1. Считается, что RLVR позволяет модели самой находить новые паттерны рассуждений, отсутствующие в базовой версии.
Но авторы новой статьи из Tsinghua и SJTU решили это перепроверить и получили крайне неожиданный результат: RLVR НЕ создаёт новые стратегии рассуждений.
Когда мало сэмплов (pass@1), то да, RL версии обгоняют base модели. Но если взять pass@128 или pass@256 (много попыток), то уже наоборот, базовые версии стабильно оказываются ЛУЧШЕ, причём существенно!
Причина: RL не создаёт новые паттерны, а лишь усиливает вероятность уже известных решений из базовой модели. При этом резко падает энтропия, а значит, сужается пространство возможных решений.
Прямо противоположный эффект у дистилляции (например, Distill-R1-Qwen): дистилляция реально добавляет в модель новые стратегии рассуждений.
Авторы проверили гипотезу на огромном наборе задач (математика, программирование, визуальный reasoning), множестве моделей и RL-алгоритмов (PPO, GRPO, ReMax и др.). Везде одно и то же — базовая модель имеет больший потенциал при достаточном количестве попыток.
Похоже, что для реального роста reasoning-способностей нужно придумывать совершенно другие подходы.
Статья, GitHub
LM Arena добавила поправку на сентимент в дополнение к поправке на стиль. Эффективность видна по падению llama 4 experimental которая была специально обучена взламывать мозг аннотаторов маркдауном и позитивом.
Настроение определяют с помощью Gemini Flash 2.0.
Мне понравился пост, потому что они прикольно рассказывают про методологию и инсайты. Например, пользователи предпочитают позитивные ответы, но Very Negative ответы им нравятся больше, чем Negative или Neutral.
За наводку спасибо Игорю.
https://blog.lmarena.ai/blog/2025/sentiment-control/
Настроение определяют с помощью Gemini Flash 2.0.
Мне понравился пост, потому что они прикольно рассказывают про методологию и инсайты. Например, пользователи предпочитают позитивные ответы, но Very Negative ответы им нравятся больше, чем Negative или Neutral.
За наводку спасибо Игорю.
https://blog.lmarena.ai/blog/2025/sentiment-control/
Раз уж сегодня день голоса, может ли text-to-audio модель нюхать кокаин? Оказывается, что да. Оказывается у ребят в TTS весело.
https://www.reddit.com/r/LocalLLaMA/comments/1k4v5fm/dia_16b_is_one_of_the_funnest_models_ive_ever/
https://huggingface.co/nari-labs/Dia-1.6B
https://www.reddit.com/r/LocalLLaMA/comments/1k4v5fm/dia_16b_is_one_of_the_funnest_models_ive_ever/
https://huggingface.co/nari-labs/Dia-1.6B
Когда на всем полуострове нет интернета.
Спустя несколько часов после отключения электроэнергии в Португалии перестал работать и мобильный интернет. Вайб как будто я попал в кино про девяностые. На улице раза в четыре больше людей. Парки прям заполнены. На лавочках читают книги (!), все кругом общаются, играют в карты. Даже коммерция продолжается, правда за наличку, так что работают только киоски и палатки с фруктами.
Дорожное движение регулируется по старинке: вайбами + страхом смерти и увечий, иногда регулировщиками.
На всем Иберийском полуострове объявлен диджитал детокс + touch grass day(а я нашел отель с незапороленным работающим WIFI).
Спустя несколько часов после отключения электроэнергии в Португалии перестал работать и мобильный интернет. Вайб как будто я попал в кино про девяностые. На улице раза в четыре больше людей. Парки прям заполнены. На лавочках читают книги (!), все кругом общаются, играют в карты. Даже коммерция продолжается, правда за наличку, так что работают только киоски и палатки с фруктами.
Дорожное движение регулируется по старинке: вайбами + страхом смерти и увечий, иногда регулировщиками.
На всем Иберийском полуострове объявлен диджитал детокс + touch grass day
Все, кто не верил в пользу локальных LLM, серверной стойки и дизельного генератора в шкафу. Ну и как вы теперь узнаете, что больше, 9.11 или 9.9? Наверное вам сейчас очень стыдно
This media is not supported in your browser
VIEW IN TELEGRAM
К сожалению свет дали, я надеялся хотя бы ночь так проведем