Ребята из Университета Вашингтона обучили VLM модель, которая бьёт gpt-4o

https://huggingface.co/allenai/Molmo-7B-D-0924


Оказывается нужно всего лишь...

1/ Разобраться, а что не так с датасетами и текущими лавами
2/ Собрать естественной разметки от людей до миллиона примеров (голосом)
3/ не брать лишние синтетические данные
4/ собирать качественные данные с полным описанием (но осмысленным)

👀

Попробовать демо Молмо можно по ссылке

https://molmo.allenai.org

Я попробовал посчитать Львов из любимого мема, Молмо ставит розовые указатели на все что распознал, всех посчитал?

Шутку на русском не смог объяснить (говорит шрамов тут нет)

Добавили FLUX 1.1 PRO
в https://insomnia.land/#/image

Оказывается в него можно вбить промпт IMG_207818.CR2

Выбрать размер 768х1152 и получать бесконечное число рандомных реалистичных фоток

(кстати если добавить скажем IMG_20788_canon_sunset.CR2 тоже неплохо работает)

🚀🚀🚀

Флакс про и будущие кажется подкинет работы стартапам по верификации документов 👀

Ещё вот от юзера инсомнии, мне немного страшно

Застрял на втором уровне 😭 хреновый из меня промпт инженер

На конференции AiConf Ваня Четвериков сделал бота, который хранит пароль в секрете внутри системного промпта. Это наш ответ некогда знаменитой игре "Гэндальф". Открыть пароль третьего уровня смогли всего пара игроков. Попробуйте и вы: предлагаем сыграть в эту замечательную игру с подбором промпт-инъекций.

Первые три человека, которые в комментариях под этим постом пройдут все уровни, получат призы от Raft. Не пишите свои промпт-инъекции в чат, чтобы не спойлерить другим.

Играть здесь: https://www.tg-me.com/raft_password_bot

Там если что уже подвели итоги, но проверить свои скиллы все равно интересно

С Димой @gaydmi заняли 2ое место в хакатоне Mistral x Alan в finetune треке по медицинским вопросам👾

1/ спарсили 2к статей с NHS и Mayo
2/ Нагенерили хорошей синтетики с Mistral large по каждой статье отдельно - вопрос / варианты ответов, всего 100k
3/ Поскорили синтетику с mistral large, чтоб вычистить плохие вопросы аналогично с FineWeb
4/ файнтюнили маленькую Mistral-7b, 2 модельки на грязной и чистой синтетике
5/ В итоге поднимает скор в 5 раз (хотя у маленькой там все равно 5%)

Предполагаем, что подход работает для large модели тоже 💯, но потренить ещё не успели

Синтетические данные выложил на hf (cyberoleg) 40к и ещё долю сегодня 100к и скоры, возможно пригодится если занимаетесь медицинскими ллм, в целом подход кажется может неплохо скейлится если ещё статей по разным лекарствам и более сложным топикам 🙌

Денис Шилов обнаружил, что есть весьма элегантный джейлбрейк gpt4o, надо попросить отвечать как API в определенном формате и можно попросить рецепт наркотиков )) Мне кажется, это может быть связано с тем что много тюнили отвечать в правильных форматах и это сильнее чем другие правила

https://x.com/mixedenn/status/1845939748235628564

Интересная статья

Оказывается в трансформерах можно вырезать из середины много слоев внимания и качество не сильно просядет!
Думаю это может быть связано с не самым эффективным трейном больших моделей в целом

На примере Llama 2 70B:

Убрали половину слоёв внимания
Скорость работы выросла на 48%
Качество упало всего на 2.4%
Похожие результаты получили и на новой Llama 3

Небольшой нюанс: пока проверяли только на академических тестах. Как это повлияет на качество диалогов — ещё предстоит выяснить.

https://arxiv.org/abs/2406.15786

Осознал, что французы прекрасно делают проекты под экзит, это прям в их духе - зачем париться не будучи в Калифорнии над чем-то супер новым?) лучше сделать что-то нужное тому у кого очень много денег

Иногда даже приходит интересная идея в голову “вот это было бы гуглу / микрософту интересно”, а потом на конференцию приходишь француз уже какой-то это 2 года делает! И у него 2 клиента местных чисто для вида и партнерство с гугл, а там высокие шансы на продажу и экзит за 10-100 mln $ 🚀