Промпт-инженеринг умер, да здравствует визуальный промпт-инженеринг!
Dimitris Papailiopoulos написал в твиттере, что у него не получилось заставить GPT-4o сгенерировать картинку с лабиринтом, имеющую решение (проход из одной точки в другую). В комменты пришел первый™ промпт-инженер Riley Goodside и показал как надо.
> Я легко получил правильный лабиринт, попросив сначала решённый (прим.: с отмеченным путём), а затем попросил удалить решение (что внесло неожиданные изменения в картинку, но результат все еще правильный)
> Создание правильных лабиринтов с помощью GPT-4o на первый взгляд кажется сложным, но если сначала создать *решенный* лабиринт, а затем удалить решение, то можно не только создать лабиринт, но и создать даже тройной лабиринт с тремя парными входами и выходами
Работать нужно не 12 часов, а головой
Ждём пока к визуальным генерациям прикрутят «цепочки рассуждений», чтобы проводить промежуточные визуализации перед генерацией финального ответа. Видел нечто подобное в статье от Microsoft, не могу сходу найти.
Основной тред.
Dimitris Papailiopoulos написал в твиттере, что у него не получилось заставить GPT-4o сгенерировать картинку с лабиринтом, имеющую решение (проход из одной точки в другую). В комменты пришел первый™ промпт-инженер Riley Goodside и показал как надо.
> Я легко получил правильный лабиринт, попросив сначала решённый (прим.: с отмеченным путём), а затем попросил удалить решение (что внесло неожиданные изменения в картинку, но результат все еще правильный)
> Создание правильных лабиринтов с помощью GPT-4o на первый взгляд кажется сложным, но если сначала создать *решенный* лабиринт, а затем удалить решение, то можно не только создать лабиринт, но и создать даже тройной лабиринт с тремя парными входами и выходами
Работать нужно не 12 часов, а головой
Ждём пока к визуальным генерациям прикрутят «цепочки рассуждений», чтобы проводить промежуточные визуализации перед генерацией финального ответа. Видел нечто подобное в статье от Microsoft, не могу сходу найти.
Основной тред.
1🔥300🤯98👍65🤣39 8👎1💩1👨💻1
В WSJ вышла статья «The Secrets and Misdirection Behind Sam Altman’s Firing From OpenAI», рассказывающая некоторые детали увольнения и восстановления Sama в OpenAI. Правда как я понял это пересказ части из будущей книги-биографии «The Optimist: Sam Altman, OpenAI, and the Race to Invent the Future», написанной сотрудницей WSJ, и не до конца ясно, с чьих слов пересказаны некоторые диалоги. Построена ли биография на основе общения со второй стороной ноябрьских событий?
В целом, нового практически ничего нет, самое главное, что вынес для себя — роль Mira Murati: она вместе с Ilya Sutskever несколько недель собирала доказательства лжи Sam Altman, делала скриншоты переписок. Ilya общался с другими членами совета директоров и перепроверял информацию, которую ему сообщал Sama, и фиксировал несоответствия.
Например, как писали больше года назад, из-за сложившегося кризиса в совете директоров (3 сторонника одной позиции и 3 — другой; ни одна сторона не может пропихнуть «своего» кандидата) Sama пытался достичь перевеса через увольнение/отстранение одной из директоров. Для этого он соврал/неверно передал слова другой директриссы, мол, это вот она хочет уволить. «Она была ошеломлена, услышав этот рассказ от Ilya Sutskever, — она знала, что ничего подобного не говорила».
(о, а на Greg Brockman жалобы «в основном были сосредоточены на его предполагаемых издевательствах», alleged bullying)
Однако потом....
«Mira Murati беспокоилась, что совет директоров подвергает OpenAI риску, не подготовившись лучше к последствиям увольнения Sama. В какой-то момент она и остальная часть команды лидеров дали совету директоров 30-минутный срок, чтобы объяснить, почему они уволили CEO, или уйти в отставку — иначе команда лидеров уволится сама. Совет директоров посчитал, что не может разглашать, что именно Mira предоставила им некоторые из самых подробных доказательств управленческих ошибок Sam Altman»
В целом, нового практически ничего нет, самое главное, что вынес для себя — роль Mira Murati: она вместе с Ilya Sutskever несколько недель собирала доказательства лжи Sam Altman, делала скриншоты переписок. Ilya общался с другими членами совета директоров и перепроверял информацию, которую ему сообщал Sama, и фиксировал несоответствия.
Например, как писали больше года назад, из-за сложившегося кризиса в совете директоров (3 сторонника одной позиции и 3 — другой; ни одна сторона не может пропихнуть «своего» кандидата) Sama пытался достичь перевеса через увольнение/отстранение одной из директоров. Для этого он соврал/неверно передал слова другой директриссы, мол, это вот она хочет уволить. «Она была ошеломлена, услышав этот рассказ от Ilya Sutskever, — она знала, что ничего подобного не говорила».
(о, а на Greg Brockman жалобы «в основном были сосредоточены на его предполагаемых издевательствах», alleged bullying)
Однако потом....
«Mira Murati беспокоилась, что совет директоров подвергает OpenAI риску, не подготовившись лучше к последствиям увольнения Sama. В какой-то момент она и остальная часть команды лидеров дали совету директоров 30-минутный срок, чтобы объяснить, почему они уволили CEO, или уйти в отставку — иначе команда лидеров уволится сама. Совет директоров посчитал, что не может разглашать, что именно Mira предоставила им некоторые из самых подробных доказательств управленческих ошибок Sam Altman»
4 194🤔68🌚24🤡23👍16🤯3👎2💩2😈2
Сиолошная
Промпт-инженеринг умер, да здравствует визуальный промпт-инженеринг! Dimitris Papailiopoulos написал в твиттере, что у него не получилось заставить GPT-4o сгенерировать картинку с лабиринтом, имеющую решение (проход из одной точки в другую). В комменты пришел…
Sama жалуется, что спрос на продукт (опять) превышает их прогнозы + возможности по предоставлению — всё упирается в вычислительные мощности.
Если вдруг не сидите в твиттере, то передаю: со дня анонса все в ленте как с ума сошли и генерят всё подряд, от кликбейтных заставок для видео по рисунку от руки и до переделки своих аватарок под аниме.
Новая модель для генерации, кстати, доступна и бесплатным пользователям.
Один из главных вопросов-загадок, который летает у меня в голове последний месяц — это «как же вы блин будете GPT-5-то всем предоставлять, включая бесплатников?»
Может в ближайшие пару месяцев должно запуститься 3-4 новых датацентра с самыми свежими чипами последнего поколения, иначе я не знаю...🤡
Если вдруг не сидите в твиттере, то передаю: со дня анонса все в ленте как с ума сошли и генерят всё подряд, от кликбейтных заставок для видео по рисунку от руки и до переделки своих аватарок под аниме.
Новая модель для генерации, кстати, доступна и бесплатным пользователям.
Один из главных вопросов-загадок, который летает у меня в голове последний месяц — это «как же вы блин будете GPT-5-то всем предоставлять, включая бесплатников?»
Может в ближайшие пару месяцев должно запуститься 3-4 новых датацентра с самыми свежими чипами последнего поколения, иначе я не знаю...
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤯179 68🌚38👍32👎7❤🔥5🤡5🔥2💩1
Сиолошная
Sama жалуется, что спрос на продукт (опять) превышает их прогнозы + возможности по предоставлению — всё упирается в вычислительные мощности.
Количество поисковых запросов по ChatGPT, анализируемых Google Trends, чуть-чуть сравнялся и даже превысил оный у Google — настолько много желающих попробовать новую рисовалку.
Рост за последние сутки в основном обусловлен следующими запросами:
1. chatgpt ghibli
2. ghibli
3. ghibli art chatgpt
4. ghibli art
5. ghibli ai
Если сравнивать средний поисковый трафик за неделю, то у ChatGPT было 32 пункта, а сейчас в пике — 64, ровно в 2 раза больше. Почти наверняка это означает, что недельная аудитория сервиса перешагнула 500 (а может и 600?) миллионов пользователей — важный майлстоун на пути к миллиарду к концу года.
Посмотреть аналитику самому: тут
Рост за последние сутки в основном обусловлен следующими запросами:
1. chatgpt ghibli
2. ghibli
3. ghibli art chatgpt
4. ghibli art
5. ghibli ai
Если сравнивать средний поисковый трафик за неделю, то у ChatGPT было 32 пункта, а сейчас в пике — 64, ровно в 2 раза больше. Почти наверняка это означает, что недельная аудитория сервиса перешагнула 500 (а может и 600?) миллионов пользователей — важный майлстоун на пути к миллиарду к концу года.
Посмотреть аналитику самому: тут
2🔥123🤯41🤡27👍14 9🤣7❤🔥4👎2💔1
Сиолошная
Наконец-то могу с вами поделиться: последние полтора месяца был альфа-тестером в «закрытом» тестировании следующей игры Valve (это которые Half-Life, Counter Strike, DotA 2, Team Fortress — то есть одни из лучших и самых загребущих игр делали) под названием…
Прошло больше полугода с поста про Deadlock, наверняка есть новые интересующиеся — пост для вас.
Deadlock — следующая игры Valve (это которые Half-Life, Counter Strike, DotA 2, Team Fortress — то есть одни из лучших игр делали). Жанр игры — MOBA (как дота), но стрелялка. Можно думать как про смесь DotA 2 + Overwatch + Team Fortress 2.
Всё ещё действует система приглашений — прям как на заре DotA 2, помню, как пытался получить себе ключ от игры (их ещё продавали!). Для этого нужно добавиться в друзья в стим. Если вы хотите поиграть, и если вы часто что-то пишете в комментариях (то есть я знаю вас по аватарке и/или нику) — скидывайте ссылку на стим, я вас добавлю и отправлю приглашение. К сожалению, не могу пригласить всех, иначе придётся разорваться (в прошлый раз отправил ~50-60 приглашений).
Игра ОЧЕНЬ затягивающая, и кажется после двух неудачных попыток (Artifact и Dota Underlords) у Valve получилось сделать полноценный продукт с хорошими механиками и геймплеем. К сожалению, порог входа достаточно высок, первые игр 10 вы не будете понимать ничего, всё будет казаться сложным, и придётся довольствоваться счётом 1-12. Главное этот период пережить :)
Как и в прошлый раз, прикладываю нарезочку своих моментов😎 (осторожно, присутствует МАТ). Практикуюсь играть на менте 👮♂️
Deadlock — следующая игры Valve (это которые Half-Life, Counter Strike, DotA 2, Team Fortress — то есть одни из лучших игр делали). Жанр игры — MOBA (как дота), но стрелялка. Можно думать как про смесь DotA 2 + Overwatch + Team Fortress 2.
Всё ещё действует система приглашений — прям как на заре DotA 2, помню, как пытался получить себе ключ от игры (их ещё продавали!). Для этого нужно добавиться в друзья в стим. Если вы хотите поиграть, и если вы часто что-то пишете в комментариях (то есть я знаю вас по аватарке и/или нику) — скидывайте ссылку на стим, я вас добавлю и отправлю приглашение. К сожалению, не могу пригласить всех, иначе придётся разорваться (в прошлый раз отправил ~50-60 приглашений).
Игра ОЧЕНЬ затягивающая, и кажется после двух неудачных попыток (Artifact и Dota Underlords) у Valve получилось сделать полноценный продукт с хорошими механиками и геймплеем. К сожалению, порог входа достаточно высок, первые игр 10 вы не будете понимать ничего, всё будет казаться сложным, и придётся довольствоваться счётом 1-12. Главное этот период пережить :)
Как и в прошлый раз, прикладываю нарезочку своих моментов
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥102👍46💩35🤣21❤🔥16 14👎12🤡9🤔6🌚5😈3
Сиолошная
Ну и вооот, Gemini-2.5 Pro стала новым топ-1, показав невероятные 90% правильных ответов при 120 тысячах нерелевантных токенов истории. До этого лучшей моделью на самом длинном контексте была GPT-4.5, набравшая 63.9%. Но ещё интереснее посмотреть, как скакнула метрика от Gemini-2.0 Pro к 2.5
Продолжая тему прироста метрик от дообучения рассуждениям (и другим сопутствующим улучшениям, уложенным всего в 2 месяца развития) — Gemini 2.5 Pro уверенно заняла первую строчку по средним результатам самых свежих математических соревнований (февраль '25-го и позже). В AIME метрики скорее всего как у o3 (к которой у нас нет доступа), раз уж mini-версия подбирается вплотную, а вот на HMMT зазор относительно модели OpenAI очень солидный.
На второй картинке замер на оффлайн-части IQ-теста от Mensa. Невесть какой тест, конечно, но и там модель впереди планеты всей. (источник)
Ризонер поверх большой базовой модели — тема👆
На второй картинке замер на оффлайн-части IQ-теста от Mensa. Невесть какой тест, конечно, но и там модель впереди планеты всей. (источник)
Ризонер поверх большой базовой модели — тема
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
4👍115🔥30❤🔥13 10👎3🤡2🤔1
Я год назад очень рекомендовал курс по интерпретируемости, который входит в программу (и сопровождает один из треков).
Очень надеюсь, что кому-нибудь из подписчиков удастся пройти🙏
Очень надеюсь, что кому-нибудь из подписчиков удастся пройти
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤🔥32👍18👎5🔥5 2🤔1
Forwarded from Start in AI Safety (Nikita Zakharov)
Открыт сбор заявок на программу по AI alignment "MATS summer 2025"
Программа MATS — это посеместровая, 10-недельная программа стипендий по исследованию Alignment, безопасности и управления ИИ, действующая в Беркли, Калифорния, и Лондоне, Великобритания, с возможностью продления на 6-12 месяцев для отобранных стипендиатов. Стипендиаты получают поддержку в виде общего офисного пространства, программы семинаров, поддерживающего персонала, проживания, возмещения расходов на поездки и вычислительные ресурсы. В последних двух программах приняли участие около 80-90 стипендиатов и разнообразные исследовательские наставники. Выпускники были приняты в лучшие команды исследований ИИ (например, Anthropic, Google DeepMind, OpenAI, UK AISI, METR), основали исследовательские группы (например, Apollo Research, Timaeus, Atla, CAIP, Leap Labs) и поддерживают сеть помощи для начинающих исследователей.
Дедлайн до 18 апреля 2025 года.
https://www.matsprogram.org/apply
Программа MATS — это посеместровая, 10-недельная программа стипендий по исследованию Alignment, безопасности и управления ИИ, действующая в Беркли, Калифорния, и Лондоне, Великобритания, с возможностью продления на 6-12 месяцев для отобранных стипендиатов. Стипендиаты получают поддержку в виде общего офисного пространства, программы семинаров, поддерживающего персонала, проживания, возмещения расходов на поездки и вычислительные ресурсы. В последних двух программах приняли участие около 80-90 стипендиатов и разнообразные исследовательские наставники. Выпускники были приняты в лучшие команды исследований ИИ (например, Anthropic, Google DeepMind, OpenAI, UK AISI, METR), основали исследовательские группы (например, Apollo Research, Timaeus, Atla, CAIP, Leap Labs) и поддерживают сеть помощи для начинающих исследователей.
Дедлайн до 18 апреля 2025 года.
https://www.matsprogram.org/apply
ML Alignment & Theory Scholars
Apply — ML Alignment & Theory Scholars
1👍47 39❤🔥15👨💻8🔥5👎2🌚2
Пачка непервоапрельских новостей с утра:
— OpenAI официально закрыли раунд инвестиций, договорившись о привлечении $40 миллиардов долларов при оценке в $300B. На данный момент есть лишь одна непубличная компания с оценкой выше — SpaceX; ByteDance упал до ~$215B (а некогда стоил все $400B). ТРИСТА МИЛЛИАРДОВ оценки — это 35-ое место среди всех публичных компаний, вот несколько соседей: Coca-Cola ($308B), Alibaba ($320B), Samsung ($263B), Toyota ($233B).
— Суммарно компания привлекла за всё время чуть более $53B: это больше, чем 5 следующих за ней рекордсменов по привлечённым инвестициям. Вот же ненасытные👶
— Компания всё ещё остаётся некоммерческой. Однако в ходе раунда инвестиций было выставлено условия, что сейчас будет предоставлено лишь $10B (четверть), а остаток — только если к концу года она превратится в коммерческую. Если это не получится сделать, то главный инвестор, Softbank, имеет право уменьшить второй транш в $30B (до $20B, как я понял).
— Уже в анонсе инвестиций OpenAI пишут про 500 миллионов уникальных пользователей в неделю (я буквально вчера писал, что с учётом взрывной популярности генератора картинок скорее всего эту цифру перешагнули, вот и подтверждение)
— «Мы рады работать в партнерстве с SoftBank Group — немногие компании понимают, как масштабировать столь трансформативную технологию, как они. Их поддержка поможет нам продолжить создание систем ИИ, которые стимулируют научные открытия, обеспечивают персонализированное образование, повышают креативность человека и прокладывают путь к ИИ, который приносит пользу всему человечеству»
— Значимая часть денег пойдёт на инвестирование проекта Stargate по постройке инфраструктуры для AI. Я видел в новостях цифру в $18B до конца года (и это только со стороны OpenAI), но не уверен в ней.
— Генерацию изображений новой моделью теперь снова включили бесплатным пользователям (но с маленьким лимитом)
— Sama вчера сообщил, что за час ChatGPT получил МИЛЛИОН новых регистраций (полностью новые пользователи). На старте ChatGPT в 2022-м миллион пользователей достигли за 5 дней, и это был невероятный темп, сделавший продукт самым быстрорастущим (даже быстрее инстаграмов и тиктоков). А тут — просто за час.
— OpenAI планирует выпустить веса одной маленькой рассуждающей модели для всех. Это станет первым открытым релизом языковой модели с GPT-2. Я не думаю, что в ней мы увидим большое количество архитектурных изощрений, что не будет означать, однако, их отсутствия в передовых моделях компании. Интересно будет посмотреть на разницу с тем, что к тому времени выложат другие (может и META успеет?) и оценить разницу в качестве.
— OpenAI официально закрыли раунд инвестиций, договорившись о привлечении $40 миллиардов долларов при оценке в $300B. На данный момент есть лишь одна непубличная компания с оценкой выше — SpaceX; ByteDance упал до ~$215B (а некогда стоил все $400B). ТРИСТА МИЛЛИАРДОВ оценки — это 35-ое место среди всех публичных компаний, вот несколько соседей: Coca-Cola ($308B), Alibaba ($320B), Samsung ($263B), Toyota ($233B).
— Суммарно компания привлекла за всё время чуть более $53B: это больше, чем 5 следующих за ней рекордсменов по привлечённым инвестициям. Вот же ненасытные
— Компания всё ещё остаётся некоммерческой. Однако в ходе раунда инвестиций было выставлено условия, что сейчас будет предоставлено лишь $10B (четверть), а остаток — только если к концу года она превратится в коммерческую. Если это не получится сделать, то главный инвестор, Softbank, имеет право уменьшить второй транш в $30B (до $20B, как я понял).
— Уже в анонсе инвестиций OpenAI пишут про 500 миллионов уникальных пользователей в неделю (я буквально вчера писал, что с учётом взрывной популярности генератора картинок скорее всего эту цифру перешагнули, вот и подтверждение)
— «Мы рады работать в партнерстве с SoftBank Group — немногие компании понимают, как масштабировать столь трансформативную технологию, как они. Их поддержка поможет нам продолжить создание систем ИИ, которые стимулируют научные открытия, обеспечивают персонализированное образование, повышают креативность человека и прокладывают путь к ИИ, который приносит пользу всему человечеству»
— Значимая часть денег пойдёт на инвестирование проекта Stargate по постройке инфраструктуры для AI. Я видел в новостях цифру в $18B до конца года (и это только со стороны OpenAI), но не уверен в ней.
— Генерацию изображений новой моделью теперь снова включили бесплатным пользователям (но с маленьким лимитом)
— Sama вчера сообщил, что за час ChatGPT получил МИЛЛИОН новых регистраций (полностью новые пользователи). На старте ChatGPT в 2022-м миллион пользователей достигли за 5 дней, и это был невероятный темп, сделавший продукт самым быстрорастущим (даже быстрее инстаграмов и тиктоков). А тут — просто за час.
— OpenAI планирует выпустить веса одной маленькой рассуждающей модели для всех. Это станет первым открытым релизом языковой модели с GPT-2. Я не думаю, что в ней мы увидим большое количество архитектурных изощрений, что не будет означать, однако, их отсутствия в передовых моделях компании. Интересно будет посмотреть на разницу с тем, что к тому времени выложат другие (может и META успеет?) и оценить разницу в качестве.
Please open Telegram to view this post
VIEW IN TELEGRAM
11👍162 58🔥27❤🔥18💩11🤡9👎4🤣4🤯1
Forwarded from Data Secrets
В Meta показали собственную вариацию механизма внимания: Multi-Token Attention
В стандартном multi-head attention внимание вычисляется посредством сравнения запросов (Q) и ключей (K) для каждого токена с каждым. Но если нужная информация распределена между несколькими токенами, такой подход приводит к тому, что модель может не суметь правильно её обнаружить.
А Multi-Token Attention – это атеншн со свертками: исследователи добавляют в классический подход key-query convolution и head mixing convolution.
В измерении ключей и запросов свертки помогают учитывать не один токен, а окно из нескольких рядом стоящих. Аналогично на уровне голов – после применения софтмакса головы не сразу домножаются на значения (V), а сначала миксуются в свертки и как бы обмениваются информацией. Схемы – на 1 и 2 картинках.
Работает ли это? Да, на валидационных срезах снижается и перплексия, и количество ошибок модели. Особенно это видно на задачах, где нужно аккуратно работать с контекстом, типа BabiLong (рис 4) и Needle-in-the-Haystack (рис 5).
Вычислительно напряжно, конечно, но все-таки идея интересная
arxiv.org/pdf/2504.00927
В стандартном multi-head attention внимание вычисляется посредством сравнения запросов (Q) и ключей (K) для каждого токена с каждым. Но если нужная информация распределена между несколькими токенами, такой подход приводит к тому, что модель может не суметь правильно её обнаружить.
А Multi-Token Attention – это атеншн со свертками: исследователи добавляют в классический подход key-query convolution и head mixing convolution.
В измерении ключей и запросов свертки помогают учитывать не один токен, а окно из нескольких рядом стоящих. Аналогично на уровне голов – после применения софтмакса головы не сразу домножаются на значения (V), а сначала миксуются в свертки и как бы обмениваются информацией. Схемы – на 1 и 2 картинках.
Работает ли это? Да, на валидационных срезах снижается и перплексия, и количество ошибок модели. Особенно это видно на задачах, где нужно аккуратно работать с контекстом, типа BabiLong (рис 4) и Needle-in-the-Haystack (рис 5).
Вычислительно напряжно, конечно, но все-таки идея интересная
arxiv.org/pdf/2504.00927
2👍120🤔34🔥14👨💻6😈2👎1🤡1🌚1