Промпт-инженеринг умер, да здравствует визуальный промпт-инженеринг!
Dimitris Papailiopoulos написал в твиттере, что у него не получилось заставить GPT-4o сгенерировать картинку с лабиринтом, имеющую решение (проход из одной точки в другую). В комменты пришел первый™ промпт-инженер Riley Goodside и показал как надо.
> Я легко получил правильный лабиринт, попросив сначала решённый (прим.: с отмеченным путём), а затем попросил удалить решение (что внесло неожиданные изменения в картинку, но результат все еще правильный)
> Создание правильных лабиринтов с помощью GPT-4o на первый взгляд кажется сложным, но если сначала создать *решенный* лабиринт, а затем удалить решение, то можно не только создать лабиринт, но и создать даже тройной лабиринт с тремя парными входами и выходами
Работать нужно не 12 часов, а головой
Ждём пока к визуальным генерациям прикрутят «цепочки рассуждений», чтобы проводить промежуточные визуализации перед генерацией финального ответа. Видел нечто подобное в статье от Microsoft, не могу сходу найти.
Основной тред.
Dimitris Papailiopoulos написал в твиттере, что у него не получилось заставить GPT-4o сгенерировать картинку с лабиринтом, имеющую решение (проход из одной точки в другую). В комменты пришел первый™ промпт-инженер Riley Goodside и показал как надо.
> Я легко получил правильный лабиринт, попросив сначала решённый (прим.: с отмеченным путём), а затем попросил удалить решение (что внесло неожиданные изменения в картинку, но результат все еще правильный)
> Создание правильных лабиринтов с помощью GPT-4o на первый взгляд кажется сложным, но если сначала создать *решенный* лабиринт, а затем удалить решение, то можно не только создать лабиринт, но и создать даже тройной лабиринт с тремя парными входами и выходами
Работать нужно не 12 часов, а головой
Ждём пока к визуальным генерациям прикрутят «цепочки рассуждений», чтобы проводить промежуточные визуализации перед генерацией финального ответа. Видел нечто подобное в статье от Microsoft, не могу сходу найти.
Основной тред.
В WSJ вышла статья «The Secrets and Misdirection Behind Sam Altman’s Firing From OpenAI», рассказывающая некоторые детали увольнения и восстановления Sama в OpenAI. Правда как я понял это пересказ части из будущей книги-биографии «The Optimist: Sam Altman, OpenAI, and the Race to Invent the Future», написанной сотрудницей WSJ, и не до конца ясно, с чьих слов пересказаны некоторые диалоги. Построена ли биография на основе общения со второй стороной ноябрьских событий?
В целом, нового практически ничего нет, самое главное, что вынес для себя — роль Mira Murati: она вместе с Ilya Sutskever несколько недель собирала доказательства лжи Sam Altman, делала скриншоты переписок. Ilya общался с другими членами совета директоров и перепроверял информацию, которую ему сообщал Sama, и фиксировал несоответствия.
Например, как писали больше года назад, из-за сложившегося кризиса в совете директоров (3 сторонника одной позиции и 3 — другой; ни одна сторона не может пропихнуть «своего» кандидата) Sama пытался достичь перевеса через увольнение/отстранение одной из директоров. Для этого он соврал/неверно передал слова другой директриссы, мол, это вот она хочет уволить. «Она была ошеломлена, услышав этот рассказ от Ilya Sutskever, — она знала, что ничего подобного не говорила».
(о, а на Greg Brockman жалобы «в основном были сосредоточены на его предполагаемых издевательствах», alleged bullying)
Однако потом....
«Mira Murati беспокоилась, что совет директоров подвергает OpenAI риску, не подготовившись лучше к последствиям увольнения Sama. В какой-то момент она и остальная часть команды лидеров дали совету директоров 30-минутный срок, чтобы объяснить, почему они уволили CEO, или уйти в отставку — иначе команда лидеров уволится сама. Совет директоров посчитал, что не может разглашать, что именно Mira предоставила им некоторые из самых подробных доказательств управленческих ошибок Sam Altman»
В целом, нового практически ничего нет, самое главное, что вынес для себя — роль Mira Murati: она вместе с Ilya Sutskever несколько недель собирала доказательства лжи Sam Altman, делала скриншоты переписок. Ilya общался с другими членами совета директоров и перепроверял информацию, которую ему сообщал Sama, и фиксировал несоответствия.
Например, как писали больше года назад, из-за сложившегося кризиса в совете директоров (3 сторонника одной позиции и 3 — другой; ни одна сторона не может пропихнуть «своего» кандидата) Sama пытался достичь перевеса через увольнение/отстранение одной из директоров. Для этого он соврал/неверно передал слова другой директриссы, мол, это вот она хочет уволить. «Она была ошеломлена, услышав этот рассказ от Ilya Sutskever, — она знала, что ничего подобного не говорила».
(о, а на Greg Brockman жалобы «в основном были сосредоточены на его предполагаемых издевательствах», alleged bullying)
Однако потом....
«Mira Murati беспокоилась, что совет директоров подвергает OpenAI риску, не подготовившись лучше к последствиям увольнения Sama. В какой-то момент она и остальная часть команды лидеров дали совету директоров 30-минутный срок, чтобы объяснить, почему они уволили CEO, или уйти в отставку — иначе команда лидеров уволится сама. Совет директоров посчитал, что не может разглашать, что именно Mira предоставила им некоторые из самых подробных доказательств управленческих ошибок Sam Altman»
Сиолошная
Промпт-инженеринг умер, да здравствует визуальный промпт-инженеринг! Dimitris Papailiopoulos написал в твиттере, что у него не получилось заставить GPT-4o сгенерировать картинку с лабиринтом, имеющую решение (проход из одной точки в другую). В комменты пришел…
Sama жалуется, что спрос на продукт (опять) превышает их прогнозы + возможности по предоставлению — всё упирается в вычислительные мощности.
Если вдруг не сидите в твиттере, то передаю: со дня анонса все в ленте как с ума сошли и генерят всё подряд, от кликбейтных заставок для видео по рисунку от руки и до переделки своих аватарок под аниме.
Новая модель для генерации, кстати, доступна и бесплатным пользователям.
Один из главных вопросов-загадок, который летает у меня в голове последний месяц — это «как же вы блин будете GPT-5-то всем предоставлять, включая бесплатников?»
Может в ближайшие пару месяцев должно запуститься 3-4 новых датацентра с самыми свежими чипами последнего поколения, иначе я не знаю...🤡
Если вдруг не сидите в твиттере, то передаю: со дня анонса все в ленте как с ума сошли и генерят всё подряд, от кликбейтных заставок для видео по рисунку от руки и до переделки своих аватарок под аниме.
Новая модель для генерации, кстати, доступна и бесплатным пользователям.
Один из главных вопросов-загадок, который летает у меня в голове последний месяц — это «как же вы блин будете GPT-5-то всем предоставлять, включая бесплатников?»
Может в ближайшие пару месяцев должно запуститься 3-4 новых датацентра с самыми свежими чипами последнего поколения, иначе я не знаю...
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Sama жалуется, что спрос на продукт (опять) превышает их прогнозы + возможности по предоставлению — всё упирается в вычислительные мощности. Если вдруг не сидите в твиттере, то передаю: со дня анонса все в ленте как с ума сошли и генерят всё подряд, от кликбейтных…
Please open Telegram to view this post
VIEW IN TELEGRAM
Сиолошная
Наконец-то могу с вами поделиться: последние полтора месяца был альфа-тестером в «закрытом» тестировании следующей игры Valve (это которые Half-Life, Counter Strike, DotA 2, Team Fortress — то есть одни из лучших и самых загребущих игр делали) под названием…
Прошло больше полугода с поста про Deadlock, наверняка есть новые интересующиеся — пост для вас.
Deadlock — следующая игры Valve (это которые Half-Life, Counter Strike, DotA 2, Team Fortress — то есть одни из лучших игр делали). Жанр игры — MOBA (как дота), но стрелялка. Можно думать как про смесь DotA 2 + Overwatch + Team Fortress 2.
Всё ещё действует система приглашений — прям как на заре DotA 2, помню, как пытался получить себе ключ от игры (их ещё продавали!). Для этого нужно добавиться в друзья в стим. Если вы хотите поиграть, и если вы часто что-то пишете в комментариях (то есть я знаю вас по аватарке и/или нику) — скидывайте ссылку на стим, я вас добавлю и отправлю приглашение. К сожалению, не могу пригласить всех, иначе придётся разорваться (в прошлый раз отправил ~50-60 приглашений).
Игра ОЧЕНЬ затягивающая, и кажется после двух неудачных попыток (Artifact и Dota Underlords) у Valve получилось сделать полноценный продукт с хорошими механиками и геймплеем. К сожалению, порог входа достаточно высок, первые игр 10 вы не будете понимать ничего, всё будет казаться сложным, и придётся довольствоваться счётом 1-12. Главное этот период пережить :)
Как и в прошлый раз, прикладываю нарезочку своих моментов😎 (осторожно, присутствует МАТ). Практикуюсь играть на менте 👮♂️
Deadlock — следующая игры Valve (это которые Half-Life, Counter Strike, DotA 2, Team Fortress — то есть одни из лучших игр делали). Жанр игры — MOBA (как дота), но стрелялка. Можно думать как про смесь DotA 2 + Overwatch + Team Fortress 2.
Всё ещё действует система приглашений — прям как на заре DotA 2, помню, как пытался получить себе ключ от игры (их ещё продавали!). Для этого нужно добавиться в друзья в стим. Если вы хотите поиграть, и если вы часто что-то пишете в комментариях (то есть я знаю вас по аватарке и/или нику) — скидывайте ссылку на стим, я вас добавлю и отправлю приглашение. К сожалению, не могу пригласить всех, иначе придётся разорваться (в прошлый раз отправил ~50-60 приглашений).
Игра ОЧЕНЬ затягивающая, и кажется после двух неудачных попыток (Artifact и Dota Underlords) у Valve получилось сделать полноценный продукт с хорошими механиками и геймплеем. К сожалению, порог входа достаточно высок, первые игр 10 вы не будете понимать ничего, всё будет казаться сложным, и придётся довольствоваться счётом 1-12. Главное этот период пережить :)
Как и в прошлый раз, прикладываю нарезочку своих моментов
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Я год назад очень рекомендовал курс по интерпретируемости, который входит в программу (и сопровождает один из треков).
Очень надеюсь, что кому-нибудь из подписчиков удастся пройти🙏
Очень надеюсь, что кому-нибудь из подписчиков удастся пройти
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Start in AI Safety (Nikita Zakharov)
Открыт сбор заявок на программу по AI alignment "MATS summer 2025"
Программа MATS — это посеместровая, 10-недельная программа стипендий по исследованию Alignment, безопасности и управления ИИ, действующая в Беркли, Калифорния, и Лондоне, Великобритания, с возможностью продления на 6-12 месяцев для отобранных стипендиатов. Стипендиаты получают поддержку в виде общего офисного пространства, программы семинаров, поддерживающего персонала, проживания, возмещения расходов на поездки и вычислительные ресурсы. В последних двух программах приняли участие около 80-90 стипендиатов и разнообразные исследовательские наставники. Выпускники были приняты в лучшие команды исследований ИИ (например, Anthropic, Google DeepMind, OpenAI, UK AISI, METR), основали исследовательские группы (например, Apollo Research, Timaeus, Atla, CAIP, Leap Labs) и поддерживают сеть помощи для начинающих исследователей.
Дедлайн до 18 апреля 2025 года.
https://www.matsprogram.org/apply
Программа MATS — это посеместровая, 10-недельная программа стипендий по исследованию Alignment, безопасности и управления ИИ, действующая в Беркли, Калифорния, и Лондоне, Великобритания, с возможностью продления на 6-12 месяцев для отобранных стипендиатов. Стипендиаты получают поддержку в виде общего офисного пространства, программы семинаров, поддерживающего персонала, проживания, возмещения расходов на поездки и вычислительные ресурсы. В последних двух программах приняли участие около 80-90 стипендиатов и разнообразные исследовательские наставники. Выпускники были приняты в лучшие команды исследований ИИ (например, Anthropic, Google DeepMind, OpenAI, UK AISI, METR), основали исследовательские группы (например, Apollo Research, Timaeus, Atla, CAIP, Leap Labs) и поддерживают сеть помощи для начинающих исследователей.
Дедлайн до 18 апреля 2025 года.
https://www.matsprogram.org/apply
ML Alignment & Theory Scholars
Apply — ML Alignment & Theory Scholars
Пачка непервоапрельских новостей с утра:
— OpenAI официально закрыли раунд инвестиций, договорившись о привлечении $40 миллиардов долларов при оценке в $300B. На данный момент есть лишь одна непубличная компания с оценкой выше — SpaceX; ByteDance упал до ~$215B (а некогда стоил все $400B). ТРИСТА МИЛЛИАРДОВ оценки — это 35-ое место среди всех публичных компаний, вот несколько соседей: Coca-Cola ($308B), Alibaba ($320B), Samsung ($263B), Toyota ($233B).
— Суммарно компания привлекла за всё время чуть более $53B: это больше, чем 5 следующих за ней рекордсменов по привлечённым инвестициям. Вот же ненасытные👶
— Компания всё ещё остаётся некоммерческой. Однако в ходе раунда инвестиций было выставлено условия, что сейчас будет предоставлено лишь $10B (четверть), а остаток — только если к концу года она превратится в коммерческую. Если это не получится сделать, то главный инвестор, Softbank, имеет право уменьшить второй транш в $30B (до $20B, как я понял).
— Уже в анонсе инвестиций OpenAI пишут про 500 миллионов уникальных пользователей в неделю (я буквально вчера писал, что с учётом взрывной популярности генератора картинок скорее всего эту цифру перешагнули, вот и подтверждение)
— «Мы рады работать в партнерстве с SoftBank Group — немногие компании понимают, как масштабировать столь трансформативную технологию, как они. Их поддержка поможет нам продолжить создание систем ИИ, которые стимулируют научные открытия, обеспечивают персонализированное образование, повышают креативность человека и прокладывают путь к ИИ, который приносит пользу всему человечеству»
— Значимая часть денег пойдёт на инвестирование проекта Stargate по постройке инфраструктуры для AI. Я видел в новостях цифру в $18B до конца года (и это только со стороны OpenAI), но не уверен в ней.
— Генерацию изображений новой моделью теперь снова включили бесплатным пользователям (но с маленьким лимитом)
— Sama вчера сообщил, что за час ChatGPT получил МИЛЛИОН новых регистраций (полностью новые пользователи). На старте ChatGPT в 2022-м миллион пользователей достигли за 5 дней, и это был невероятный темп, сделавший продукт самым быстрорастущим (даже быстрее инстаграмов и тиктоков). А тут — просто за час.
— OpenAI планирует выпустить веса одной маленькой рассуждающей модели для всех. Это станет первым открытым релизом языковой модели с GPT-2. Я не думаю, что в ней мы увидим большое количество архитектурных изощрений, что не будет означать, однако, их отсутствия в передовых моделях компании. Интересно будет посмотреть на разницу с тем, что к тому времени выложат другие (может и META успеет?) и оценить разницу в качестве.
— OpenAI официально закрыли раунд инвестиций, договорившись о привлечении $40 миллиардов долларов при оценке в $300B. На данный момент есть лишь одна непубличная компания с оценкой выше — SpaceX; ByteDance упал до ~$215B (а некогда стоил все $400B). ТРИСТА МИЛЛИАРДОВ оценки — это 35-ое место среди всех публичных компаний, вот несколько соседей: Coca-Cola ($308B), Alibaba ($320B), Samsung ($263B), Toyota ($233B).
— Суммарно компания привлекла за всё время чуть более $53B: это больше, чем 5 следующих за ней рекордсменов по привлечённым инвестициям. Вот же ненасытные
— Компания всё ещё остаётся некоммерческой. Однако в ходе раунда инвестиций было выставлено условия, что сейчас будет предоставлено лишь $10B (четверть), а остаток — только если к концу года она превратится в коммерческую. Если это не получится сделать, то главный инвестор, Softbank, имеет право уменьшить второй транш в $30B (до $20B, как я понял).
— Уже в анонсе инвестиций OpenAI пишут про 500 миллионов уникальных пользователей в неделю (я буквально вчера писал, что с учётом взрывной популярности генератора картинок скорее всего эту цифру перешагнули, вот и подтверждение)
— «Мы рады работать в партнерстве с SoftBank Group — немногие компании понимают, как масштабировать столь трансформативную технологию, как они. Их поддержка поможет нам продолжить создание систем ИИ, которые стимулируют научные открытия, обеспечивают персонализированное образование, повышают креативность человека и прокладывают путь к ИИ, который приносит пользу всему человечеству»
— Значимая часть денег пойдёт на инвестирование проекта Stargate по постройке инфраструктуры для AI. Я видел в новостях цифру в $18B до конца года (и это только со стороны OpenAI), но не уверен в ней.
— Генерацию изображений новой моделью теперь снова включили бесплатным пользователям (но с маленьким лимитом)
— Sama вчера сообщил, что за час ChatGPT получил МИЛЛИОН новых регистраций (полностью новые пользователи). На старте ChatGPT в 2022-м миллион пользователей достигли за 5 дней, и это был невероятный темп, сделавший продукт самым быстрорастущим (даже быстрее инстаграмов и тиктоков). А тут — просто за час.
— OpenAI планирует выпустить веса одной маленькой рассуждающей модели для всех. Это станет первым открытым релизом языковой модели с GPT-2. Я не думаю, что в ней мы увидим большое количество архитектурных изощрений, что не будет означать, однако, их отсутствия в передовых моделях компании. Интересно будет посмотреть на разницу с тем, что к тому времени выложат другие (может и META успеет?) и оценить разницу в качестве.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Data Secrets
В Meta показали собственную вариацию механизма внимания: Multi-Token Attention
В стандартном multi-head attention внимание вычисляется посредством сравнения запросов (Q) и ключей (K) для каждого токена с каждым. Но если нужная информация распределена между несколькими токенами, такой подход приводит к тому, что модель может не суметь правильно её обнаружить.
А Multi-Token Attention – это атеншн со свертками: исследователи добавляют в классический подход key-query convolution и head mixing convolution.
В измерении ключей и запросов свертки помогают учитывать не один токен, а окно из нескольких рядом стоящих. Аналогично на уровне голов – после применения софтмакса головы не сразу домножаются на значения (V), а сначала миксуются в свертки и как бы обмениваются информацией. Схемы – на 1 и 2 картинках.
Работает ли это? Да, на валидационных срезах снижается и перплексия, и количество ошибок модели. Особенно это видно на задачах, где нужно аккуратно работать с контекстом, типа BabiLong (рис 4) и Needle-in-the-Haystack (рис 5).
Вычислительно напряжно, конечно, но все-таки идея интересная
arxiv.org/pdf/2504.00927
В стандартном multi-head attention внимание вычисляется посредством сравнения запросов (Q) и ключей (K) для каждого токена с каждым. Но если нужная информация распределена между несколькими токенами, такой подход приводит к тому, что модель может не суметь правильно её обнаружить.
А Multi-Token Attention – это атеншн со свертками: исследователи добавляют в классический подход key-query convolution и head mixing convolution.
В измерении ключей и запросов свертки помогают учитывать не один токен, а окно из нескольких рядом стоящих. Аналогично на уровне голов – после применения софтмакса головы не сразу домножаются на значения (V), а сначала миксуются в свертки и как бы обмениваются информацией. Схемы – на 1 и 2 картинках.
Работает ли это? Да, на валидационных срезах снижается и перплексия, и количество ошибок модели. Особенно это видно на задачах, где нужно аккуратно работать с контекстом, типа BabiLong (рис 4) и Needle-in-the-Haystack (рис 5).
Вычислительно напряжно, конечно, но все-таки идея интересная
arxiv.org/pdf/2504.00927
Сиолошная
В Meta показали собственную вариацию механизма внимания: Multi-Token Attention В стандартном multi-head attention внимание вычисляется посредством сравнения запросов (Q) и ключей (K) для каждого токена с каждым. Но если нужная информация распределена между…
Простите что украл ваш вечер вот этим интервью: https://www.youtube.com/watch?v=htOvH12T7mU&feature=youtu.be
(и попутно ещё сайт опубликовали, как и Situational Awareness, https://ai-2027.com/)
Затравка: в 2021-м году ещё до того, как попасть в OpenAI, Daniel Kokotajlo написал пост со своим видением того, как будет развиваться AI (pure-LLM чатботов тогда не было, масштабирования вычислений во время генерации ответа не было, а вот он про это написал). Затем он стал штатным прогнозистом OpenAI в вопросах развития технологии, и в прошлом году ушёл из компании. Оригинальный пост с предсказаниями заканчивался на 2026-м году, так как дальше Daniel не знал про что писать — с его точки зрения казалось, что следующий шаг это AGI.
Сайт выше, а вместе с ним и интервью погружают нас в развитие предсказаний, что произойдет в 2025-2027м и далее, с поправкой на прошедшие 4 года.
Самое интересное, конечно, начнётся, когда (если) значимая часть предсказаний, скажем, к концу первой половины 2026го сбудется, и можно будет смотреть на остаточную часть с вот такими глазами:😳
(и попутно ещё сайт опубликовали, как и Situational Awareness, https://ai-2027.com/)
Затравка: в 2021-м году ещё до того, как попасть в OpenAI, Daniel Kokotajlo написал пост со своим видением того, как будет развиваться AI (pure-LLM чатботов тогда не было, масштабирования вычислений во время генерации ответа не было, а вот он про это написал). Затем он стал штатным прогнозистом OpenAI в вопросах развития технологии, и в прошлом году ушёл из компании. Оригинальный пост с предсказаниями заканчивался на 2026-м году, так как дальше Daniel не знал про что писать — с его точки зрения казалось, что следующий шаг это AGI.
Сайт выше, а вместе с ним и интервью погружают нас в развитие предсказаний, что произойдет в 2025-2027м и далее, с поправкой на прошедшие 4 года.
Самое интересное, конечно, начнётся, когда (если) значимая часть предсказаний, скажем, к концу первой половины 2026го сбудется, и можно будет смотреть на остаточную часть с вот такими глазами:
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
AI 2027: Month-by-Month Model of AI Takeover — Scott Alexander & Daniel Kokotajlo
Scott Alexander and Daniel Kokotajlo break down every month from now until the 2027 intelligence explosion.
Scott is author of the highly influential blogs Slate Star Codex and Astral Codex Ten. Daniel resigned from OpenAI in 2024, rejecting a non-disparagement…
Scott is author of the highly influential blogs Slate Star Codex and Astral Codex Ten. Daniel resigned from OpenAI in 2024, rejecting a non-disparagement…