Ранее в этом году OpenAI поглотили компанию известного дизайнера Apple Jony Ive для работы над AI-first продуктом, призванным изменить наше взаимодействие с моделями. The Information пишут о том, что происходит внутри в данный момент:

— В последние месяцы OpenAI активно взаимодействует с командами разработчиков, производственных и цепочек поставок Apple.

— Уже удалось переманить не менее 20 специалистов. В масштабе Apple это может быть небольшой цифрой, если говорить про рядовых сотрудников, но уходят ветераны, заставшие ещё Steve Jobs'а. OpenAI предлагает много денег, но кроме этого для сотрудников Apple большая привлекательность работы в OpenAI заключается в возможности воссоединиться с опытными специалистами в работе над революционным продуктом.

— OpenAI также начали общаться с компаниями из цепочки поставок Apple в Китае, которую последние развивали десятилетиями. Luxshare, крупный сборщик iPhone и AirPods в Китае, уже заключил контракт на сборку как минимум одного устройства OpenAI.

— По словам источников, один из продуктов, о создании которого OpenAI общалась с поставщиками, напоминает умную колонку без дисплея. OpenAI также рассматривает возможность создания очков, цифрового диктофона и носимого на груди пина и планирует выпустить первые устройства в конце 2026 или начале 2027 года.

— (из другой новости те же TheInformation) OpenAI чувствует недостаток вычислительных мощностей для наращивания пользовательской базы. Следующий виральный продукт (предыдущим был запуск Image Generation-модели, разлетевшейся на 100M+ пользователей) они могут и не потянуть — придётся замедлять генерацию, ужиматься итд.

— Поэтому недавно руководство компании сообщило некоторым акционерам, что в течение следующих пяти лет она планирует потратить около 100 миллиардов долларов на аренду резервных серверов у облачных провайдеров. Это уже поверх 350 миллиардов долларов, которые компания прогнозировала потратить на аренду серверов у облачных провайдеров в 2025-2030ых годах. Итого $450 миллиардов.

— OpenAI находятся на пути достижения 1 миллиарда еженедельных пользователей к концу года. В феврале 2025-го было «всего» 400 миллионов.

Если раньше по чатикам и каналам чаще слышал от художников претензии к ИИ из-за того, что:
- Оно обучается на чужих работах
- Качество плохое

То теперь (даже порой те же люди) всё чаще пишут жалобы на то, что "ИИ-арт собирает больше лайков, чем рукотворный".

И тут весьма актуальный (но может и жёсткий/несправедливый) вопрос возникает: если аудитория предпочитая ИИ-арт рукотворному, то так ли нужен ручной арт?

И это ведь касается не только арта, сейчас это очень актуально для текстов, переводов, написания кода, музыки.

Просто создавать хороший контент нынче недостаточно, получается. Нужно иметь какую-то фишку, которая будет перебивать того, что ИИ выдаёт. Если мы говорим о выходе на большую аудиторию, конечно.

Раньше соревнование шло с другими с людьми, которые работают плюс-минус в том же темпе, а ИИ-шка способна генерить относительно приемлемый (для среднестатистического потребителя, который уже не всегда даже может отличить ИИ) контент стабильно и быстро. Интересная дилемма.

#нейронки

И ещё разбивка качества по языкам, количеству файлов (больше = сложнее = меньше доля успеха моделей) и количеству строк кода в желаемом изменении.

Авторы обещают, что будущие версии SWE-BENCH PRO должны включать более разнообразные языки программирования и фреймворки для увеличения дайверсити. Планируют добавить Java, C#, Rust, Kotlin.

Грядёт великая сепарация тиров пользователей...

Интересно, появится ли тир за 2'000 долларов, про который писали больше полугода назад?

Чуть больше недели назад в Cursor обновили Tab-модель — это которая подсказывает вам код прямо когда вы его пишете, без длительного ожидания генерации. Если заметили изменения в последние 9 дней — то это как раз из-за этого изменения :)

Главное, что написали — это что модель учится с использованием on-policy RL, и что в теории они могут обновлять модель каждые 2 часа. Может звучать не очень круто, но это сложная инфраструктурная задача, когда у вас 400м+ запросов в сутки.

On-policy RL на практике означает, что каждый раз, когда вы принимаете или отклоняете рекомендацию, модель получает фидбек, который попадает в тренировочный батч; после шага обучения данные будут выкинуты, и начнёт собираться новый батч.

Метрики для оценки моделей две: это доля мест, где подсказку решили показать (модель может решить, что ей нечего предложить) и доля принятых предложений. Первая упала на 21% по сравнению с прошлой моделью — то есть теперь вы будете видеть нерелевантные куски кода реже. Вторая выросла на 28% (если код показали -> его чаще принимают).

WebWalker: Benchmarking LLMs in Web Traversal

Первая статья в цикле разборов Tongyi DeepResearch.

Хорошая традиция в ML начинать решение задачи с бенчмарка, по которому можно оценивать прогресс. Правда кажется, что WebWalkerQA, предлагаемый в статье, немного устарел: задачи DeepResearch сейчас гораздо более объёмны и обширны, чем те, что включены в датасет. Тем не менее пайплайн интересный, так что давайте разбирать.

На момент января 2025-го года, когда вышла статья, RAG для «простых» вопросов уже был по сути решённой задачей: делаем хороший поиск, LLM читает несколько сайтов-кандидатов и выдаёт ответ. Авторы отмечают, что существующие бенчмарки не копают вглубь, когда для ответа на вопрос нужно не просто перейти на сайт, а несколько раз кликнуть на правильные ссылки. На этом и фокусируется WebWalkerQA.

Авторы формулируют задачу как Web Traversal: имея URL исходного сайта и запрос, необходимо систематически обходить веб‑страницы, чтобы обнаружить информацию для ответа.

Первым шагом собирают набор сайтов, для которых будут придумываться вопросы. WebWalkerQA охватывает четыре прикладных домена: конференции, игры, организации, и образование. Для первых двух сайты выбрали через поиск Google по ключевым словам, для последних двух собрали список из головы.

Далее на все собранных сайтах запустили краулинг/обход ссылок, чтобы собрать дерево (граф) переходов. Граф иерархический и описывает сколько кликов нужно минимально сделать, чтобы попасть на страницу. Это важно учесть, чтобы контролировать сложность задач в бенчмарке: больше кликов -> глубже надо копать, и легче запутаться.

Затем на полученных графах запустили случайный выбор по 1 или 2 страницы, текстовый контент с которых подавали в запромпченную GPT-4o. Модель должна была прочитать текст и придумать вопрос. Если страницы две, то вопросы должны были быть таким, чтобы для ответа требовалась информация с обеих страниц.

Вопросы по одной странице простые, по двум — часто составные в духе «где и когда» или «кто и сколько». Я полистал вопросы в датасете и сложилось ощущение, что некоторая доля вопросов как бы про одно и то же, но первая часть не связана со второй. Но и хороших вопросов тоже много:
— когда начало конференции и до какой даты нужно подать заявку
— когда вышли дополнения А и Б для игры
— кто сделал что-то в таком-то и таком-то году

Пример несвязанных: «Кто стал обладателем премии POMS Fellows Award в 2006 году и премии Скиннера за инновации в преподавании в 2018 году?». Оба человека в ответе разные, никакой связи я не нашел — поэтому выглядит как слепление двух вопросов в один.

Сайты страниц и вопросы, кстати, на двух языках — китайский и английский, 60%/40%.

После того, как GPT-4o нагенерировала пары, их глазами отсмотрели эксперты и часть выкинули, в часть внесли правки (в вопросы и ответы — последние тоже были сгенерированы синтетически, хоть и на основе текста страниц). Суммарно оставили 680 пар вопрос-ответ, и ещё 14 тысяч выложены без ручной проверки — предлагается использовать для дообучения своих агентов, но мы то с вами знаем, что качество важнее количества.

Вместе с датасетом предлагается и WebWalker — система из двух агентов: агента‑исследователя и агента‑критика. У каждого своя роль, свои промпты, и действуют они поочерёдно.

Давайте посмотрим на картинку:

— В центре в самом верху вопрос и ссылка на сайт, которые попадают в агента. С HTML-страницы на фоне вытаскивают все кнопки, на которые можно нажать, и полезный контент; для этого используется открытая библиотека ai4crawl с LLM под капотом, которая переводит страницу в Markdown. Глянуть детали можно тут.

— Модель с промптом на выбор клика выбирает, по какой ссылке перейти. Текст с новой страницы попадает в агента-критика. Тот по контенту решает, какую полезную информацию надо выписать для ответа на вопрос. Может быть и так, что ничего записывать не надо. Отдельным промптом критик решает, нужно ли продолжать поиск или вся нужная информация уже есть.

— Если критик решил, что информации недостаточно, то цикл повторяется: один агент получает контент (и историю предыдущих действий), решает, куда кликнуть, критик выписывает информацию и так далее.

— В конце концов критик решает, что информации достаточно для ответа на исходный вопрос, после чего пишет результат.

По сути это прокачанный ReAct, где добавили разных промптов и отдельный блок «памяти», в который LLM решает, что записать.

Пробуют несколько разных LLM, но так как бенчмарку уже больше 9 месяцев, то все модели неактуальны, и результаты не очень интересны. GPT-4o выбила 37.5% правильных ответов с лимитом в 15 действий (переходов по ссылкам); кроме этого опробовали коммерческие RAG-системы, Gemini-Search взяла 27.94%, а лучшей оказалась система от самих же Tongyi с результатом в 40.7%.

Лидерборд на HF недоступен, но вот тут по картинке можно увидеть, что o3 до этого была топ-1 с результатом в 71.7% (видимо, с тем же фреймворком из двух агентов, что описан выше). Замеров для более свежих моделей не нашёл :(

Надо отметить, что правильность результата определяется LLM, которой на вход подаётся ответ системы и исходный ответ, подготовленный вышеописанной связкой GPT-4o + человек. Все промпты есть в статье, можете глянуть. Сам датасет тут.

И вот такой ещё пример из датасета: нужно посчитать, сколько часов суммарно потратит человек, который посещает мероприятие с 1-го по 6-ое декабря.

Есть отдельная страница, на которой указаны часы, и от LLM требуется самостоятельно посчитать, сколько суммарно пройдёт от и до. Авторы заносят такие ошибки в reasoning error, когда до страницы с ответом WebWalker вроде и дошёл, но не смог сформулировать.

Их не так много — на релизе старенький Qwen-Plus совершал меньше 10% подобных ошибок.

И примерно 35% вопросов не были отвечены потому, что упирались в ограничение на 15 переходов по ссылкам.

Вкупе с тем, что исходный датасет собирался с ограничением на 4 перехода по ссылкам, выходит, что LLM просто не знали, куда кликать и где искать информацию; но опять же с того момента модели прокачались, и это может быть уже неактуально.

В общем, метод сбора данных кажется немного устаревшим и простым; модели шагнули далеко вперёд, и потому можно делать нечто похожее, но гораздо более проработанное. DeepResearch как продукт у OpenAI появился на месяц позже, чем этот бенчмарк; кажется, что для его оценки нужны задачки посложнее..

Увидим, что придумали авторы в следующих сериях!

Абсолютный чемпион мира в супертяжелом весе по привлечению инвестиций и масштабированию Sam Altman заявил о своём следующем шаге: OpenAI заключили стратегическое партнёрство с Nvidia, и последние инвестируют до $100B в ближайшие годы.

Стратегическое партнерство позволяет OpenAI построить центры обработки данных суммарной мощностью не менее 10 ГигаВатт (больше среднего потребления Лондона) для ИИ следующего поколения. Также OpenAI будут работать вместе с Nvidia над дизайном новых чипов (о подобном соглашении с AMD уже было известно ранее).

Первая фаза партнёрства будет закончена во второй половине 2026 года, с запуском датацентров на основе платформы Nvidia Vera Rubin (это поколение, следующее за Blackwell).

«Всё начинается с вычислительных мощностей», — сказал Sama. «Вычислительная инфраструктура станет основой экономики будущего, и мы будем использовать то, что создаём вместе с NVIDIA, как для свершения новых прорывов в области ИИ, так и для предоставления этих возможностей людям и компаниям в больших масштабах».