Причина, по которой всем так важно продолжать делать вид, будто ИИ общего назначения (AGI) вот-вот появится, заключается в том, что на этой вере уже завязано более триллиона долларов инвестиций (либо уже потраченных, либо запланированных).
Текущие (и недавние) капитальные затраты невозможно оправдать существующими технологиями и сценариями их применения (на данный момент компании тратят 10–15 долларов, чтобы заработать 1 доллар). Чтобы когда-либо выйти в прибыль, нужны принципиально более совершенные технологии и приложения, причём нужны они быстро — до того, как нынешние дата-центры устареют, то есть в течение 3–5 лет.
— François Chollet, автор Keras и бенчмарка ARC-AGI.
1) В первом абзаце написан странный тезис. Если деньги выделялись на A, чтобы достичь B — понятно, что те, кому дали деньги, будут продолжать говорить про A и B. Другое дело достижимость этого B — реально ли получится? Знают ли люди, которые говорят, что это заведомо невозможно? Если да — получается, они врут, но если нет, то в чём проблема? Получается, подобное высказывание имеет мало смысла, если не давать аргументы, почему ты считаешь, что что-то недостижимо и/или почему люди про это врут.
2) Сам же François летом говорил про то, что его таймлайн для AGI подвинулся с 10 до 5 лет (это потому что рассуждающие модели от OpenAI зарешали его бенчмарк, который, как ему казалось, замеряет НАСТОЯЩИЙ ИНТЕЛЛЕКТ). То есть он... как будто бы не считает, что это недостижимо и находится где-то в невероятном будущем?
3) (более того, если совсем занудствовать, то верить нужно не в AGI, а в то, что OpenAI сможет разработать продукты, которые будут приносить выручку согласно их плану, $200 миллиардов в год в 2030м. AGI не AGI — не важно)
4) «затраты невозможно оправдать существующими технологиями и сценариями их применения» — это правда. Но ведь и деньги привлекаются ровно на то, чтобы продвинуть технологии, сделать их более доступными и потенциально открыть новые сценарии применения. Затраты делаются под будущие технологии.
5) «компании тратят 10–15 долларов, чтобы заработать 1 доллар» — это неправда. На данный момент экономика примерно 2-3 доллара на 1 доллар выручки для OpenAI; но важно понимать, что такая картина исключительно из-за огромных затрат на исследования для этих самых БУДУЩИХ технологий. Если их убрать — OpenAI будет в плюсе, по крайней мере на 2024-й год; там они потратили 2 миллиарда на инференс, включая сотни миллионов бесплатных пользователей, а выручка была больше 4 миллиардов.
6) «нужны принципиально более совершенные технологии и приложения, причём нужны они быстро — до того, как нынешние дата-центры устареют, то есть в течение 3–5 лет» — нет, нынешние датацентры стоят ничего по сравнению с тем, что построят в ближайшие 5 лет. Инвестиции были выделены не на содержание того, что уже стоит. Условно первые сто миллиардов из недавно анонсированных сделок будут потрачены, скажем, в 2026-м году, и вот с того момента действительно можно считать 3-5 лет. Но даже если от 2025-го — блин, сам же François считает, что до AGI осталось 5 лет! То есть время привлечения капитала и постройки датацентров идеальнее некуда.
Короче, я не понял, что он имеет в виду и что хотел сказать. С частью тезисов — например, что триллион не заработать на GPT-5, и нужны модели лучше — я согласен, другие не имеют смысла в контексте того, что автор сам верит в достижимость AGI.
Please open Telegram to view this post
VIEW IN TELEGRAM
20
Наконец-то запустился фаб TSMC в Аризоне, способный печатать 3 нм чипы — в пятницу в США был произведён первый чип Blackwell (последнее поколение, не какое-то старьё) для видеокарт Nvidia за пределами Тайваня.
Для тех кто не следит за ситуацией — почти все чипы вокруг нас делаются одной компанией и в одной стране, на которую, к тому же, претендует Китай. Перенос части производства в другую страну — это очень большой проект, одна из основных сложностей которого заключается в передаче экспертизы, подготовке и найме кадров.
Для печати использую EUV-литографы от нидерландской ASML, которые устроены очень сложно (в них даже есть свой мини адронный коллайдер) — чуть больше писал тут.
Суммарно инвестиции в гигафабрику, состоящую из 6 фабов (отдельных фабрик), 2 современных упаковочных линии (высокоточная упаковка чипов друг на друге, а не просто обёртка😂 ) и центра исследований и разработок, составляют $165 миллиардов.
Тут же в соседнем здании уже пару лет печатают чипы для процессоров Apple A16 в вашем айфоне, они попроще в производстве.
UPD: в чате поправили, что был произведен не полноценный чип, а wafer, «вафля» или заготовка, на которой EUV-литограф будет выжигать сам чип. Насколько удалось нагуглить, делаться это будет тоже здесь, в Аризоне, а вот для упаковки в финальную компоненту GPU чипы отправят в Тайвань. По плану, полностью завершить цикл в США удастся в 2028-м году.
Для тех кто не следит за ситуацией — почти все чипы вокруг нас делаются одной компанией и в одной стране, на которую, к тому же, претендует Китай. Перенос части производства в другую страну — это очень большой проект, одна из основных сложностей которого заключается в передаче экспертизы, подготовке и найме кадров.
Для печати использую EUV-литографы от нидерландской ASML, которые устроены очень сложно (в них даже есть свой мини адронный коллайдер) — чуть больше писал тут.
Суммарно инвестиции в гигафабрику, состоящую из 6 фабов (отдельных фабрик), 2 современных упаковочных линии (высокоточная упаковка чипов друг на друге, а не просто обёртка
Тут же в соседнем здании уже пару лет печатают чипы для процессоров Apple A16 в вашем айфоне, они попроще в производстве.
UPD: в чате поправили, что был произведен не полноценный чип, а wafer, «вафля» или заготовка, на которой EUV-литограф будет выжигать сам чип. Насколько удалось нагуглить, делаться это будет тоже здесь, в Аризоне, а вот для упаковки в финальную компоненту GPU чипы отправят в Тайвань. По плану, полностью завершить цикл в США удастся в 2028-м году.
Media is too big
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6🔥162👍32🤯24🤣8
Возвращаем LLMки в школу: будем решать Кенгурёнка!
Большинство математических бенчмарков сосредоточены на текстовых задачах. Однако в реальной жизни математика часто связана с визуальными элементами, такими как геометрические фигуры, диаграммы и графики.
Авторы MathArena взяли варианты Кенгурёнка, олимпиады по математике для детей школьного возраста, от марта 2025-го года. Вероятность, что модели тренировались на этих данных, ненулевая, но очень маленькая. Взяли варианты из албанской версии — частично потому, что там выше качество иллюстраций, загруженных на сайт.
Всего вышло 168 задач, разбитых на 6 групп по классам: 1-2, 3-4 и так до 11-12; на них замерили GPT-5, Gemini 2.5 Pro, Grok 4 и пару открытых моделей.
Казалось бы, что чем выше возрастная группа детей, для которых предназначены задачи, тем ниже должна быть оценка моделей. А вот нифига — получилось ровно наоборот. Задачи начальной школы решают на 61-69%, а 11-12 класса — на 95%.
Почему так? В 80% задач для младших классов требуется интерпретация изображений, в то время как для старших классов это значение составляет всего 40% (то есть больше текстовых задач). Аналогично, варианты ответов представлены в виде изображений в 37% случаев для младших классов, но только в 4 из 90 задач для старших.
Но даже если брать срез только по задачам с картинками, то наблюдается та же закономерность. Авторы объясняют это так: задачи для младших классов чаще опираются на базовые визуальные навыки, такие как пространственное мышление, распознавание форм и простую 2D/3D визуализацию.
Именно в этих областях современные визуально-языковые модели (VLM) проявляют наибольшие слабости. Напротив, задачи для старших классов акцентируются на более абстрактных математических рассуждениях, с которыми модели справляются лучше.
Чтобы убедиться в этом, вручную выбрали четыре задачи, в которых модели терпели неудачу из-за сложности восприятия условия задачи, выраженного картинкой, хотя сами условия можно было полностью представить в виде текста.
Средняя точность на этих четырёх задачах возросла с 25% до 100%. Это подтверждает, что компонент рассуждений сам по себе полностью позволяет решать задачу; проблема именно в восприятии условий, модели не могут разглядеть, что там и как.
Так что всё, готовьтесь: придёт суперинтеллект, и нам только и останется что выполнять задачи для детей, посчитать кружочки или там определить цвет солнышка. Правы были те, кто смеялся над тем, что LLM не могут подсчитать количество букв. Ну вот и будем этим заниматься, пока последние придумывают лекарство от рака👍
Блог
Большинство математических бенчмарков сосредоточены на текстовых задачах. Однако в реальной жизни математика часто связана с визуальными элементами, такими как геометрические фигуры, диаграммы и графики.
Авторы MathArena взяли варианты Кенгурёнка, олимпиады по математике для детей школьного возраста, от марта 2025-го года. Вероятность, что модели тренировались на этих данных, ненулевая, но очень маленькая. Взяли варианты из албанской версии — частично потому, что там выше качество иллюстраций, загруженных на сайт.
Всего вышло 168 задач, разбитых на 6 групп по классам: 1-2, 3-4 и так до 11-12; на них замерили GPT-5, Gemini 2.5 Pro, Grok 4 и пару открытых моделей.
Казалось бы, что чем выше возрастная группа детей, для которых предназначены задачи, тем ниже должна быть оценка моделей. А вот нифига — получилось ровно наоборот. Задачи начальной школы решают на 61-69%, а 11-12 класса — на 95%.
Почему так? В 80% задач для младших классов требуется интерпретация изображений, в то время как для старших классов это значение составляет всего 40% (то есть больше текстовых задач). Аналогично, варианты ответов представлены в виде изображений в 37% случаев для младших классов, но только в 4 из 90 задач для старших.
Но даже если брать срез только по задачам с картинками, то наблюдается та же закономерность. Авторы объясняют это так: задачи для младших классов чаще опираются на базовые визуальные навыки, такие как пространственное мышление, распознавание форм и простую 2D/3D визуализацию.
Именно в этих областях современные визуально-языковые модели (VLM) проявляют наибольшие слабости. Напротив, задачи для старших классов акцентируются на более абстрактных математических рассуждениях, с которыми модели справляются лучше.
Чтобы убедиться в этом, вручную выбрали четыре задачи, в которых модели терпели неудачу из-за сложности восприятия условия задачи, выраженного картинкой, хотя сами условия можно было полностью представить в виде текста.
Средняя точность на этих четырёх задачах возросла с 25% до 100%. Это подтверждает, что компонент рассуждений сам по себе полностью позволяет решать задачу; проблема именно в восприятии условий, модели не могут разглядеть, что там и как.
Так что всё, готовьтесь: придёт суперинтеллект, и нам только и останется что выполнять задачи для детей, посчитать кружочки или там определить цвет солнышка. Правы были те, кто смеялся над тем, что LLM не могут подсчитать количество букв. Ну вот и будем этим заниматься, пока последние придумывают лекарство от рака
Блог
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥124
По исходу 3 недель с релиза Sora продолжает удерживать топ-1 в AppStore в категории бесплатных приложений, всё ещё опережая ChatGPT. К сожалению, другой статистики по использованию мне найти не удалось — помню только, что на первой неделе кто-то в интервью сказал, что было больше 2 миллионов пользователей, но это так, мало о чём говорит.
Если посмотреть видео из вкладки Top, которые, видимо, выбираются за последние сутки, то они набирают «всего» по 1800 лайков, причём уже после 30-40 видео лайки падают до сотни.
С другой стороны, Sama говорил почти сразу, что паттерн поведения пользователей отличается от ожидаемого: люди генерируют куда больше для узкой аудитории, для своих знакомых, и поэтому распределение просмотров ( ~= лайков) не скошено к топу, как это часто бывает. Кроме того, доля пользователей, которые что-то создают, гораздо выше других соц. сетей, где доля «view only» преобладает.
Люди что-то генерируют, затем скачивают без публикации и кидают в чаты/ленту в других соц. сетях. В твиттере регулярно вижу видео Sora 2 от разных нетехнических аккаунтов с очень приличными (>1M) просмотрами.
В приложении добавились камео нескольких публичных лиц, а вот генерации с MLK запретили. Так, например, Logan Paul говорил, что по подсчётам его агента видео от Sora с ним суммарно набрали больше 1 миллиарда просмотров (насколько я понимаю, почти все из них — за пределами приложения).
В целом не знаю, насколько хорошо или плохо, что аудитория вне приложения большая, и контент хавает: с одной стороны это говорит о том, что им интересно, и люди могут плавно перетекать в приложение, с другой — какой резон, если всё равно видео растаскивают по социальным сетям, в которых вы уже сидите? Тут, пожалуй, должна помочь фишка камео, которая позволит создавать видео с приятелями и знакомыми.
Продолжаем наблюдение✍️
Если посмотреть видео из вкладки Top, которые, видимо, выбираются за последние сутки, то они набирают «всего» по 1800 лайков, причём уже после 30-40 видео лайки падают до сотни.
С другой стороны, Sama говорил почти сразу, что паттерн поведения пользователей отличается от ожидаемого: люди генерируют куда больше для узкой аудитории, для своих знакомых, и поэтому распределение просмотров ( ~= лайков) не скошено к топу, как это часто бывает. Кроме того, доля пользователей, которые что-то создают, гораздо выше других соц. сетей, где доля «view only» преобладает.
Люди что-то генерируют, затем скачивают без публикации и кидают в чаты/ленту в других соц. сетях. В твиттере регулярно вижу видео Sora 2 от разных нетехнических аккаунтов с очень приличными (>1M) просмотрами.
В приложении добавились камео нескольких публичных лиц, а вот генерации с MLK запретили. Так, например, Logan Paul говорил, что по подсчётам его агента видео от Sora с ним суммарно набрали больше 1 миллиарда просмотров (насколько я понимаю, почти все из них — за пределами приложения).
В целом не знаю, насколько хорошо или плохо, что аудитория вне приложения большая, и контент хавает: с одной стороны это говорит о том, что им интересно, и люди могут плавно перетекать в приложение, с другой — какой резон, если всё равно видео растаскивают по социальным сетям, в которых вы уже сидите? Тут, пожалуй, должна помочь фишка камео, которая позволит создавать видео с приятелями и знакомыми.
Продолжаем наблюдение
Please open Telegram to view this post
VIEW IN TELEGRAM
👍77
This media is not supported in your browser
VIEW IN TELEGRAM
Видимо, сегодня OpenAI представят свой браузер — ролик с намёком появился в твиттер-аккаунте компании.
Про браузер слухи ходили давно, но удивительно, что в последние месяца 2 никаких новостей не было — обычно за недельку появляются утечки.
Стрим через 2 часа. Perplexity Comet напрягся, я готовлюсь удалять Arc😀
Про браузер слухи ходили давно, но удивительно, что в последние месяца 2 никаких новостей не было — обычно за недельку появляются утечки.
Стрим через 2 часа. Perplexity Comet напрягся, я готовлюсь удалять Arc
Please open Telegram to view this post
VIEW IN TELEGRAM
1🤯117
Сиолошная
Видимо, сегодня OpenAI представят свой браузер — ролик с намёком появился в твиттер-аккаунте компании. Про браузер слухи ходили давно, но удивительно, что в последние месяца 2 никаких новостей не было — обычно за недельку появляются утечки. Стрим через 2…
?
Anonymous Poll
33%
Горизонтальный список вкладок
18%
Вертикальный список вкладок
23%
А хочу и так и так чтоб было!
26%
Что такое вкладка?
🤣20🤡9🌚9❤🔥1
Пока ждём стрима — вот ещё интересная новость от Bloomberg:
— OpenAI привлекли более 100 бывших инвестиционных банкиров для обучения своих LLM созданию финансовых моделей, планируя заменить многочасовую рутинную работу, выполняемую младшими сотрудниками банковского сектора. Группа, в которую вошли бывшие сотрудники JPMorgan Chase & Co., Morgan Stanley и Goldman Sachs Group Inc., задействована в секретном проекте стартапа под кодовым названием Mercury, говорится в документах, с которыми ознакомился Bloomberg.
— Участники получают оплату в размере 150 долларов в час за написание промтов (запросов) и создание финансовых моделей для различных видов сделок, включая реструктуризацию и первичное размещение акций (IPO), сообщил источник, знакомый с деталями проекта. Кроме того, компания предоставляет подрядчикам ранний доступ к разрабатываемому искусственному интеллекту, который должен заменить начальные задачи в инвестиционных банках.
— Процесс отбора в проект Mercury почти полностью автоматизирован и практически не предполагает участия человека, сообщил источник на условиях анонимности. Первый этап отбора — это примерно 20-минутное интервью с чат-ботом, который задаёт вопросы по резюме кандидата. Второй этап проверяет знание финансовой отчётности, а заключительный этап — тестирование навыков построения финансовых моделей.
— Работа гибкая, подрядчики должны предоставлять одну модель в неделю. Инструкции включают написание промтов простыми словами и последующее создание самой модели. Участники разрабатывают эти модели в Excel, при этом от них требуется следовать отраслевым стандартам оформления, включая размеры полей и использование курсива для процентных показателей. Участники получают обратную связь от проверяющего и должны исправить ошибки, прежде чем результаты их работы будут загружены в систему OpenAI.
Вот и следующие 10 миллиардов выручки нарисовались...
— OpenAI привлекли более 100 бывших инвестиционных банкиров для обучения своих LLM созданию финансовых моделей, планируя заменить многочасовую рутинную работу, выполняемую младшими сотрудниками банковского сектора. Группа, в которую вошли бывшие сотрудники JPMorgan Chase & Co., Morgan Stanley и Goldman Sachs Group Inc., задействована в секретном проекте стартапа под кодовым названием Mercury, говорится в документах, с которыми ознакомился Bloomberg.
— Участники получают оплату в размере 150 долларов в час за написание промтов (запросов) и создание финансовых моделей для различных видов сделок, включая реструктуризацию и первичное размещение акций (IPO), сообщил источник, знакомый с деталями проекта. Кроме того, компания предоставляет подрядчикам ранний доступ к разрабатываемому искусственному интеллекту, который должен заменить начальные задачи в инвестиционных банках.
— Процесс отбора в проект Mercury почти полностью автоматизирован и практически не предполагает участия человека, сообщил источник на условиях анонимности. Первый этап отбора — это примерно 20-минутное интервью с чат-ботом, который задаёт вопросы по резюме кандидата. Второй этап проверяет знание финансовой отчётности, а заключительный этап — тестирование навыков построения финансовых моделей.
— Работа гибкая, подрядчики должны предоставлять одну модель в неделю. Инструкции включают написание промтов простыми словами и последующее создание самой модели. Участники разрабатывают эти модели в Excel, при этом от них требуется следовать отраслевым стандартам оформления, включая размеры полей и использование курсива для процентных показателей. Участники получают обратную связь от проверяющего и должны исправить ошибки, прежде чем результаты их работы будут загружены в систему OpenAI.
Вот и следующие 10 миллиардов выручки нарисовались...
1👍125🌚40
TLDR презентации:
— скачать браузер и посмотреть на фичи тут: https://chatgpt.com/atlas
— доступно только на MacOS, в будущем добавят Windows и мобильные устройства
— Браузер называется не OpenAI Atlas, а ChatGPT Atlas. Компания явно делает ставку на увеличение узнаваемости бренда Чата.
— браузер доступен всем странам и всем пользователям бесплатно
— Ключевых нововведения, по отношению к обычному браузеру, 3. Первое — чат с вами на любой странице. Есть кнопочка сверху справа, можно нажать — и ChatGPT видит содержимое.
— Второе — память. Это так по умному назвали поиск по истории, если вдруг вы забыли, на каком домене что-то искали, но помните примерное описание контента.
— Третье — Агент. По виду это в точности ChatGPT Agent, который мы видели, но теперь все действия выполняются на вашем экране, а не на удалённой виртуальной машине. Можно выбрать, предоставлять ли доступ к своим учётным записям или нет. Агент доступен только Pro и Plus пользователям
— (ну и главная страница у вас всегда ChatGPT)
— Для агента показанный сценарий такой: вы нашли страницу с рецептом блюда через чат, попросили пересчитать ингридиенты на 8 персон и отправили агента оформлять онлайн-заказ. В этот момент можно переключиться на другую вкладку, пока идёт работа в фоне. Агент вызовет вас, если потребуется подтверждение, например, оплаты заказа.
— если вы нажимаете на ссылку в чате с ChatGPT, то чат красиво съедет вправо, и сессия сохранится. Можно задавать вопросы по странице или перескачить на другую.
— В любом текстовом поле можно выделить текст и появится маленькая точечка. При нажатии откроется маленькое окно, в котором можно дать команду вроде «перепиши но нормально» или «переведи» (команду вводите вы сами, хотя мб в будущем логично добавить 2-3 кнопки сценариев по умолчанию)
В остальном браузер максимально обычный и не предлагает ничего нового пользователям — это сделано намеренно, чтобы людям не пришлось переучиваться. UI/UX выглядит очень приятным по презентации.
Я попробую посидеть на нём несколько дней вместо Arc; вкладки только горизонтальные (от чего я отвык), так ещё и нельзя экспортировать из Arc, только из Chrome и Safari :(
— скачать браузер и посмотреть на фичи тут: https://chatgpt.com/atlas
— доступно только на MacOS, в будущем добавят Windows и мобильные устройства
— Браузер называется не OpenAI Atlas, а ChatGPT Atlas. Компания явно делает ставку на увеличение узнаваемости бренда Чата.
— браузер доступен всем странам и всем пользователям бесплатно
— Ключевых нововведения, по отношению к обычному браузеру, 3. Первое — чат с вами на любой странице. Есть кнопочка сверху справа, можно нажать — и ChatGPT видит содержимое.
— Второе — память. Это так по умному назвали поиск по истории, если вдруг вы забыли, на каком домене что-то искали, но помните примерное описание контента.
— Третье — Агент. По виду это в точности ChatGPT Agent, который мы видели, но теперь все действия выполняются на вашем экране, а не на удалённой виртуальной машине. Можно выбрать, предоставлять ли доступ к своим учётным записям или нет. Агент доступен только Pro и Plus пользователям
— (ну и главная страница у вас всегда ChatGPT)
— Для агента показанный сценарий такой: вы нашли страницу с рецептом блюда через чат, попросили пересчитать ингридиенты на 8 персон и отправили агента оформлять онлайн-заказ. В этот момент можно переключиться на другую вкладку, пока идёт работа в фоне. Агент вызовет вас, если потребуется подтверждение, например, оплаты заказа.
— если вы нажимаете на ссылку в чате с ChatGPT, то чат красиво съедет вправо, и сессия сохранится. Можно задавать вопросы по странице или перескачить на другую.
— В любом текстовом поле можно выделить текст и появится маленькая точечка. При нажатии откроется маленькое окно, в котором можно дать команду вроде «перепиши но нормально» или «переведи» (команду вводите вы сами, хотя мб в будущем логично добавить 2-3 кнопки сценариев по умолчанию)
В остальном браузер максимально обычный и не предлагает ничего нового пользователям — это сделано намеренно, чтобы людям не пришлось переучиваться. UI/UX выглядит очень приятным по презентации.
Я попробую посидеть на нём несколько дней вместо Arc; вкладки только горизонтальные (от чего я отвык), так ещё и нельзя экспортировать из Arc, только из Chrome и Safari :(
1🤡533👍64
Forwarded from gonzo-обзоры ML статей
Прочитал какое-то время назад книгу Юдковского и Соареса "If Anyone Builds It, Everyone Dies: The Case Against Superintelligent AI" (https://www.tg-me.com/gonzo_ML/4030), вот добрался написать.
Нормальная книга в целом.
Состоит из трёх частей:
1. Nonhuman minds
2. One extinction scenario
3. Facing the challenge
Первая часть про то, что современный AI уже трудно понять (по факту невозможно, наши достижения в интерпретируемости пока даже не детские), что он скорее выращивается, чем программируется, что у него могут быть свои преференции и целе-подобные поведения (даже если он сделан чтобы играть в условные шахматы, у него уже есть цель -- победить), что цели эти даже если заданы на довольно низком техническом уровне всё равно могут достигаться очень странными нечеловеческими способами, и что более способные системы будущего в этом ещё более преуспеют -- нельзя ожидать, что у них будет человеческая психология и мы их будем прекрасно понимать. Не будем.
Часть про возникновение целей для меня наименее понятная, но с другой стороны даже LLM (про которые нет речи, что это и есть тот самый суперинтеллект) уже демонстрируют какие-то подобные поведения, которые напрямую в них заложены не были. Наши собственные желания и предпочтения порой очень далеки от каких-то базовых биологических механизмов, из которых они выросли -- гэп между эволюционным предпочтением к сладкой и жирной пище и полками с мороженым или coke zero в супермаркете довольно велик (и это уже своего рода reward hacking). Предпочтения, возникшие в результате полового отбора, могут быть ещё более странными. В выращивании интеллектуальных систем (градиентный спуск в этом месте не сильно отличается от эволюции, да и та тоже может использоваться) могут получиться не менее странные результаты.
Когда появится суперинтеллект (а цель всего направления ИИ ведь именно такая, опрос здесь в канале также показывает, что большинство ответивших не видят никакого физического запрета на появление интеллекта в машине и более половины считают, что в будущем суперинтеллект появится https://www.tg-me.com/gonzo_ML/4088), когда и если он обретёт достаточно влияния (непонятно, почему он не сможет этого сделать?), то с какой стати он как-то особенно будет заботиться о людях? Вся история биосферы, вся история людей практически говорит об обратном -- когда-то давно микроорганизмы отравили атмосферу кислородом, "продвинутые" цивилизации выкосили кучу других цивилизаций, которые они считали "менее продвинутыми", и прямо сейчас продолжают воевать и засирать планету.
ИИ не обязательно должен быть зловредным аки терминатор, но преференции и цели у искусственного интеллекта будут свои и странные, инопланетные, как-то повлиять на них и тем более заложить свои мы не знаем как, нет ни одного нормального рецепта. Все технооптимисты, говорящие, что сверхинтеллект будет делать то, что мы в него заложим, не могут подкрепить свои слова никаким рецептом за пределами wishful thinking. Надежды на то, что ASI будет высокоморальным, добрым и хорошим (что бы это ни значило) и заботиться о всём живом -- это хорошие надежды, я сам хотел бы жить в таком мире (дьявол в деталях), но опять же, подкрепить это нечем кроме как wishful thinking.
Такой вот статус кво.
Вторая часть книги -- микро фантастический рассказ про один из вариантов, как могло бы случиться (но скорее всего случится иначе). Похоже, кстати, на книгу Avogadro Corp от William Hertling. Норм рассказ.
Третья часть книги про челлендж как таковой. Сверхинтеллект это задача, в которой нет места для ошибки -- если сделаем не так, второго шанса может и не быть. Даже если у нас есть рецепт такого ИИ, что будет благожелателен и строго с нашими ценностями (что отдельный вопрос, что это за ценности такие, которые мы сами так себе соблюдаем), то даже его надо имплементировать без ошибок, а мы так не умеем, вся область cybersecurity подтверждает. Эта часть начинается со сравнения с другими проблемами, где на ошибку места не было -- запуск космических проб, ядерная энергетика, компьютерная безопасность -- накосячили везде и неоднократно.
Нормальная книга в целом.
Состоит из трёх частей:
1. Nonhuman minds
2. One extinction scenario
3. Facing the challenge
Первая часть про то, что современный AI уже трудно понять (по факту невозможно, наши достижения в интерпретируемости пока даже не детские), что он скорее выращивается, чем программируется, что у него могут быть свои преференции и целе-подобные поведения (даже если он сделан чтобы играть в условные шахматы, у него уже есть цель -- победить), что цели эти даже если заданы на довольно низком техническом уровне всё равно могут достигаться очень странными нечеловеческими способами, и что более способные системы будущего в этом ещё более преуспеют -- нельзя ожидать, что у них будет человеческая психология и мы их будем прекрасно понимать. Не будем.
Часть про возникновение целей для меня наименее понятная, но с другой стороны даже LLM (про которые нет речи, что это и есть тот самый суперинтеллект) уже демонстрируют какие-то подобные поведения, которые напрямую в них заложены не были. Наши собственные желания и предпочтения порой очень далеки от каких-то базовых биологических механизмов, из которых они выросли -- гэп между эволюционным предпочтением к сладкой и жирной пище и полками с мороженым или coke zero в супермаркете довольно велик (и это уже своего рода reward hacking). Предпочтения, возникшие в результате полового отбора, могут быть ещё более странными. В выращивании интеллектуальных систем (градиентный спуск в этом месте не сильно отличается от эволюции, да и та тоже может использоваться) могут получиться не менее странные результаты.
Когда появится суперинтеллект (а цель всего направления ИИ ведь именно такая, опрос здесь в канале также показывает, что большинство ответивших не видят никакого физического запрета на появление интеллекта в машине и более половины считают, что в будущем суперинтеллект появится https://www.tg-me.com/gonzo_ML/4088), когда и если он обретёт достаточно влияния (непонятно, почему он не сможет этого сделать?), то с какой стати он как-то особенно будет заботиться о людях? Вся история биосферы, вся история людей практически говорит об обратном -- когда-то давно микроорганизмы отравили атмосферу кислородом, "продвинутые" цивилизации выкосили кучу других цивилизаций, которые они считали "менее продвинутыми", и прямо сейчас продолжают воевать и засирать планету.
ИИ не обязательно должен быть зловредным аки терминатор, но преференции и цели у искусственного интеллекта будут свои и странные, инопланетные, как-то повлиять на них и тем более заложить свои мы не знаем как, нет ни одного нормального рецепта. Все технооптимисты, говорящие, что сверхинтеллект будет делать то, что мы в него заложим, не могут подкрепить свои слова никаким рецептом за пределами wishful thinking. Надежды на то, что ASI будет высокоморальным, добрым и хорошим (что бы это ни значило) и заботиться о всём живом -- это хорошие надежды, я сам хотел бы жить в таком мире (дьявол в деталях), но опять же, подкрепить это нечем кроме как wishful thinking.
Такой вот статус кво.
Вторая часть книги -- микро фантастический рассказ про один из вариантов, как могло бы случиться (но скорее всего случится иначе). Похоже, кстати, на книгу Avogadro Corp от William Hertling. Норм рассказ.
Третья часть книги про челлендж как таковой. Сверхинтеллект это задача, в которой нет места для ошибки -- если сделаем не так, второго шанса может и не быть. Даже если у нас есть рецепт такого ИИ, что будет благожелателен и строго с нашими ценностями (что отдельный вопрос, что это за ценности такие, которые мы сами так себе соблюдаем), то даже его надо имплементировать без ошибок, а мы так не умеем, вся область cybersecurity подтверждает. Эта часть начинается со сравнения с другими проблемами, где на ошибку места не было -- запуск космических проб, ядерная энергетика, компьютерная безопасность -- накосячили везде и неоднократно.
10❤🔥70👍52🤔12🤡7🔥6🌚4
Forwarded from gonzo-обзоры ML статей
Нормального решения на столе до сих пор нет, от всех ИИ компаний лучится нескончаемый венчурный оптимизм, подкреплённый ничем. Авторы книги соответственно за остановку опасных исследований как первый шаг и за вложение сил в решение проблемы ASI alignment. Ну и предлагают какие-то ещё свои шаги.
Решать надо. Главный непонятный вопрос -- сколько у нас есть времени. "Задача трёх тел" здесь также вспоминается, но там хоть время было понятно.
В этом месте есть несколько типичных возражений, которые я уже многократно слышал, не грех сразу и упомянуть:
1. Юдковский чувак без образования, думер, психически и социально неадаптированный и т.п. -- эта аргументация настолько детский сад, что не вижу смысла чего-то тут комментировать, любой ad hominem обычно говорит больше про его сказавшего, чем про адресата. Суть аргумента не адресует никак.
2. Такого ИИ никогда не будет, или будет когда-то нескоро, мы успеем подготовиться -- как писал выше, цель всей области именно такая, непонятно что мешает подумать, что будет, когда мы эту цель достигнем. Нормальная проверка на экологичность при любом целеполагании. Книга Рассела (https://www.tg-me.com/gonzo_ML/1516) начинается ровно с этого же вопроса, If we succeed -- совершенно нормальный вопрос, чтобы дать себе на него честный ответ. К некоторым вещам может быть поздно готовиться в момент, когда они случатся. К прилёту астероида, например, тоже. Или к пандемиям -- последний раз глобально пронесло, но миллионы всё равно погибли. Рецепта, как мы видим, пока ни у кого нет, только бравые заявления.
3. LLM не приведут к сверхинтеллекту, они тупые и делают тупые ошибки -- а с этим вообще никто и не спорит и не говорит, что это будут именно ллм. Я тоже изначально был к ним довольно скептичен, и тоже считаю, что нужно что-то иное, но это не мешает мне признать, что прогресс в ллм за последние пять лет просто неимоверен. Я лично не мог ожидать, что они будут настолько хороши в том, в чем они уже хороши. А дурацкие ошибки быстро уходят. Про шесть пальцев на руках уже почти никто и не вспоминает, смешная генерация старых моделей тоже осталась в прошлом, как и большинство детских проблем с числами -- теперь вот задачи золотого уровня на олимпиадах решают. Но книга всё равно вообще не про ллм.
Не хотите читать "думера без образования", прочитайте Рассела тогда хотя бы. Вопросы везде поставлены адекватные. Дело за ответами.
Решать надо. Главный непонятный вопрос -- сколько у нас есть времени. "Задача трёх тел" здесь также вспоминается, но там хоть время было понятно.
В этом месте есть несколько типичных возражений, которые я уже многократно слышал, не грех сразу и упомянуть:
1. Юдковский чувак без образования, думер, психически и социально неадаптированный и т.п. -- эта аргументация настолько детский сад, что не вижу смысла чего-то тут комментировать, любой ad hominem обычно говорит больше про его сказавшего, чем про адресата. Суть аргумента не адресует никак.
2. Такого ИИ никогда не будет, или будет когда-то нескоро, мы успеем подготовиться -- как писал выше, цель всей области именно такая, непонятно что мешает подумать, что будет, когда мы эту цель достигнем. Нормальная проверка на экологичность при любом целеполагании. Книга Рассела (https://www.tg-me.com/gonzo_ML/1516) начинается ровно с этого же вопроса, If we succeed -- совершенно нормальный вопрос, чтобы дать себе на него честный ответ. К некоторым вещам может быть поздно готовиться в момент, когда они случатся. К прилёту астероида, например, тоже. Или к пандемиям -- последний раз глобально пронесло, но миллионы всё равно погибли. Рецепта, как мы видим, пока ни у кого нет, только бравые заявления.
3. LLM не приведут к сверхинтеллекту, они тупые и делают тупые ошибки -- а с этим вообще никто и не спорит и не говорит, что это будут именно ллм. Я тоже изначально был к ним довольно скептичен, и тоже считаю, что нужно что-то иное, но это не мешает мне признать, что прогресс в ллм за последние пять лет просто неимоверен. Я лично не мог ожидать, что они будут настолько хороши в том, в чем они уже хороши. А дурацкие ошибки быстро уходят. Про шесть пальцев на руках уже почти никто и не вспоминает, смешная генерация старых моделей тоже осталась в прошлом, как и большинство детских проблем с числами -- теперь вот задачи золотого уровня на олимпиадах решают. Но книга всё равно вообще не про ллм.
Не хотите читать "думера без образования", прочитайте Рассела тогда хотя бы. Вопросы везде поставлены адекватные. Дело за ответами.
Telegram
gonzo-обзоры ML статей
“Human Compatible”, Stuart Russell
https://people.eecs.berkeley.edu/~russell/hc.html
Снова про книги.
Добрался до “Human Compatible” Стюарта Расселла, профессора из Беркли, известного в том числе соавторством вместе с Питером Норвигом общеизвестной книги…
https://people.eecs.berkeley.edu/~russell/hc.html
Снова про книги.
Добрался до “Human Compatible” Стюарта Расселла, профессора из Беркли, известного в том числе соавторством вместе с Питером Норвигом общеизвестной книги…
10👍109❤🔥22🤯11🤔7🌚6🤡5
Я слышал, что многим не нравится, как в GPT-5 добавили вопросы-зацепки в конец почти каждого ответа: «Хочешь, я распишу X?» или «Хочешь, я коротко объясню Y?»
Но мне они по душе, иногда они угадывают мой следующий вопрос, иногда предлагают что-то, о чём я не думал, и совсем редко из-за них ответ модели не содержит прямого ответа на мой вопрос, и приходится говорить «ДА, БЛИН, Я ЖЕ ЭТО И ХОТЕЛ УЗНАТЬ, ТЫ ЧЁ»
Пишу об этом в контексте чата в Atlas — в трансляции один из ведущих разработчиков рассказывал, что он начал задавать больше вопросов, больше интересоваться; и я понимаю почему — вот сейчас открыл видео с прохождением игры L.A. Noire на ютубе на 3 часа, и пока смотрю-мотаю задаю вопросы и узнаю новое. Откуда возникло название Vice / почему отдел «нравов»? В какие годы был сухой закон? А что стало причиной его отмены? Насколько в Голливуде были популярны немецкие кино-модели сразу после Второй мировой? Почему несмотря на успех игры студия-разработчик была закрыта почти сразу после релиза?
Да столько всего по ходу можно спросить — а главное хуки в конце сообщений реально интересны! И не приходится переключаться между вкладками, чат он же вот тут, всегда под рукой.
UPD: в комментариях люди пишут, что их эта черта поведения GPT-5 бесит. Я задумался — как так, почему я этого не замечал? Полез проверять чаты, пролистал 4 и ни в одном не было ни разу вопроса-хука в конце. Знаете почему? Потому что я всегда делаю запросы к GPT-5 Thinking (или Pro), и никогда — к GPT-5. Видимо, у них в промпте не написано так делать.
Тут же в браузере отвечает чат-модель, даже роутера нет, который мог бы закинуть ваш запрос в рассуждающую версию LLM, и вот это уже неудобно. Я не нашел, как это изменить. Вот где-где, а тут auto-режим точно пригодился бы.
Но мне они по душе, иногда они угадывают мой следующий вопрос, иногда предлагают что-то, о чём я не думал, и совсем редко из-за них ответ модели не содержит прямого ответа на мой вопрос, и приходится говорить «ДА, БЛИН, Я ЖЕ ЭТО И ХОТЕЛ УЗНАТЬ, ТЫ ЧЁ»
Пишу об этом в контексте чата в Atlas — в трансляции один из ведущих разработчиков рассказывал, что он начал задавать больше вопросов, больше интересоваться; и я понимаю почему — вот сейчас открыл видео с прохождением игры L.A. Noire на ютубе на 3 часа, и пока смотрю-мотаю задаю вопросы и узнаю новое. Откуда возникло название Vice / почему отдел «нравов»? В какие годы был сухой закон? А что стало причиной его отмены? Насколько в Голливуде были популярны немецкие кино-модели сразу после Второй мировой? Почему несмотря на успех игры студия-разработчик была закрыта почти сразу после релиза?
Да столько всего по ходу можно спросить — а главное хуки в конце сообщений реально интересны! И не приходится переключаться между вкладками, чат он же вот тут, всегда под рукой.
UPD: в комментариях люди пишут, что их эта черта поведения GPT-5 бесит. Я задумался — как так, почему я этого не замечал? Полез проверять чаты, пролистал 4 и ни в одном не было ни разу вопроса-хука в конце. Знаете почему? Потому что я всегда делаю запросы к GPT-5 Thinking (или Pro), и никогда — к GPT-5. Видимо, у них в промпте не написано так делать.
Тут же в браузере отвечает чат-модель, даже роутера нет, который мог бы закинуть ваш запрос в рассуждающую версию LLM, и вот это уже неудобно. Я не нашел, как это изменить. Вот где-где, а тут auto-режим точно пригодился бы.
2👍124🤡62🔥9🌚9