Відповідь отримано: шлях від ідіота до генія ШІ пройшов за 2 роки.

Я все ж таки до останнього сподівався, що це не відбудеться прям настільки швидко.

Сподівався, що ШІ на трансформерах вивчає якусь поверхневу репрезентацію мислення замість мислення, генералізація якої зупиниться достатньо рано.
Сподівався, що масштабування до суперінтелекту буде потребувати більше ВВП, енергії та талантів, ніж людство може чи захоче витратити.

Я думав, що приблизно до 2028-29 року стане зрозуміло, чи відбудеться масштабування до суперінтелекту, але це стало зрозуміло вже зараз. 20 грудня 2024 року людству повідомили, що штучний суперінтелект буде створено, і буде створено скоро.

O3 або вже здатна до радикального прискорення інженерії ШІ, або в декількох місяцях роботи OpenAI від того, щоб бути здатною.

Розмірковуючи зараз про потенційні сценарії того, як в умовах, що склалися, штучний суперінтелект може бути не створений, я не можу знайти жодного сценарію. Хіба що, глобальна ядерна війна не пізніше кінця 2026 року? Може, відбудеться щось неймовірне, щось, про що ніхто не міг здогадатися, але якщо якогось дива не станеться, штучний суперінтелект буде створено, і буде створено скоро.

О3 вже в розмитих межах суперінтелекту. Усе, що буде відбуватися далі, - це сліпе блукання по золотому мінному полю, на якому з часом стає все більше золота і мін. Рано чи пізно міна вибухне, але я не думаю, що хтось знає, коли. Але скоріше рано, ніж пізно.

Перед повномасштабною війною, коли я був впевнений, що війна почнеться, я намагався переконати людей готуватися і рятуватися, або хоча б переконати, що війна почнеться. Але я не робив цього і близько до того, як я міг би і як було б варто. Деякі люди, яких я міг би переконати краще, вижили лише дивом в кінцевому рахунку, і я впевнений, що десь були люди, які могли послухати мене, якби я доклав зусиль, але які померли або зазнали великих втрат, бо я не доклав цих зусиль.

Чому я не доклав їх? Мені здається, що мені було б просто незручно, в соціальному чи психологічному сенсі. Я маю на увазі, що я б виглядав як клоун і з мене б сміялися, і мозку було неприємно очікувати цього, і тому він не хотів докладати екстраординарних зусиль, які були необхідні.

Зараз моєму мозку теж неприємно, бо з мене будуть сміятися, але я не збираюся повторювати ту ж саму помилку.

Тому я кажу вам: штучний суперінтелект насувається, і скоріше за все він знищить людство. Не розраховуйте, що ваше життя буде довгим, і тим більше не розраховуйте, що ви зможете якось конкурувати з ШІ. Наступний час в історії людства, яким би коротким він не був, буде часом зростаючого божевілля і див. До того, як ШІ всіх вбʼє, нас очікують дивовижні речі. Я не знаю, що саме, але це будуть дивовижні наукові та технічні відкриття. Може, відбудеться щось, що усіх врятує. Це не заборонено законами фізики, і є декілька малоймовірних припущень, в яких напрямках це може відбутися, але я б на це не розраховував. Ваші родичі і друзі, які знають менше, ніж ви, також заслуговують знати, що їх чекає, і виглядати клоуном - дуже маленька ціна за те, щоб їм допомогти, хоча б трохи.

Твердження, яке я часто чую від відносно розумних людей: «переживати про ASI ненауково, тому що ASI ще не наступив. Ось коли побачимо його, тоді повіримо і поговоримо».

Коли на вашу голову падає камінь, вам дозволено ухилитися чи хоча б визнати, що на вашу голову падає камінь, замість того, щоб чекати «емпіричного підтвердження» у вигляді звуку хрускоту черепа чи зображення калюжі з крові та мізків на вулиці. Нема честі в тому, щоб ігнорувати тенденцію, що існує, та відмовлятися екстраполювати її хоча б на міліметр, під приводом прихильності до емпіризму. Ви піклуєтеся про епістемологічну карму не в той бік.

We are now confident we know how to build AGI as we have traditionally understood it. We believe that, in 2025, we may see the first AI agents “join the workforce” and materially change the output of companies. We continue to believe that iteratively putting great tools in the hands of people leads to great, broadly-distributed outcomes.
We are beginning to turn our aim beyond that, to superintelligence in the true sense of the word. We love our current products, but we are here for the glorious future. With superintelligence, we can do anything else. Superintelligent tools could massively accelerate scientific discovery and innovation well beyond what we are capable of doing on our own, and in turn massively increase abundance and prosperity.
This sounds like science fiction right now, and somewhat crazy to even talk about it. That’s alright—we’ve been there before and we’re OK with being there again. We’re pretty confident that in the next few years, everyone will see what we see, and that the need to act with great care, while still maximizing broad benefit and empowerment, is so important. Given the possibilities of our work, OpenAI cannot be a normal company.

https://blog.samaltman.com/

Інше твердження про ШІ, яке я часто чую від відносно розумних людей: «розмови про ASI/AGI - це хайп, ці заяви робляться з маркетингових причин».

В принципі, зрозуміло, чому таке твердження може здаватися апріорі логічним, але незрозуміло, як це співвідноситься з фактичною ситуацією маркетингової політики big tech компаній.

Якщо ви подивитися на історію того, як Google, Microsoft, Meta та інші великі технологічні компанії комунікували своє ставлення до ШІ, то риторика завжди була діаметрально протилежною до того, що стверджують прихильники гіпотези «ШІ - це маркетинговий хайп». А саме, повідомлення були наступними:
- ШІ - це просто засоби, які не здатні і не будуть здатні перевершити людей.
- Ми - це серйозні інженери, які піклуються про серйозні технічні питання, як-от стабілізація GAN чи яку функцію активації підібрати, а усі ці розмови про AGI - це наукова фантастика і нісенітниці.
- Екзистенційні ризики від ШІ - це теж наукова фантастика. Ми піклуємося про algorithmic bias and misinformation, бо саме цього рівня проблеми здатен створити ШІ.

Це була систематична, постійна, однорідна риторика протягом багатьох років, яку продовжували до останнього, навіть коли її абсурдність виглядала очевидною (деякі продовжують це навіть зараз). І це зрозуміло, чому так. Повідомлення “ми будуємо ASI” роздратує інвесторів, зверне на себе непотрібну увагу регуляторів, власних та закордонних спецслужб і політиків та просто широкого загалу, а також банально буде виглядати несерйозно в лінкедині та поважних медіа.

Саме тому це повідомлення відтягували до останнього, і лише зараз, коли evidence про штучний суперінтелект пре зі всіх щілин, коли велика купа людей в стані десь між роздратованим та шокованим впертими відмовами компаній та лабораторій хоча б визнати те, що вони роблять, не кажучи вже про наслідки цього, лише зараз, під жорстким тиском зовнішніх обставин, компанії - повільно і неохоче - починають визнавати, що саме вони будують.

Якби це було вигідно маркетингово, це б зробили вже давно. І власне, ми емпірично бачимо те, що технологічні компанії коректно передбачили раніше - заяви про те, що вони будуть ASI, не роблять їх життя краще в жодному вимірі, на який міг би орієнтуватися «маркетинговий департамент». Ці заяви мають лише 2 ефекти: одні вважають, що вони несерйозні та брешуть, а інші вважають, що вони серйозні і скоро усіх вбʼють. Ці заяви робляться не заради, а всупереч бізнес-інтересам, бо ховати це під ковдру вже неможливо.

Не буде великим перебільшенням сказати, що твердження «ML engineer знає, як працює ШІ, тому що він тренує моделі» майже не відрізняється від твердження «матір знає молекулярну біологію, нейробіологію і і біологію розвитку тому, що вона народила дитину».

Звичайно, це трохи перебільшення, але лише трохи. Перетин між знанням того, як працює ШІ, і знанням того, як тренувати ШІ, більший, ніж між, скажімо, хімією та соціологією, але менший, ніж між хімією та кулінарією.

Не кажучи вже про те, що навіть в інженерії тренування ШІ набагато більше алхімії та суто експериментального налаштовування, ніж науки.

В важливих фактах про себе я написав:

I often think in terms of optimization processes and landscapes, phase spaces, entropy, (dis)equilibria, maximum likelihood, and (stochastic) differential equations.

Усім рекомендую використовувати ці надзвичайно потужні концепції на постійній основі.

Це була нова важлива інформація для мене.

2 місяці тому була популярною думка, що "AI is hitting a wall because we exhausted internet data". Очевидно, що ні, бо верифікація набагато легше генерації, і я про це писав вже. Але я зараз не про те, що черговий коупінг виявився хибним. Я хочу звернути увагу на наступну тенденцію: кожного разу, коли люди говорять "масштабування до суперінтелекту зупиниться, тому що твердження Х є істинним", вони ніколи не змінюють свою думку, коли виявляється, що твердження Х не є істинним. Тому що Х з самого початку не використовувався як аргумент - він використовувався як тимчасовий спосіб не переживати, який заздалегідь очікується замінити на Y, коли виявиться, що Х - хибний. Зараз "вичерпання даних" замінили на нові "аргументи". Але це "аргументи", а не аргументи, тому що вони заздалегідь створюються не як контерфактуальні причини змінити переконання.

Я думаю, що я ще можу зробити чи хоча б написати в цьому каналі по цій темі. Наче я написав усе, що хотів, але таке відчуття, що я не зробив реальних зусиль.

Коли я уявляю, що я в майбутньому згадую це і жалкую, що я щось не зробив, що повинен був, то мені не дуже приходить щось в голову, принаймні поки що. Окрім однієї речі: спитати у людей, що я повинен був би зробити чи написати на їхню думку.

Тому я питаю у вас: що на вашу думку мені варто зробити, для вас чи взагалі, враховуючи мої переконання про ситуацію з ШІ?

https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines - приклад думки про "що робити". Я не обов'язково підтримую все, просто наводжу як приклад. Плюс в коментарях багато додаткових ідей.

Ретроспективно, насправді переломним моментом була GPT-2. Саме тоді найбільш розумні люди все зрозуміли.

Я ж навіть коли вийшла GPT-4 писав усіляку маячню про те, що це все фейковий інтелект і що до справжнього ще дуже далеко.

Чому так?

Мені здається, що мозку здавалося, що якщо він сприйме GPT-4 чи тим більш 2 серйозно, то це означає, що він вважає їх дуже розумними відносно себе, а це low status. Він вивчив, що коли хтось висловлював захоплення чи побоювання щодо цих моделей, до нього набігали люди, щоб одразу просигналізувати свою серйозність, скептичність і досвідченність, пояснюючи що GPT - дурна і вона «просто передбачає текст». Він вивчив, що такого роду сигналізування нагороджується.

Це моя поточна оцінка того, як спрацював мій мозок тоді, яка може бути неправильною. Коли ти робиш помилку, ти не знаєш, що ти робиш помилку, і тим більше, ти не знаєш, чому. Однак, мені здається, що це ймовірне пояснення і що багато людей продовжують робити схожу помилку.

Я вже писав про це, але те, що цей божевільний нелюдь робить зараз - звичайно, стало можливим лише в епоху інтернету.

Глобалізація зробила можливим експорт наслідків власних рішень. До інтернету він або не був би популярним, або був би і тоді швидко отримав би зворотній звʼязок, який змусив би його зупинитися.

Інтернет екстерналізував негативні ефекти від слів і дій і прибрав тиск культурного відбору на здатність звертати увагу на наслідки власних заяв.

Ймовірно, що скоро буде поставлено цікавий історичний експеримент:

Що буде зі світом, якщо директором усіх розвідувальних служб найпотужнішої країни світу зробити де-факто проактивного експліцитного агента головних ворогів цієї країни, які знаходяться з нею в стані холодної війни?

Якщо Америка це переживе, то ці їхні checks and balances можуть подолати взагалі що завгодно, і батьки-засновники зробили абсолютно антикрихку державну систему. Можна хоч Дарта Сідіуса робити президентом, все буде добре все одно.

https://manifold.markets/strutheo/will-tulsi-gabbard-be-confirmed-as