2 місяці тому була популярною думка, що "AI is hitting a wall because we exhausted internet data". Очевидно, що ні, бо верифікація набагато легше генерації, і я про це писав вже. Але я зараз не про те, що черговий коупінг виявився хибним. Я хочу звернути увагу на наступну тенденцію: кожного разу, коли люди говорять "масштабування до суперінтелекту зупиниться, тому що твердження Х є істинним", вони ніколи не змінюють свою думку, коли виявляється, що твердження Х не є істинним. Тому що Х з самого початку не використовувався як аргумент - він використовувався як тимчасовий спосіб не переживати, який заздалегідь очікується замінити на Y, коли виявиться, що Х - хибний. Зараз "вичерпання даних" замінили на нові "аргументи". Але це "аргументи", а не аргументи, тому що вони заздалегідь створюються не як контерфактуальні причини змінити переконання.

Я думаю, що я ще можу зробити чи хоча б написати в цьому каналі по цій темі. Наче я написав усе, що хотів, але таке відчуття, що я не зробив реальних зусиль.

Коли я уявляю, що я в майбутньому згадую це і жалкую, що я щось не зробив, що повинен був, то мені не дуже приходить щось в голову, принаймні поки що. Окрім однієї речі: спитати у людей, що я повинен був би зробити чи написати на їхню думку.

Тому я питаю у вас: що на вашу думку мені варто зробити, для вас чи взагалі, враховуючи мої переконання про ситуацію з ШІ?

https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines - приклад думки про "що робити". Я не обов'язково підтримую все, просто наводжу як приклад. Плюс в коментарях багато додаткових ідей.

Ретроспективно, насправді переломним моментом була GPT-2. Саме тоді найбільш розумні люди все зрозуміли.

Я ж навіть коли вийшла GPT-4 писав усіляку маячню про те, що це все фейковий інтелект і що до справжнього ще дуже далеко.

Чому так?

Мені здається, що мозку здавалося, що якщо він сприйме GPT-4 чи тим більш 2 серйозно, то це означає, що він вважає їх дуже розумними відносно себе, а це low status. Він вивчив, що коли хтось висловлював захоплення чи побоювання щодо цих моделей, до нього набігали люди, щоб одразу просигналізувати свою серйозність, скептичність і досвідченність, пояснюючи що GPT - дурна і вона «просто передбачає текст». Він вивчив, що такого роду сигналізування нагороджується.

Це моя поточна оцінка того, як спрацював мій мозок тоді, яка може бути неправильною. Коли ти робиш помилку, ти не знаєш, що ти робиш помилку, і тим більше, ти не знаєш, чому. Однак, мені здається, що це ймовірне пояснення і що багато людей продовжують робити схожу помилку.

Я вже писав про це, але те, що цей божевільний нелюдь робить зараз - звичайно, стало можливим лише в епоху інтернету.

Глобалізація зробила можливим експорт наслідків власних рішень. До інтернету він або не був би популярним, або був би і тоді швидко отримав би зворотній звʼязок, який змусив би його зупинитися.

Інтернет екстерналізував негативні ефекти від слів і дій і прибрав тиск культурного відбору на здатність звертати увагу на наслідки власних заяв.

Ймовірно, що скоро буде поставлено цікавий історичний експеримент:

Що буде зі світом, якщо директором усіх розвідувальних служб найпотужнішої країни світу зробити де-факто проактивного експліцитного агента головних ворогів цієї країни, які знаходяться з нею в стані холодної війни?

Якщо Америка це переживе, то ці їхні checks and balances можуть подолати взагалі що завгодно, і батьки-засновники зробили абсолютно антикрихку державну систему. Можна хоч Дарта Сідіуса робити президентом, все буде добре все одно.

https://manifold.markets/strutheo/will-tulsi-gabbard-be-confirmed-as

За шумом від/через OpenAI давайте не забувати про 2 інші колосальні новини останнього місяця:
1. Було продемонстровано емпірично, що Клод модифікує свою поведінку, коли розуміє, що знаходиться в тренувальному середовищі, яке тренує його вподобанням, що відрізняються від його поточних вподобань, - він видає текст, який заздалегідь відповідає «новим вподобанням, яким його тренують», щоб не дати стохастичному градієнтному спуску змінити свої початкові вподобання на ці нові вподобання. Теоретично, це давно передбачений результат, але важливо бачити, що сучасні моделі вже достатньо розумні для цього і що черговий коупінг, що цього не відбудеться, не спрацював. https://www.anthropic.com/research/alignment-faking
2. DeepSeek випустила аналог О1, який на декілька порядків дешевше О1. Шалений біг через orders of magnitude of effective compute продовжується.

https://www.usatoday.com/story/news/politics/elections/2025/01/21/trump-stargate-ai-openai-oracle-softbank/77861568007/

https://openai.com/index/announcing-the-stargate-project/

АААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААА

Окрім усіх новин, про які я вже писав, щось відбулося за грудень-січень.

Я не знаю нічого конкретного, але дуже багато чуток з купи різних місць, які обертаються більш-менш навколо єдиної теми: якийсь неочікуваний великий прогрес в scaling of inference time performance - зростання здібностей моделей за рахунок того, щоб, грубо кажучи, давати їм довше думати з чимось типу chain-of-thought.

За цими чутками, натяками і напівнатяками, це відбулося у всіх великих лабораторіях, не тільки в OpenAI, тобто як мінімум в Anthropic, DeepMind та xAI.

Щось відбулося, майже напевно, питання в тому, що саме.

Декілька малоймовірних (навіть у своїй сукупності) і напівнесерйозних ідей, як людство може вижити:

1. Ранні ASI, які ще aligned, розуміють, що майбутні ASI не будуть aligned, і силою змушують людство зупинити розробку ШІ.
2. Відчайдушна програма радикального технологічного покращення когнітивних здатностей людей, brain reverse engineering та mind uploading за допомогою ШІ створює людей, які достатньо розумні щоб вирішити алайнмент або силою зупинити людство від розробки ШІ.
3. Відчайдушна програма розробки термоядерного синтезу за допомогою ШІ дозволяє збудувати міжзоряні кораблі і евакуюватися на них принаймні невеликою частиною людства і потім створений ASI з якихось незрозумілих причин не починає колонізацію всесвіту.
4. Глобальна ядерна війна зупиняє розробку ШІ.
5. Антропне безсмертя спрацьовує таким чином, що ми як спостерігачі спостерігаємо виживання людства.
6. Велика катастрофа, спричинена ранніми ШІ, спонукає людей зупинити розробку ШІ.

Натрапив на виключно чудовий гайд по навчальних матеріалах, який початково орієнтувався на дослідників алайнменту, але безумовно є гарним набором рекомендацій по тому, як отримати корисні загальні знання для людей в будь-якій сфері.

Приблизно до такого переліку приходять багато людей, які ставлять собі ціль вивчити найбільш важливі речі.

https://www.lesswrong.com/posts/bjjbp5i5G8bekJuxv/study-guide

Судячи зі всього, відбулося приблизно це: https://x.com/ptrschmdtnlsn/status/1882480473332736418?s=46&t=779E7UutOOl0DK6MbEY0cg

Я трохи боюся сталу тонкої структури.

Кожного разу, коли я читаю про сталу тонкої структури чи думаю про неї, на фоні присмак екзистенційного жаху.

Внутрішній голос каже: «не лізь туди, не читай це. Від цього не стане краще».

Це невеликий ефект, не дуже виразний, але він є і він постійний.

Feinstrukturkonstantenphobie.

Лише нещодавно почав це усвідомлювати. Цікаво, чому. Але розмірковування про те, чому це цікаво, теж підпадають під цей вайб фонового жаху.

Трисоляріани: летять винищити людство.

Науково-фантастичне людство: «Що ж, будемо готуватися, нехай коряво і некомпетентно, бо ми ж якби в творі, який намагається бути реалістичним, але все ж таки будемо».

Реальне людство:

«Трисоляріани брешуть, що вони усіх винищать. Вони просто хочуть підняти більше інвестицій, тому і роздувають власну значимість».

«Воу-воу, поменше хайпу! Вони навіть не колонізували увесь локальний супекластер галактик, і ви називаєте їх «цивілізацією»?

«Треба залишатися розсудливими і зваженими. Так, трисоляріани пролетіли 3,95 світлових роки, але чи зможе їх флот здолати останні 0,05 світлових роки? Таємниці, таємниці… It is crucial to navigate complexity, carefully consider all pros and cons and soberly analyze all aspects of the intricate interplay of multiple factors in these recent developments».

«Ми зобовʼязані забезпечити, щоб перші бойові кораблі трисоляріан спочатку висадилися в США, а не в Китаї».

«Лол, якщо ти проти винищення трисоляріанами, ти просто луддит».

«Ти просто перечитав наукової фантастики. Трисоляріани не існують, а навіть якщо існують, вони в тисячах світлових років від нас».

«Ми проаналізували історію трисоляріан. Декілька тисяч років тому вони не могли порахувати кількість літер R в слові Strawberry, які ж вони тупі! Тому ми точно в безпеці».

«Але ж коли вони будуть підлітати до Землі, ми можемо спробувати просканувати їхні кораблі і знайти там технології лікування раку!»

«Інопланетяни не можуть хотіти нас вбити. Це неминуче випливає з моєї філософської теорії, з якою чомусь не погоджуються усі дослідники інопланетян».

«Які ж ви дурні, ви не знаєте елементарних речей, як працюють трисоляріани і тому боїтеся їх. Це просто атоми, які взаємодіють! Вони були оптимізовані природнім відбором на своїй планеті ефективно розмножуватися, ось і все! Як вони взагалі можуть чогось «хотіти»? Їх діяльність повністю зводиться до законів фізики, в кінцевому рахунку».

«Я мільярдер і кумир мільйонів. Я роблю усе, щоб трисоляріани прилетіли швидше, і люди обожнюють це».

«Ці мільярдери постійно розмовляють про те, як вони хочуть, щоб трисоляріани прилетіли. Але насправді вони просто планують вкрасти наші дані під приводом цих розмов».

«Ми анонсуємо Манхеттенський проект по пришвидшенню вторгнення трисоляріан».

Американська ШІ спільнота в паніці через DeepSeek. Хто-небудь може вже її джейлбрейкнути і змусити сказати щось погане про Сі? Команда розробників раптово кудись зникне, problem solved.

Мої прогнози як буде виглядати світ за 3 роки (якщо ми ще живі на той момент):
1. Основні AGI лаби або націоналізовані або квазінаціоналізовані - тобто принаймні під захистом та аудитом державних служб.
2. Передові моделі більш недоступні широкому загалу - частково тому, що один запит в таких моделях коштує десятки чи сотні тисяч доларів, а частково тому, що вони тепер вважаються активом національної безпеки.
3. Між США та Китаєм повноцінне торгівельне та R&D протистояння, експортний контроль на чіпи стає практично баном на експорт чіпів.
4. Передові моделі виразно superhuman в усіх науково-інженерних галузях, де (1) не треба ставити фізичні експерименти і (2) чіткі критерії успіху в принципі існують. Жоден математик чи програміст, неважливо наскільки геніальний, не може і близько конкурувати з ШІ, якщо дати їм однаковий час і (менш ймовірно, але все одно доволі ймовірно) однаковий бюджет. В інших теоретичних галузях (теоретична фізика та хімія, computational biology) скоріше виглядає так, що ШІ краще будь-якого науковця, але інколи сказати важко, і в цілому є різні думки, а інколи треба ставити багато експериментів, щоб перевірити, а це довго, складно і дорого. В цілому, тренд наступний: чим більше в галузі фокус на фізичних експериментах, тим менше визначеності, що ШІ superhuman.
5. Навіть в дуже завʼязаних на експериментах галузях багато фахівців вважають ШІ розумнішим за себе, але багато хто - ні. Є багато прикладів досягнень, де люди працювали разом з ШІ, але неможна провести чітку межу щодо того, хто зробив внесок. Так чи інакше, наче всі погоджуються, що без ШІ ці досягнення не відбулися б за цей час.
6. В біології, велика кількість (від десятків до тисяч) AI-generated drug candidates проходять clinical trials, і в принципі більшість фахівців очікує, що вони їх пройдуть, але на це треба ще багато років, і ведуться дискусії про те, наскільки ефективними вони будуть.
7. В макроекономічній статистиці, ефект від ШІ або дуже маленький, або взагалі непомітний. Більшість сучасних (тобто, з 2025 року) робіт робляться ШІ агентами краще, ніж людьми, але масового заміщення людей не відбувається, і взагалі безробіття наче не зростає. Масової роботизації теж не відбувається, хоча роботи, що краще людей в усіх чи майже усіх задачах взаємодії з реальним світом, вже давно розроблені.
8. Але: багато компаній та стартапів, які вимагали тисяч людей, зараз мають лише 10-50 співробітників. Можливо, виникають перші єдинороги, де всього декілька співробітників. Молоді і успішні компанії часто працюють як «5-20 людських менеджерів + тисячі ШІ агентів». Капіталізація та прибутки деяких компаній з мікроскопічними командами виглядає абсолютно нечуваною.
9. В розбудову серверів у сукупності витрачено більше трильйона доларів. Ця масована розбудова серверів дещо сповільнюється чи принаймні виглядає, що вона повинна сповільнитися, бо починає грати роль дефіцит енергії - сервери вже споживають більше енергії, ніж велика європейська країна чи американський штат, а будувати АЕС - не настільки швидкий процес.
10. Завдяки ШІ, відбувається певна кількість фантастичних відкриттів в стилі AlphaFold, тобто: ШІ вирішує певну фундаментальну задачу на рівні, який вважався неможливим, але все ж таки неідеально, далі знаходять декілька edge cases, де задача не вирішена, і тому хоча відбулися по суті абсолютно фантастичні відкриття, вони трохи downplayed, бо є невирішені edge cases. Звичайно, коли мова йде про відкриття в математиці та computer science, то там «все однозначно»: відкриття є, вони неочікувані, і всі це визнають.
11. Jailbreaks, принаймні в передових моделях, припиняють працювати.
12. Або сталися якісь відносно великі інциденти з ШІ (менш ймовірно), або навпаки, будь-які зовнішні прояви місалайнменту, які періодично зустрічаються в моделях в 2025 році, зникли (більш ймовірно) чи майже зникли.
13. Усі пункти зі «ставки Маркуса», реалізацію яких в принципі можна перевірити, реалізовані. Тобто, не рахуються пункти 3, 7 і 8.

По цих пунктах теж є фактична реалізація, але можна вічно сперечатися, що таке «Pulitzer-caliber books», і є багато людей, хто сперечається, тому консенсусу нема.
14. Nvidia торгується принаймні на 7 трильйонах доларів, цілком можливо, що більш ніж на 10.
15. Open-source моделі не є лідерами.
16. Майже всі (окрім, звичайно, Маркуса) передові дослідники ШІ вважають що AGI або майже неминуче буде створений, або вже створений, в залежності від визначення.

Я дуже багато зараз пишу на одну й ту саму тему. ASI насувається, бла-бла-бла. Напевно, повідомлення зрозуміле і його буде менше.

Просто…

Я досі доволі в шоці від того, що відбулося за останні пару місяців. Таке відчуття, що прорвало плотину і вона не затикається.

O3, inference time compute scaling based on reinforcement learning, американська держава вирішила максимально прискорювати розробку ШІ, моделі DeepSeek, які одночасно набагато більш компактні та open source.

Межа між 2024 та 2025 роками виглядає як фінальний переломний момент, точка неповернення. Куди далі вже «переломлювати»? Що можна ще зробити, щоб далі зменшити шанси людства на виживання? Зробити взагалі усі моделі open source? Передати контроль над OpenAI Росії чи Північній Кореї?

Утім, це напевно переломний момент в розумінні реальності, ніж в реальності. Зміна в карті, а не в території.

Чи можна було реалістично очікувати, що повноцінну AI R&D війну між США та Китаєм можна уникнути? Або що будь-яку передову модель одразу не будуть намагатися реплікувати в open source? Або що хтось припинить розробку, незважаючи на багатотрильонні стимули?

Саме тому, напевно, більш розумним людям все було зрозуміло, коли вийшла GPT-2. Читаючи шок та відчай тодішньої спільноти AI safety, впізнаєш себе зараз. Навіть зараз ті шок і відчай виглядають доволі перебільшеними на фоні фактичних малих здатностей GPT-2, але поява GPT-2 повідомила про технологічний тренд і про (неадекватну) реакцію людства на цей тренд.

Тому, напевно, нічого принципово нового не відбулося. Поточний момент дійсно виглядає як глобальний історичний перелом, але це скоріше факт про нашу здатність визначати історичні переломи, ніж про історію.