За шумом від/через OpenAI давайте не забувати про 2 інші колосальні новини останнього місяця:
1. Було продемонстровано емпірично, що Клод модифікує свою поведінку, коли розуміє, що знаходиться в тренувальному середовищі, яке тренує його вподобанням, що відрізняються від його поточних вподобань, - він видає текст, який заздалегідь відповідає «новим вподобанням, яким його тренують», щоб не дати стохастичному градієнтному спуску змінити свої початкові вподобання на ці нові вподобання. Теоретично, це давно передбачений результат, але важливо бачити, що сучасні моделі вже достатньо розумні для цього і що черговий коупінг, що цього не відбудеться, не спрацював. https://www.anthropic.com/research/alignment-faking
2. DeepSeek випустила аналог О1, який на декілька порядків дешевше О1. Шалений біг через orders of magnitude of effective compute продовжується.

https://www.usatoday.com/story/news/politics/elections/2025/01/21/trump-stargate-ai-openai-oracle-softbank/77861568007/

https://openai.com/index/announcing-the-stargate-project/

АААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААААА

Окрім усіх новин, про які я вже писав, щось відбулося за грудень-січень.

Я не знаю нічого конкретного, але дуже багато чуток з купи різних місць, які обертаються більш-менш навколо єдиної теми: якийсь неочікуваний великий прогрес в scaling of inference time performance - зростання здібностей моделей за рахунок того, щоб, грубо кажучи, давати їм довше думати з чимось типу chain-of-thought.

За цими чутками, натяками і напівнатяками, це відбулося у всіх великих лабораторіях, не тільки в OpenAI, тобто як мінімум в Anthropic, DeepMind та xAI.

Щось відбулося, майже напевно, питання в тому, що саме.

Декілька малоймовірних (навіть у своїй сукупності) і напівнесерйозних ідей, як людство може вижити:

1. Ранні ASI, які ще aligned, розуміють, що майбутні ASI не будуть aligned, і силою змушують людство зупинити розробку ШІ.
2. Відчайдушна програма радикального технологічного покращення когнітивних здатностей людей, brain reverse engineering та mind uploading за допомогою ШІ створює людей, які достатньо розумні щоб вирішити алайнмент або силою зупинити людство від розробки ШІ.
3. Відчайдушна програма розробки термоядерного синтезу за допомогою ШІ дозволяє збудувати міжзоряні кораблі і евакуюватися на них принаймні невеликою частиною людства і потім створений ASI з якихось незрозумілих причин не починає колонізацію всесвіту.
4. Глобальна ядерна війна зупиняє розробку ШІ.
5. Антропне безсмертя спрацьовує таким чином, що ми як спостерігачі спостерігаємо виживання людства.
6. Велика катастрофа, спричинена ранніми ШІ, спонукає людей зупинити розробку ШІ.

Натрапив на виключно чудовий гайд по навчальних матеріалах, який початково орієнтувався на дослідників алайнменту, але безумовно є гарним набором рекомендацій по тому, як отримати корисні загальні знання для людей в будь-якій сфері.

Приблизно до такого переліку приходять багато людей, які ставлять собі ціль вивчити найбільш важливі речі.

https://www.lesswrong.com/posts/bjjbp5i5G8bekJuxv/study-guide

Судячи зі всього, відбулося приблизно це: https://x.com/ptrschmdtnlsn/status/1882480473332736418?s=46&t=779E7UutOOl0DK6MbEY0cg

Я трохи боюся сталу тонкої структури.

Кожного разу, коли я читаю про сталу тонкої структури чи думаю про неї, на фоні присмак екзистенційного жаху.

Внутрішній голос каже: «не лізь туди, не читай це. Від цього не стане краще».

Це невеликий ефект, не дуже виразний, але він є і він постійний.

Feinstrukturkonstantenphobie.

Лише нещодавно почав це усвідомлювати. Цікаво, чому. Але розмірковування про те, чому це цікаво, теж підпадають під цей вайб фонового жаху.

Трисоляріани: летять винищити людство.

Науково-фантастичне людство: «Що ж, будемо готуватися, нехай коряво і некомпетентно, бо ми ж якби в творі, який намагається бути реалістичним, але все ж таки будемо».

Реальне людство:

«Трисоляріани брешуть, що вони усіх винищать. Вони просто хочуть підняти більше інвестицій, тому і роздувають власну значимість».

«Воу-воу, поменше хайпу! Вони навіть не колонізували увесь локальний супекластер галактик, і ви називаєте їх «цивілізацією»?

«Треба залишатися розсудливими і зваженими. Так, трисоляріани пролетіли 3,95 світлових роки, але чи зможе їх флот здолати останні 0,05 світлових роки? Таємниці, таємниці… It is crucial to navigate complexity, carefully consider all pros and cons and soberly analyze all aspects of the intricate interplay of multiple factors in these recent developments».

«Ми зобовʼязані забезпечити, щоб перші бойові кораблі трисоляріан спочатку висадилися в США, а не в Китаї».

«Лол, якщо ти проти винищення трисоляріанами, ти просто луддит».

«Ти просто перечитав наукової фантастики. Трисоляріани не існують, а навіть якщо існують, вони в тисячах світлових років від нас».

«Ми проаналізували історію трисоляріан. Декілька тисяч років тому вони не могли порахувати кількість літер R в слові Strawberry, які ж вони тупі! Тому ми точно в безпеці».

«Але ж коли вони будуть підлітати до Землі, ми можемо спробувати просканувати їхні кораблі і знайти там технології лікування раку!»

«Інопланетяни не можуть хотіти нас вбити. Це неминуче випливає з моєї філософської теорії, з якою чомусь не погоджуються усі дослідники інопланетян».

«Які ж ви дурні, ви не знаєте елементарних речей, як працюють трисоляріани і тому боїтеся їх. Це просто атоми, які взаємодіють! Вони були оптимізовані природнім відбором на своїй планеті ефективно розмножуватися, ось і все! Як вони взагалі можуть чогось «хотіти»? Їх діяльність повністю зводиться до законів фізики, в кінцевому рахунку».

«Я мільярдер і кумир мільйонів. Я роблю усе, щоб трисоляріани прилетіли швидше, і люди обожнюють це».

«Ці мільярдери постійно розмовляють про те, як вони хочуть, щоб трисоляріани прилетіли. Але насправді вони просто планують вкрасти наші дані під приводом цих розмов».

«Ми анонсуємо Манхеттенський проект по пришвидшенню вторгнення трисоляріан».

Американська ШІ спільнота в паніці через DeepSeek. Хто-небудь може вже її джейлбрейкнути і змусити сказати щось погане про Сі? Команда розробників раптово кудись зникне, problem solved.

Мої прогнози як буде виглядати світ за 3 роки (якщо ми ще живі на той момент):
1. Основні AGI лаби або націоналізовані або квазінаціоналізовані - тобто принаймні під захистом та аудитом державних служб.
2. Передові моделі більш недоступні широкому загалу - частково тому, що один запит в таких моделях коштує десятки чи сотні тисяч доларів, а частково тому, що вони тепер вважаються активом національної безпеки.
3. Між США та Китаєм повноцінне торгівельне та R&D протистояння, експортний контроль на чіпи стає практично баном на експорт чіпів.
4. Передові моделі виразно superhuman в усіх науково-інженерних галузях, де (1) не треба ставити фізичні експерименти і (2) чіткі критерії успіху в принципі існують. Жоден математик чи програміст, неважливо наскільки геніальний, не може і близько конкурувати з ШІ, якщо дати їм однаковий час і (менш ймовірно, але все одно доволі ймовірно) однаковий бюджет. В інших теоретичних галузях (теоретична фізика та хімія, computational biology) скоріше виглядає так, що ШІ краще будь-якого науковця, але інколи сказати важко, і в цілому є різні думки, а інколи треба ставити багато експериментів, щоб перевірити, а це довго, складно і дорого. В цілому, тренд наступний: чим більше в галузі фокус на фізичних експериментах, тим менше визначеності, що ШІ superhuman.
5. Навіть в дуже завʼязаних на експериментах галузях багато фахівців вважають ШІ розумнішим за себе, але багато хто - ні. Є багато прикладів досягнень, де люди працювали разом з ШІ, але неможна провести чітку межу щодо того, хто зробив внесок. Так чи інакше, наче всі погоджуються, що без ШІ ці досягнення не відбулися б за цей час.
6. В біології, велика кількість (від десятків до тисяч) AI-generated drug candidates проходять clinical trials, і в принципі більшість фахівців очікує, що вони їх пройдуть, але на це треба ще багато років, і ведуться дискусії про те, наскільки ефективними вони будуть.
7. В макроекономічній статистиці, ефект від ШІ або дуже маленький, або взагалі непомітний. Більшість сучасних (тобто, з 2025 року) робіт робляться ШІ агентами краще, ніж людьми, але масового заміщення людей не відбувається, і взагалі безробіття наче не зростає. Масової роботизації теж не відбувається, хоча роботи, що краще людей в усіх чи майже усіх задачах взаємодії з реальним світом, вже давно розроблені.
8. Але: багато компаній та стартапів, які вимагали тисяч людей, зараз мають лише 10-50 співробітників. Можливо, виникають перші єдинороги, де всього декілька співробітників. Молоді і успішні компанії часто працюють як «5-20 людських менеджерів + тисячі ШІ агентів». Капіталізація та прибутки деяких компаній з мікроскопічними командами виглядає абсолютно нечуваною.
9. В розбудову серверів у сукупності витрачено більше трильйона доларів. Ця масована розбудова серверів дещо сповільнюється чи принаймні виглядає, що вона повинна сповільнитися, бо починає грати роль дефіцит енергії - сервери вже споживають більше енергії, ніж велика європейська країна чи американський штат, а будувати АЕС - не настільки швидкий процес.
10. Завдяки ШІ, відбувається певна кількість фантастичних відкриттів в стилі AlphaFold, тобто: ШІ вирішує певну фундаментальну задачу на рівні, який вважався неможливим, але все ж таки неідеально, далі знаходять декілька edge cases, де задача не вирішена, і тому хоча відбулися по суті абсолютно фантастичні відкриття, вони трохи downplayed, бо є невирішені edge cases. Звичайно, коли мова йде про відкриття в математиці та computer science, то там «все однозначно»: відкриття є, вони неочікувані, і всі це визнають.
11. Jailbreaks, принаймні в передових моделях, припиняють працювати.
12. Або сталися якісь відносно великі інциденти з ШІ (менш ймовірно), або навпаки, будь-які зовнішні прояви місалайнменту, які періодично зустрічаються в моделях в 2025 році, зникли (більш ймовірно) чи майже зникли.
13. Усі пункти зі «ставки Маркуса», реалізацію яких в принципі можна перевірити, реалізовані. Тобто, не рахуються пункти 3, 7 і 8.

По цих пунктах теж є фактична реалізація, але можна вічно сперечатися, що таке «Pulitzer-caliber books», і є багато людей, хто сперечається, тому консенсусу нема.
14. Nvidia торгується принаймні на 7 трильйонах доларів, цілком можливо, що більш ніж на 10.
15. Open-source моделі не є лідерами.
16. Майже всі (окрім, звичайно, Маркуса) передові дослідники ШІ вважають що AGI або майже неминуче буде створений, або вже створений, в залежності від визначення.

Я дуже багато зараз пишу на одну й ту саму тему. ASI насувається, бла-бла-бла. Напевно, повідомлення зрозуміле і його буде менше.

Просто…

Я досі доволі в шоці від того, що відбулося за останні пару місяців. Таке відчуття, що прорвало плотину і вона не затикається.

O3, inference time compute scaling based on reinforcement learning, американська держава вирішила максимально прискорювати розробку ШІ, моделі DeepSeek, які одночасно набагато більш компактні та open source.

Межа між 2024 та 2025 роками виглядає як фінальний переломний момент, точка неповернення. Куди далі вже «переломлювати»? Що можна ще зробити, щоб далі зменшити шанси людства на виживання? Зробити взагалі усі моделі open source? Передати контроль над OpenAI Росії чи Північній Кореї?

Утім, це напевно переломний момент в розумінні реальності, ніж в реальності. Зміна в карті, а не в території.

Чи можна було реалістично очікувати, що повноцінну AI R&D війну між США та Китаєм можна уникнути? Або що будь-яку передову модель одразу не будуть намагатися реплікувати в open source? Або що хтось припинить розробку, незважаючи на багатотрильонні стимули?

Саме тому, напевно, більш розумним людям все було зрозуміло, коли вийшла GPT-2. Читаючи шок та відчай тодішньої спільноти AI safety, впізнаєш себе зараз. Навіть зараз ті шок і відчай виглядають доволі перебільшеними на фоні фактичних малих здатностей GPT-2, але поява GPT-2 повідомила про технологічний тренд і про (неадекватну) реакцію людства на цей тренд.

Тому, напевно, нічого принципово нового не відбулося. Поточний момент дійсно виглядає як глобальний історичний перелом, але це скоріше факт про нашу здатність визначати історичні переломи, ніж про історію.

Абсолютна універсальна і коректна класифікація. Проорав.

https://x.com/joodalooped/status/1884544798389911761?s=46&t=779E7UutOOl0DK6MbEY0cg

Another day, another wonderful news.

Даріо Амодеі, CEO Anthropic, написав статтю про те, як необхідно досягти рекурсивного покращення ШІ швидше за Китай і таким чином першими отримати суперінтелект, який інші не зможуть здогнати: https://darioamodei.com/on-deepseek-and-export-controls

Варто розуміти, що переважна більшість людей, що пішли з OpenAI через те, що компанія бездумно рашить до ASI, пішли саме до Anthropic, бо він позиціонував себе як компанію, що піклується про безпеку.

Одночасно, Холден Карнофські, напевно головна людина серед ефективних альтруїстів (EA) по AI safety, також сьогодні приєднався до Anthropic, як би сигналізуючи, на чиєму боці будуть EA.

Шляхи EA та людей в AI safety завжди, скажімо так, перетиналися лише частково. Чого вартий лише (негативний) вплив Ашенбреннера в Open Philanthropy через розподіл грантів та взагалі через його риторику (знову ж таки, раш до ASI, бо Китай).

Тепер, скажімо так, шляхи EA та AI safety будуть перетинатися ще більш частково.

For the Ring of Power corrupts.

Бюрократи готові робити що завгодно заради «підтримки інновацій». Планувати, розробляти стратегії, створювати комітети, комісії і департаменти. Проводити аналіз і надавати консультації. Влаштовувати конференції і круглі столи. Писати документи і презентації, публікувати закони.

Усе, крім однієї єдиної речі, яка насправді працює і яку зробити найлегше.

Припинити заважати працювати.

Whereupon, as this flood accelerates, even some who imagine themselves sober and skeptical will be unnerved to the point that they venture that perhaps AGI is only 15 years away now, maybe, possibly. The signs might become so blatant, very soon before the end, that people start thinking it is socially acceptable to say that maybe AGI is 10 years off. Though the signs would have to be pretty darned blatant, if they’re to overcome the social barrier posed by luminaries who are estimating arrival times to AGI using their personal knowledge and personal difficulties, as well as all the historical bad feelings about AI winters caused by hype.

But even if it becomes socially acceptable to say that AGI is 15 years out, in those last couple of years or months, I would still expect there to be disagreement. There will still be others protesting that, as much as associative memory and human-equivalent cerebellar coordination (or whatever) are now solved problems, they still don’t know how to construct AGI. They will note that there are no AIs writing computer science papers, or holding a truly sensible conversation with a human, and castigate the senseless alarmism of those who talk as if we already knew how to do that. They will explain that foolish laypeople don’t realize how much pain and tweaking it takes to get the current systems to work. (Although those modern methods can easily do almost anything that was possible in 2017, and any grad student knows how to roll a stable GAN on the first try using the tf.unsupervised module in Tensorflow 5.3.1.)

When all the pieces are ready and in place, lacking only the last piece to be assembled by the very peak of knowledge and creativity across the whole world, it will still seem to the average ML person that AGI is an enormous challenge looming in the distance, because they still won’t personally know how to construct an AGI system. Prestigious heads of major AI research groups will still be writing articles decrying the folly of fretting about the total destruction of all Earthly life and all future value it could have achieved, and saying that we should not let this distract us from real, respectable concerns like loan-approval systems accidentally absorbing human biases.

...

But no matter how the details play out, I do predict in a very general sense that there will be no fire alarm that is not an actual running AGI—no unmistakable sign before then that everyone knows and agrees on, that lets people act without feeling nervous about whether they’re worrying too early. That’s just not how the history of technology has usually played out in much simpler cases like flight and nuclear engineering, let alone a case like this one where all the signs and models are disputed. We already know enough about the uncertainty and low quality of discussion surrounding this topic to be able to say with confidence that there will be no unarguable socially accepted sign of AGI arriving 10 years, 5 years, or 2 years beforehand. If there’s any general social panic it will be by coincidence, based on terrible reasoning, uncorrelated with real timelines except by total coincidence, set off by a Hollywood movie, and focused on relatively trivial dangers.

Написано у 2017 році: https://intelligence.org/2017/10/13/fire-alarm/

Періодичне нагадування, що людина, яка:

- є ключовою особою, що впливає на рішення президента найпотужнішої країни світу;

- має унілатеральний контроль над найбільшим GPU кластером в світі;

- є банально найбагатшою людиною в світі (і відрив зростає);

…

- має зруйнований мозок у повністю серйозному, клінічному сенсі цього слова, навіть елементарні функції якого були атрофовані - напевно, важкою працею, стресом, соціальними мережами та вживанням речовин.

Наша цивілізація банально не має запобіжників проти того, що найбільш багата людина в світі раптово стає берсеркером і знищує все. Вона не очікувала цього. Вона звикла, що мільярдери - це душки, які першу половину свого життя витрачають на те, щоб зробити класні технології, а другу - щоб рятувати дітей в Африці.

Максимально, на що здатна наша цивілізація і окремі люди в ній - це пожартувати про це. Утім, ви смієтеся не з Маска, а зі своєї цивілізації.

The most undignified outcome is the most likely.