Imagine, if would—though of course nothing like this ever happened, it being just a parable—that biological life on Earth had been the result of a game between gods. That there was a tiger-god that had made tigers, and a redwood-god that had made redwood trees. Imagine that there were gods for kinds of fish and kinds of bacteria. Imagine these game-players competed to attain dominion for the family of species that they sponsored, as life-forms roamed the planet below.
Imagine that, some two million years before our present day, an obscure ape-god looked over their vast, planet-sized gameboard.
“It’s going to take me a few more moves,” said the hominid-god, “but I think I’ve got this game in the bag.”
There was a confused silence, as many gods looked over the gameboard trying to see what they had missed. The scorpion-god said, “How? Your ‘hominid’ family has no armor, no claws, no poison.”
“Their brain,” said the hominid-god.
“I infect them and they die,” said the smallpox-god.
“For now,” said the hominid-god. “Your end will come quickly, Smallpox, once their brains learn how to fight you.”
“They don’t even have the largest brains around!” said the whale-god.
“It’s not all about size,” said the hominid-god. “The design of their brain has something to do with it too. Give it two million years and they will walk upon their planet’s moon.”
“I am really not seeing where the rocket fuel gets produced inside this creature’s metabolism,” said the redwood-god. “You can’t just think your way into orbit. At some point, your species needs to evolve metabolisms that purify rocket fuel—and also become quite large, ideally tall and narrow—with a hard outer shell, so it doesn’t puff up and die in the vacuum of space. No matter how hard your ape thinks, it will just be stuck on the ground, thinking very hard.”
“Some of us have been playing this game for billions of years,” a bacteria-god said with a sideways look at the hominid-god. “Brains have not been that much of an advantage up until now.”
“And yet,” said the hominid-god.

One way or another, the people who thought that nuclear war would destroy everything in the coming decades ended up wrong.
They were not wrong about the dangers. They weren’t wrong that a hydrogen bomb would flatten and burn a city, or about what it would be like to die of radiation poisoning, or about how an intercontinental rocket tipped with nuclear warheads would penetrate the best available defenses.
Rather, they were wrong about humanity’s ability to decide not to die.
We don’t know for sure why the war-prone peoples of Earth became that little bit wiser. But our guess is that, for the first time in human history, everyone who had the power to choose war expected to personally have a bad time if one broke out. Other wars might have put distant soldiers to ruin, but this one would bring ruin directly to their doorstep. The stronger power would also lose.
Even so, it wasn’t simple or easy to avoid nuclear war. Negotiators worked tirelessly, for decade after decade, to avoid a single misstep that might lead to a fatal nuclear encounter. Countries had arms agreements and monitors. There was a direct line between U.S. leadership and Soviet leadership, in case somebody had to resolve a question very quickly.
Humanity averted nuclear war because people who understood that the world was on track for destruction worked hard to change tracks. They did not see themselves as trying to prevent an improbable unlikely accident. They worked to un-write a fate already written.
And civilization lived.

І нарешті, головне.

From time to time, people have asked us if we’ve felt vindicated to see our past predictions coming true or to see more attention getting paid to us and this issue.

And so, at the end, we say this prayer:

May we be wrong, and shamed for how incredibly wrong we were, and fade into irrelevance and be forgotten except as an example of how not to think, and may humanity live happily ever after.

But we will not put our last faith and hope in doing nothing. So our true last prayer is this:

Rise to the occasion, humanity, and win.

Якщо уявити, суто в рамках мисленневого експерименту, що весь цей жах з ШІ і війною якимось чином закінчується чи скасовується, і старіння теж вирішено, і в світі нема інших пожеж, які треба негайно гасити, то я думаю, я б взяв років 10 відпуски.

Жив би під Києвом, збирав мінерали, вирощував рослини, дивився в телескоп, читав книжки. Вчив би школярів чомусь. Милувався б заходами Сонця над Дніпром.

Може, це набридло би швидше, ніж за 10 років, але зараз здається, що треба не менше.

Якби я був диктатором, то день водоростей був би офіційним святом. Але ніхто б не відпочивав. Бо всі б в цей день досліджували водорості.

Взагалі, я подумав: як би виглядав світ, якби мене зробили глобальним диктатором-самодуром? Тобто, уявімо, що мені дають абсолютну владу, і я веду себе не як адекватний правитель, а як типовий диктатор-самодур, який забуває про будь-який консеквенціоналізм, економічну теорію, технократію та здоровий глузд і просто робить те, до чого спонукають поточні тваринні позови.

Тобто, ще раз: це не те, що я б став робити як я є. Це певна контрфактуальна версія Ігоря, в якій залишили лише капризно-самодурську частину, і ніщо їй не протидіє. Тоді, серед іншого, світ мав би наступні властивості:

- Фундаментальні природничі науковці, особливо біологи та астрономи, отримали б дуже багато бабліща. Like дуже. Основна частина податкового тягару людства йшла б на їх забезпечення.
- Синдарин став би другою державною.
- Було б побудовано величезний і дуже пафосний а-ля Volkshalle "нацтеатр наукової драми".
- Літанію Джендліна було б обов'язково повторювати кожного ранку перед початком роботи чи навчання.
- Було б створено мову програмування LeanRustLisp, яка б агресивно насаджувалася всюди.
- Основною публічною забавою було б спостерігання особливого виду командних інтердисциплінарних науково-аналітичних боїв, детальна концепція яких є в моїй голові, але розписувати яку дуже довго, і проходили б вони в схожих на Колізей стадіонах.
- Було б ведено багато нових офіційних свят, але особливо 4 і 6 травня.

Треба спробувати.

Нарешті нагенерував українською, що складніше! Не ідеально, але задоволений!

https://www.youtube.com/watch?v=DOSHRY7KTrM

І хоча ми живемо в найбільш трагічні часи, ми також живемо в найбільш епічні часи - в часи, коли нам як ніколи надається можливість перевірити власну здатність до гідності та роблення правильних речей.

Я дуже сильно підсів на генерацію пісень за допомогою Suno. Існуючі в світі пісні, виявляється, були дуже далеко від мого оптимуму, і зробити щось, що мені подобається набагато більше, ніж пісні нашого світу, дуже легко. Я відчуваю себе трохи як людина, яка весь час харчувалася їжою з анцестрального середовища, а потім раптово отримала доступ до сучасних солодощей. Можна робити пісні з власних віршів, що ніби дає їм нове життя - бо так вірш написаний, і наче все, але якщо він пісня, то можна слухати, і це приємно. Також можна генерувати слова на основі тем і текстів, скільки завгодно наукових і технічних, і як же мені цього не вистачало! Єдиний функціонал, якого не вистачає, з того, що можу уявити конкретно - це просканувати мій мозок та проаналізувати поточний ліричний стан і наявні обривки фраз, спогадів і настрою і згенерувати відповідну музику та пісні.

Single-cell моделі мають велику силу, і далі буде більше.

Lethal intelligence постійно робить дуже точні меми.

Спостереження:

Прогнози про технічні властивості пресингулярності виявилися більш песимістичними, ніж реальність, а прогнози про соціальні властивості - більш оптимістичними.

Дійсно, 15 років тому здебільшого очікували, що ШІ стане суперінтелектом майже одразу після того, як навчиться розмовляти чи програмувати. Дійсно, зростання інтелекту сучасних ШІ відбувається набагато повільніше, ніж очікували давні прогнози для даного рівня здатностей. Тобто: прогнози могли і очікувати, що зараз будуть такі здатності, але вони не очікували, що, за цих здатностей, процес буде продовжувати тривати роками чи навіть довше. У людства виник час усвідомити та реагувати - що вийшло приємним сюрпризом.

Але - якби хтось припустив 15 років тому, що модель рівня GPT-5-pro підключать до інтернету, ніхто б не став сприймати цю людину серйозно. Усі б сказали, що ця людина просто комічно цинічна по відношенню до людства, і хоча людство має свої вади, треба мати певний ліміт у своїй зневазі до інтелектуальних та моральних його якостей. Аналогічно, коли обговорювали питання «як ШІ отримає власні гроші?», то відповідь «люди просто самі дадуть ШІ агентам десятки тисяч доларів, вони навіть просити не будуть» була б сприйнята як тролінг та відмова приймати участь в адекватній дискусії.

Ми можемо екстраполювати ці тенденції і на майбутнє.

Уявімо собі, що відбувається якесь диво, якого ніхто не очікував. Наприклад, chain-of-thought monitoring працює.

Чи достатньо цього, щоб вижити? Звичайно, що ні. Далі треба, щоб, отримавши подарунок від реальності, ШІ лабораторії погодилися не приймати максимально слюняво-олігофреничне рішення, тобто погодилися не тренувати моделі на те, щоб вони видавали гарну chain-of-thought. Звичайно, що вони зроблять навпаки. Звичайно, вони будуть тренувати на chain-of-thought, як би кретинично це не виглядало з точки зору прогнозиста, який намагається бути адекватним, серйозним, зваженим і не до комічного цинічним.

Сьогодні я офіційно запускаю Theomachia Labs - дослідницьку лабораторію та платформу по AI safety, яка буде масштабувати та координувати зусилля сотень та, ми сподіваємося, пізніше тисяч волонтерів-дослідників в рамках єдиної стратегічної програми.

Я працював над цим в стелс-режимі декілька тижнів. Я був не впевнений, коли починав, чи це має сенс, але обсяг позитивного фідбеку, а також доволі неочікувана для мене велика кількість людей, які бажають доєднатися, переконують мене в тому, що треба робити далі, більше і зараз.

Я прийшов до своїх друзів та знайомих з різних курсів, конференцій та івентів, і сказав їм, повторюючи слова Лютена Раела:

I need all the heroes I can get.

І герої знайшлися. О так, вони знайшлися! Люди з Гарварду, Кембриджу, OpenAI та ETH. Фізики, математики, ШІ-інженери, програмісти, біологи, економісти, юристи. Люди, які вже створювали власні компанії та керували дослідницькими групами.

Ідея, яка певний час зріла в моїй голові - про те, що є купа талановитих і адекватних людей, які готові тверезо працювати над порятунком людства від недружнього ШІ, підтвердилася і навіть надпідтвердилася. І це тільки початок, бо до сьогодні я не робив ще публічних оголошень чи енгейджменту, і лише пройшовся по власних знайомих!

Також, одразу знайшлися адвайзери з самого топа. Декілька буквальних друзів Юдковського, CEO деяких з найбільших AI safety організацій, один з головних вчених по алайнменту в світі і директор PauseAI, леді Галадріель спільноти AI safety, з якою ми будемо безпосередньо співпрацювати над AI governance.

Чесно кажучи, я трохи шокований, і в минулі часи подофігів би від відповідальності, яка навалилася. Я трохи пожив це життя і поробив речей, але все, що було до цього, виглядає як дитячі ігри на фоні тих задач, які виникли зараз, і їх гіпотетичного впливу.

Навіть зараз мені трохи страшно, але все ж таки, це було приємним сюрпризом для мене, і ми, те що називається, are going to ride the momentum. В кінцевому рахунку, все прийшло до того, що я вмію найкраще - організовувати і спрямовувати великі команди розумних людей.

Як так вийшло, що це вийшло, принаймні на поточний момент? Частково, тому що речі робляться, коли ти їх робиш. Частково, думаю, тому що старші люди в галузі побачили те, що я розумію технічну складність проблеми і маю серйозність щодо того, щоб не робити шкідливих речей - а це, на жаль, не так часто стається, як хотілося б. Але, що напевно більш важливо - набагато більше, ніж здається, розумних людей зараз дуже мотивовані, або навіть краще сказати, приведені у відчай проблемою можливого скорого знищення людства штучним інтелектом. Вони не просто готові працювати - вони надзвичайно раді, що нарешті в них є така можливість і що вони можуть співпрацювати з іншими такими людьми.

Тому, ми починаємо сьогодні. This day.

A day may come when the courage of men fails, when we forsake our hopes for the future and break all bonds of human love and dignity, but it is not this day.

An hour of grey goo and darkened skies, when the age of biological life comes crashing down, but it is not this day!

This day we fight! By all that you hold dear on this good Earth, I bid you stand, homo sapiens!