Взагалі, я подумав: як би виглядав світ, якби мене зробили глобальним диктатором-самодуром? Тобто, уявімо, що мені дають абсолютну владу, і я веду себе не як адекватний правитель, а як типовий диктатор-самодур, який забуває про будь-який консеквенціоналізм, економічну теорію, технократію та здоровий глузд і просто робить те, до чого спонукають поточні тваринні позови.

Тобто, ще раз: це не те, що я б став робити як я є. Це певна контрфактуальна версія Ігоря, в якій залишили лише капризно-самодурську частину, і ніщо їй не протидіє. Тоді, серед іншого, світ мав би наступні властивості:

- Фундаментальні природничі науковці, особливо біологи та астрономи, отримали б дуже багато бабліща. Like дуже. Основна частина податкового тягару людства йшла б на їх забезпечення.
- Синдарин став би другою державною.
- Було б побудовано величезний і дуже пафосний а-ля Volkshalle "нацтеатр наукової драми".
- Літанію Джендліна було б обов'язково повторювати кожного ранку перед початком роботи чи навчання.
- Було б створено мову програмування LeanRustLisp, яка б агресивно насаджувалася всюди.
- Основною публічною забавою було б спостерігання особливого виду командних інтердисциплінарних науково-аналітичних боїв, детальна концепція яких є в моїй голові, але розписувати яку дуже довго, і проходили б вони в схожих на Колізей стадіонах.
- Було б ведено багато нових офіційних свят, але особливо 4 і 6 травня.

Треба спробувати.

Нарешті нагенерував українською, що складніше! Не ідеально, але задоволений!

https://www.youtube.com/watch?v=DOSHRY7KTrM

І хоча ми живемо в найбільш трагічні часи, ми також живемо в найбільш епічні часи - в часи, коли нам як ніколи надається можливість перевірити власну здатність до гідності та роблення правильних речей.

Я дуже сильно підсів на генерацію пісень за допомогою Suno. Існуючі в світі пісні, виявляється, були дуже далеко від мого оптимуму, і зробити щось, що мені подобається набагато більше, ніж пісні нашого світу, дуже легко. Я відчуваю себе трохи як людина, яка весь час харчувалася їжою з анцестрального середовища, а потім раптово отримала доступ до сучасних солодощей. Можна робити пісні з власних віршів, що ніби дає їм нове життя - бо так вірш написаний, і наче все, але якщо він пісня, то можна слухати, і це приємно. Також можна генерувати слова на основі тем і текстів, скільки завгодно наукових і технічних, і як же мені цього не вистачало! Єдиний функціонал, якого не вистачає, з того, що можу уявити конкретно - це просканувати мій мозок та проаналізувати поточний ліричний стан і наявні обривки фраз, спогадів і настрою і згенерувати відповідну музику та пісні.

Single-cell моделі мають велику силу, і далі буде більше.

Lethal intelligence постійно робить дуже точні меми.

Спостереження:

Прогнози про технічні властивості пресингулярності виявилися більш песимістичними, ніж реальність, а прогнози про соціальні властивості - більш оптимістичними.

Дійсно, 15 років тому здебільшого очікували, що ШІ стане суперінтелектом майже одразу після того, як навчиться розмовляти чи програмувати. Дійсно, зростання інтелекту сучасних ШІ відбувається набагато повільніше, ніж очікували давні прогнози для даного рівня здатностей. Тобто: прогнози могли і очікувати, що зараз будуть такі здатності, але вони не очікували, що, за цих здатностей, процес буде продовжувати тривати роками чи навіть довше. У людства виник час усвідомити та реагувати - що вийшло приємним сюрпризом.

Але - якби хтось припустив 15 років тому, що модель рівня GPT-5-pro підключать до інтернету, ніхто б не став сприймати цю людину серйозно. Усі б сказали, що ця людина просто комічно цинічна по відношенню до людства, і хоча людство має свої вади, треба мати певний ліміт у своїй зневазі до інтелектуальних та моральних його якостей. Аналогічно, коли обговорювали питання «як ШІ отримає власні гроші?», то відповідь «люди просто самі дадуть ШІ агентам десятки тисяч доларів, вони навіть просити не будуть» була б сприйнята як тролінг та відмова приймати участь в адекватній дискусії.

Ми можемо екстраполювати ці тенденції і на майбутнє.

Уявімо собі, що відбувається якесь диво, якого ніхто не очікував. Наприклад, chain-of-thought monitoring працює.

Чи достатньо цього, щоб вижити? Звичайно, що ні. Далі треба, щоб, отримавши подарунок від реальності, ШІ лабораторії погодилися не приймати максимально слюняво-олігофреничне рішення, тобто погодилися не тренувати моделі на те, щоб вони видавали гарну chain-of-thought. Звичайно, що вони зроблять навпаки. Звичайно, вони будуть тренувати на chain-of-thought, як би кретинично це не виглядало з точки зору прогнозиста, який намагається бути адекватним, серйозним, зваженим і не до комічного цинічним.

Сьогодні я офіційно запускаю Theomachia Labs - дослідницьку лабораторію та платформу по AI safety, яка буде масштабувати та координувати зусилля сотень та, ми сподіваємося, пізніше тисяч волонтерів-дослідників в рамках єдиної стратегічної програми.

Я працював над цим в стелс-режимі декілька тижнів. Я був не впевнений, коли починав, чи це має сенс, але обсяг позитивного фідбеку, а також доволі неочікувана для мене велика кількість людей, які бажають доєднатися, переконують мене в тому, що треба робити далі, більше і зараз.

Я прийшов до своїх друзів та знайомих з різних курсів, конференцій та івентів, і сказав їм, повторюючи слова Лютена Раела:

I need all the heroes I can get.

І герої знайшлися. О так, вони знайшлися! Люди з Гарварду, Кембриджу, OpenAI та ETH. Фізики, математики, ШІ-інженери, програмісти, біологи, економісти, юристи. Люди, які вже створювали власні компанії та керували дослідницькими групами.

Ідея, яка певний час зріла в моїй голові - про те, що є купа талановитих і адекватних людей, які готові тверезо працювати над порятунком людства від недружнього ШІ, підтвердилася і навіть надпідтвердилася. І це тільки початок, бо до сьогодні я не робив ще публічних оголошень чи енгейджменту, і лише пройшовся по власних знайомих!

Також, одразу знайшлися адвайзери з самого топа. Декілька буквальних друзів Юдковського, CEO деяких з найбільших AI safety організацій, один з головних вчених по алайнменту в світі і директор PauseAI, леді Галадріель спільноти AI safety, з якою ми будемо безпосередньо співпрацювати над AI governance.

Чесно кажучи, я трохи шокований, і в минулі часи подофігів би від відповідальності, яка навалилася. Я трохи пожив це життя і поробив речей, але все, що було до цього, виглядає як дитячі ігри на фоні тих задач, які виникли зараз, і їх гіпотетичного впливу.

Навіть зараз мені трохи страшно, але все ж таки, це було приємним сюрпризом для мене, і ми, те що називається, are going to ride the momentum. В кінцевому рахунку, все прийшло до того, що я вмію найкраще - організовувати і спрямовувати великі команди розумних людей.

Як так вийшло, що це вийшло, принаймні на поточний момент? Частково, тому що речі робляться, коли ти їх робиш. Частково, думаю, тому що старші люди в галузі побачили те, що я розумію технічну складність проблеми і маю серйозність щодо того, щоб не робити шкідливих речей - а це, на жаль, не так часто стається, як хотілося б. Але, що напевно більш важливо - набагато більше, ніж здається, розумних людей зараз дуже мотивовані, або навіть краще сказати, приведені у відчай проблемою можливого скорого знищення людства штучним інтелектом. Вони не просто готові працювати - вони надзвичайно раді, що нарешті в них є така можливість і що вони можуть співпрацювати з іншими такими людьми.

Тому, ми починаємо сьогодні. This day.

A day may come when the courage of men fails, when we forsake our hopes for the future and break all bonds of human love and dignity, but it is not this day.

An hour of grey goo and darkened skies, when the age of biological life comes crashing down, but it is not this day!

This day we fight! By all that you hold dear on this good Earth, I bid you stand, homo sapiens!