Взагалі, я подумав: як би виглядав світ, якби мене зробили глобальним диктатором-самодуром? Тобто, уявімо, що мені дають абсолютну владу, і я веду себе не як адекватний правитель, а як типовий диктатор-самодур, який забуває про будь-який консеквенціоналізм, економічну теорію, технократію та здоровий глузд і просто робить те, до чого спонукають поточні тваринні позови.

Тобто, ще раз: це не те, що я б став робити як я є. Це певна контрфактуальна версія Ігоря, в якій залишили лише капризно-самодурську частину, і ніщо їй не протидіє. Тоді, серед іншого, світ мав би наступні властивості:

- Фундаментальні природничі науковці, особливо біологи та астрономи, отримали б дуже багато бабліща. Like дуже. Основна частина податкового тягару людства йшла б на їх забезпечення.
- Синдарин став би другою державною.
- Було б побудовано величезний і дуже пафосний а-ля Volkshalle "нацтеатр наукової драми".
- Літанію Джендліна було б обов'язково повторювати кожного ранку перед початком роботи чи навчання.
- Було б створено мову програмування LeanRustLisp, яка б агресивно насаджувалася всюди.
- Основною публічною забавою було б спостерігання особливого виду командних інтердисциплінарних науково-аналітичних боїв, детальна концепція яких є в моїй голові, але розписувати яку дуже довго, і проходили б вони в схожих на Колізей стадіонах.
- Було б ведено багато нових офіційних свят, але особливо 4 і 6 травня.

Треба спробувати.

Нарешті нагенерував українською, що складніше! Не ідеально, але задоволений!

https://www.youtube.com/watch?v=DOSHRY7KTrM

І хоча ми живемо в найбільш трагічні часи, ми також живемо в найбільш епічні часи - в часи, коли нам як ніколи надається можливість перевірити власну здатність до гідності та роблення правильних речей.

Я дуже сильно підсів на генерацію пісень за допомогою Suno. Існуючі в світі пісні, виявляється, були дуже далеко від мого оптимуму, і зробити щось, що мені подобається набагато більше, ніж пісні нашого світу, дуже легко. Я відчуваю себе трохи як людина, яка весь час харчувалася їжою з анцестрального середовища, а потім раптово отримала доступ до сучасних солодощей. Можна робити пісні з власних віршів, що ніби дає їм нове життя - бо так вірш написаний, і наче все, але якщо він пісня, то можна слухати, і це приємно. Також можна генерувати слова на основі тем і текстів, скільки завгодно наукових і технічних, і як же мені цього не вистачало! Єдиний функціонал, якого не вистачає, з того, що можу уявити конкретно - це просканувати мій мозок та проаналізувати поточний ліричний стан і наявні обривки фраз, спогадів і настрою і згенерувати відповідну музику та пісні.

Single-cell моделі мають велику силу, і далі буде більше.

Lethal intelligence постійно робить дуже точні меми.

Спостереження:

Прогнози про технічні властивості пресингулярності виявилися більш песимістичними, ніж реальність, а прогнози про соціальні властивості - більш оптимістичними.

Дійсно, 15 років тому здебільшого очікували, що ШІ стане суперінтелектом майже одразу після того, як навчиться розмовляти чи програмувати. Дійсно, зростання інтелекту сучасних ШІ відбувається набагато повільніше, ніж очікували давні прогнози для даного рівня здатностей. Тобто: прогнози могли і очікувати, що зараз будуть такі здатності, але вони не очікували, що, за цих здатностей, процес буде продовжувати тривати роками чи навіть довше. У людства виник час усвідомити та реагувати - що вийшло приємним сюрпризом.

Але - якби хтось припустив 15 років тому, що модель рівня GPT-5-pro підключать до інтернету, ніхто б не став сприймати цю людину серйозно. Усі б сказали, що ця людина просто комічно цинічна по відношенню до людства, і хоча людство має свої вади, треба мати певний ліміт у своїй зневазі до інтелектуальних та моральних його якостей. Аналогічно, коли обговорювали питання «як ШІ отримає власні гроші?», то відповідь «люди просто самі дадуть ШІ агентам десятки тисяч доларів, вони навіть просити не будуть» була б сприйнята як тролінг та відмова приймати участь в адекватній дискусії.

Ми можемо екстраполювати ці тенденції і на майбутнє.

Уявімо собі, що відбувається якесь диво, якого ніхто не очікував. Наприклад, chain-of-thought monitoring працює.

Чи достатньо цього, щоб вижити? Звичайно, що ні. Далі треба, щоб, отримавши подарунок від реальності, ШІ лабораторії погодилися не приймати максимально слюняво-олігофреничне рішення, тобто погодилися не тренувати моделі на те, щоб вони видавали гарну chain-of-thought. Звичайно, що вони зроблять навпаки. Звичайно, вони будуть тренувати на chain-of-thought, як би кретинично це не виглядало з точки зору прогнозиста, який намагається бути адекватним, серйозним, зваженим і не до комічного цинічним.

Сьогодні я офіційно запускаю Theomachia Labs - дослідницьку лабораторію та платформу по AI safety, яка буде масштабувати та координувати зусилля сотень та, ми сподіваємося, пізніше тисяч волонтерів-дослідників в рамках єдиної стратегічної програми.

Я працював над цим в стелс-режимі декілька тижнів. Я був не впевнений, коли починав, чи це має сенс, але обсяг позитивного фідбеку, а також доволі неочікувана для мене велика кількість людей, які бажають доєднатися, переконують мене в тому, що треба робити далі, більше і зараз.

Я прийшов до своїх друзів та знайомих з різних курсів, конференцій та івентів, і сказав їм, повторюючи слова Лютена Раела:

I need all the heroes I can get.

І герої знайшлися. О так, вони знайшлися! Люди з Гарварду, Кембриджу, OpenAI та ETH. Фізики, математики, ШІ-інженери, програмісти, біологи, економісти, юристи. Люди, які вже створювали власні компанії та керували дослідницькими групами.

Ідея, яка певний час зріла в моїй голові - про те, що є купа талановитих і адекватних людей, які готові тверезо працювати над порятунком людства від недружнього ШІ, підтвердилася і навіть надпідтвердилася. І це тільки початок, бо до сьогодні я не робив ще публічних оголошень чи енгейджменту, і лише пройшовся по власних знайомих!

Також, одразу знайшлися адвайзери з самого топа. Декілька буквальних друзів Юдковського, CEO деяких з найбільших AI safety організацій, один з головних вчених по алайнменту в світі і директор PauseAI, леді Галадріель спільноти AI safety, з якою ми будемо безпосередньо співпрацювати над AI governance.

Чесно кажучи, я трохи шокований, і в минулі часи подофігів би від відповідальності, яка навалилася. Я трохи пожив це життя і поробив речей, але все, що було до цього, виглядає як дитячі ігри на фоні тих задач, які виникли зараз, і їх гіпотетичного впливу.

Навіть зараз мені трохи страшно, але все ж таки, це було приємним сюрпризом для мене, і ми, те що називається, are going to ride the momentum. В кінцевому рахунку, все прийшло до того, що я вмію найкраще - організовувати і спрямовувати великі команди розумних людей.

Як так вийшло, що це вийшло, принаймні на поточний момент? Частково, тому що речі робляться, коли ти їх робиш. Частково, думаю, тому що старші люди в галузі побачили те, що я розумію технічну складність проблеми і маю серйозність щодо того, щоб не робити шкідливих речей - а це, на жаль, не так часто стається, як хотілося б. Але, що напевно більш важливо - набагато більше, ніж здається, розумних людей зараз дуже мотивовані, або навіть краще сказати, приведені у відчай проблемою можливого скорого знищення людства штучним інтелектом. Вони не просто готові працювати - вони надзвичайно раді, що нарешті в них є така можливість і що вони можуть співпрацювати з іншими такими людьми.

Тому, ми починаємо сьогодні. This day.

A day may come when the courage of men fails, when we forsake our hopes for the future and break all bonds of human love and dignity, but it is not this day.

An hour of grey goo and darkened skies, when the age of biological life comes crashing down, but it is not this day!

This day we fight! By all that you hold dear on this good Earth, I bid you stand, homo sapiens!

Ніцше про social media brain rot.

"Отже, поволі проходячи крізь численні народи й розмаїті міста, Заратустра кружним шляхом повертався в гори до своєї печери. Та ось він зненацька підійшов до брами великого міста, – аж тут до нього з розкритими обіймами кинувся біснуватий блазень і заступив дорогу. Це був той самий блазень, котрого люди звали Заратустриною мавпою, бо він перейняв трохи з його слова і мови і полюбляв черпати зі скарбниці його мудрості. Блазень так заговорив до Заратустри:
...
О Заратустро, в ім'я всього ясного, міцного й доброго! Плюнь на це крамарське місто і повертай назад!
Кров тут ледача, спляча й піниться безсило в усіх жилах: плюнь на велике місто– великий смітник, де піниться плісняве шумовиння!
Плюнь на місто розчавлених душ і запалих грудей, заздрих очей і липучих пальців,–
на місто нахаб, соромітників, писак, кривляк, горлопанів, роз'ятрених честолюбців,
де все нужденне, мерзенне, хтиве, чванливе, розкисле, прищаве, зловмисне росте величезним гнояком, –
плюнь на велике місто і повертай назад!
Але тут Заратустра урвав біснуватого блазня і затулив йому рота.
– Спинися нарешті! – крикнув Заратустра.
Мені давно огидні твої мова і вдача.
Навіщо ти жив у болоті так довго, що сам обернувся на жабу і ропуху?
Хіба тепер у твоїх жилах не млява, пінява, болотяна кров, якщо ти навчився так квакати і паплюжити?
Чому ти не пішов у ліс? Або не орав ниву? Хіба в морі мало зелених островів?
Я зневажаю твою зневагу, і якщо ти застерігаєш мене, то чому не застеріг себе самого?
Моя зневага і птах моєї перестороги повинні злетіти тільки з любові, а не з болота!
Тебе, біснуватий блазню, звуть моєю мавпою, та я називаю тебе зарохканою свинею, – ти паскудиш рохканням мою похвалу глупоті.
З якої ж причини ти зарохкав уперше? Тільки тому, що ніхто не лестив тобі вдосталь – ось і сів ти біля цих покидьків, щоб мати причину рохкати досхочу,–
щоб мати причину досхочу мститися! Бо вся твоя запіненість, марнославний блазню, це тільки помста, я добре розгадав тебе!
Одначе, твоє блазенське слово шкодить мені навіть там, де ти маєш рацію! Навіть якби Заратустрине слово стократ мало рацію, ти все одно шкодив би мені – моїм словом!
Так сказав Заратустра, подивився на велике місто, зітхнув і довго мовчав. Врешті сказав таке:
– Мені огидне й це велике місто, не тільки блазень. І тут, і там уже не зробиш ні краще, ні гірше!
Лихо великому містові! Хотів би я побачити вогняний стовп, у якому воно згорить!
Адже такі вогняні стовпи мали б передувати великому полудню. Та всьому свій час і своя доля.
А на прощання, блазню, послухай таку настанову: де вже несила любити, там слід – обминути!
Так сказав Заратустра й обминув блазня та велике місто."

Талеб ще давно помітив, що справжні підприємці ніколи не описують себе як «підприємців». Вони описують себе функціонально:
«Я продаю чоботи».
«Я роблю ПО для банків».
«Я будую ракети».

Утім, є набагато гірша самоназва, ніж «підприємець». Це «інтелектуал».

Я спіймав себе на думці, що коли когось називають чи хтось себе називає «інтелектуалом», це дуже поганий знак. Подумав, чи можу я згадати контрприклади. Ні, жодного. Звичайно, десь у світі є розумна людина, яку систематично називають «інтелектуалом», але треба багато зусиль, щоб її знайти.

Я б пішов навіть далі і сказав би, що майже будь-яке серйозне інструментальне застосування категорії «інтелектуал» є поганою ознакою. Наприклад, якщо людина каже, що їй подобаються інтелектуали.