Багато разів питали "як саме суперінтелект всіх вб'є?" Я відповідав в коментарях в загальному вигляді. Але знайшов історію, яка візуалізує конкретний реалістичний сценарій, як це може трапитися. Звичайно, як кожен конкретний сценарій, він має ймовірність близьку до нуля, але він передає дух чи ступінь події і наводить деяку лінію, на яку можна орієнтуватися в плані уяви. Також пам'ятайте, що це сценарій, до якого додумалася людина - а це означає, що удар суперінтелекту буде більш летальним, більш моментальним, і більш позбавленим можливих провалів. І остання частина про майбутнє людей - цього практично гарантовано не буде. https://www.lesswrong.com/posts/KFJ2LFogYqzfGB3uX/how-ai-takeover-might-happen-in-2-years

Неочікувано, але угода Трампа "корисні копалини в обмін на допомогу" виглядає... Абсолютно гарною і позитивною для України? В сучасному світі, корисні копалини (окрім, хіба що, енергоносіїв, але це тимчасово) нічого не вирішують і вже не будуть вирішувати. До того ж, Україна все одно не буде їх видобудувати, але навіть якби це відбулося, корисні копалини не є економічним ботлнеком взагалі - ніде і не для чого. У світі нема і не буде країни, яка бідна через те, що в неї мало корисних копалин. Дивно, що Трамп попросив це, а не щось покраще для себе. Може, він щиро вірить, що корисні копалини мають якусь стратегічну цінність - це б чудово узгоджувалося з його судячи зі всього реальним (і хибним) переконанням про те, що важливо отримати більше території (Гренландія, Канада), хоча території вже теж давно нічого не вирішують. З іншого боку, якщо уявити на посаді президента США адекватну людину, то вона б зробила напевно щось подібне до «пропозиції Трампа»: допомогла б Україні практично задарма, при цьому задовольнивши кровожерливість МАГА ("дивіться, як я розвів цих хохлів! Вони і так пачками від росіян мруть, а зараз ми ще їх корисних копалин позбавимо!", на що МАГА відповідають "Ура!" і далі не звертають увагу на подальшу допомогу). Але хто ж його знає. Може, це все взагалі неправда, бо Трамп стільки бреше, при чому не стратегічно, що я не бачу жодного способу відрізнити правду.

З багатьох джерел виникла ідея зробити онлайн івент для підписників (відео зустріч чи стрім). Поки що я зробив форму, щоб оцінити кількість охочих та зібрати побажання щодо івенту. Заповнюйте, якщо вам цікаво: https://docs.google.com/forms/d/e/1FAIpQLSfS73MWgScRAlWvTyuUom_U5fK3jWbXyfx7neh4pTaCfsBYoQ/viewform?usp=dialog

Ладно, добре, це було марне сподівання.

Найбільш undignified таймлайн обійти неможливо.

Кинута всіма і атакована багатьма - не тільки без причин, але й усупереч інтересам і людства, і кожної окремої країни - Україна має не лише право, але й гуманітарний обовʼязок прийняти необхідне рішення.

Це стратегічна потреба і військова необхідність, але також щось навіть більше - моральний імператив.

Україна не мала б жодних зобовʼязань перед світом, навіть якби вони мали сенс. Один гарант її безпеки намагається знищити її військово, інший її гарант, який відігравав роль світового поліцейського для майже усіх, окрім неї, атакує її політично і допомагає першому, а інші просто дивляться.

Україна не мала б жодних зобовʼязань перед ними, навіть якби вони мали сенс, але вони не мають сенсу.

У світі, що складається з кровожерливих садистів, їхніх посіпак і пасивних спостерігачів, прийняти важке, але необхідне рішення є нічим іншим, як великим подарунком для людства і історії.

І хто як не Україна може його прийняти?

Так, люди пасивні. Навіть перед обличчям смерті, вони не виходять за рамки звичного існування, не роблять екстраординарних зусиль, не намагаються перемогти по-справжньому. Вони можуть йти на жертви і великі екстенсивні зусилля, але вони все одно діють в рамках своїх ролей.

В цілому, це все правда, але світ, мені здається, занадто сильно розраховує на це. Коли ви залишаєте десяткам мільйонів людей вибір між смертю, сповненою страждань, і смертю, сповненою страждань, коли ви достатньо довго, сильно і нахабно тиснете на них, щоб вони зробили цей вибір, коли ви сигналізуєте їм, що їхня провина полягає в тому, що вони не померли вчасно, ви можете догратися.

Увесь світ і історія запрошують Україну зробити те, що необхідно.

https://music.youtube.com/watch?v=vxa8ShIm9yw&si=2FcXJ11CkWUJ-qd1

Люди існують на нижній межі general intelligence. Як вид ми не відійшли еволюційно ані на міліметр від того пункту, де еволюція створила minimum viable general intelligence - просто тому, що не було ані часу, ані необхідного тиску відбору після цього.

Люди балансують в сутінковій зоні між розумом та сном розуму. Це складно побачити зсередини, але це можна побачити. Достатньо пройти dx в бік меншого інтелекту, щоб людина втратила здатність мислити повністю. І навпаки, достатньо пройти dx в бік більшого інтелекту, щоб людина перейшла на якісно інший рівень мислення.

Я згадую цитату Вігнера про фон Ноймана: "тільки він повністю прокинувся."

Дуже розумні люди, чисельні нобелівські лауреати - ті, кого багато хто назвав би геніями - згадували фон Ноймана як єдину людину, що вийшла з цієї сутінкової зони. Напевно, в них був достатній рівень рефлексії і загальних когнітивних здібностей, щоб принаймні помічати ідіосинкратично поганий стан дефолтного людського мислення, а також різницю між ним і адекватним мисленням. Але навіть у них не було здібностей, щоб дійти до цього стану самим.

Згідно зі старою традицією, будь-яка лекція по AI з будь-яким професором за 40 починається приблизно з такого монологу, але не повністю безпідставно. Без контексту розвитку галузі за весь час її існування, складно побачити наскільки увесь сучасний ШІ є дуже вузьким і при цьому грубим окремим випадком. Менш ефективними, ніж градієнтний спуск, за використанням обчислювальних потужностей є, напевно, лише простий пошук та генетичні алгоритми.

Системний промпт Грока буквально вимагає ігнорувати критику Трампа і Маска.

За чисельними проханнями, зробив вступний навігаційний пост для каналу. Скоро буде.

Ласкаво прошу до Homo Technicus!

Хто я як автор? Юдковськіансько-ніцшеансько-баєсіанський TESCREALьний апологет розуму, прогресу, евдемонії і істот, що мають кваліа. Моя модель моєї функції корисності буде насичена, коли уся досяжна реальність буде заповнена щасливими цивілізаціями sentient істот, які живуть своє найкраще життя - гідне, веселе і інтелектуальне.

Як людина, я маю дуже різні інтереси і займаюся дуже різними речами. Робив дослідження в економіці, біології, ШІ і математиці, працював аналітиком, фаундером, активістом, програмістом, інвестиційним фахівцем, менеджером, продактом і керівником декількох компаній. Значну частину своєї кар'єри я провів, просуваючи передові технології і знання, які можуть зробити життя людей краще. Зараз я займаюся AI in biology (більш успішно) та AI alignment (менш успішно). Усе про мене можна знайти тут: https://linktr.ee/kendiukhov

Шукаю кофаундерів для AI in biology стартапу і шукаю учня (апдейт: вже знайшов, але можу брати ще).

Про що цей канал? Традиційно, він був про трансгуманізм, раціональність, продуктивність, науку, технології і ідеології майбутнього і про те, що рухає людство вперед, а також інколи мої рандомні думки з різних питань. Зараз, він у значній частині не тільки про це, але й про екзистенційні ризики штучного суперінтелекту. Я вважаю, що існує немала ймовірність, що в недалекому майбутньому буде створено штучний суперінтелект і що він усіх вб'є. Я вважаю, що існують дуже серйозні підстави так вважати, і я не можу про це мовчати.

Декілька важливих постів:

My coming of age.

Компіляція джерел про продуктивність, а також моя стаття про це.

Жартівливий пост про сучасний дискурс щодо ШІ ризиків.

Люди, що найбільше вплинули на мене (і далі під ним пости про кожного з цих людей).

Позорний пост, який я написав, не подумавши серйозно, і який завжди мені буде нагадуванням того, наскільки я можу помилятися.

Реальність не обійти і з нею не домовитися.

4 вершники апокаліпсису економічної науки.

Скетч бачення кращого світу, а також мої інші роздуми про це.

Деякі мої контроверсійні переконання.

Whispers of Singularity (вже застаріла, треба писати нову статтю).

Сьогодні, ще набагато більш актуально.

Якщо вище політичне керівництво США так хоче, щоб Україна робила ядерну зброю, і якщо воно спонукає робити ядерну зброю взагалі усіх, то навіщо себе стримувати?

Не знаю, чи встигне ядерна проліферація відбутися до ASI, але вона принаймні почне відбуватися, з усіма витікаючими. Це не жарт і це звичайно далеко не тільки про Україну.

https://music.youtube.com/watch?v=Qwwd2uzmm44&si=qkUEE_nYraAMU5O8

"Мы живем, пред собою не видя lightcone,
Наши речи как будто погибельный стон,
А как станет особенно дурно -
Там припомнят техасского бура.
Дядя Сем под него совершает прогиб,
xAI все растет словно ядерный гриб,
И вздымаются руки злодейства
Прямо к Марсу от мертвого сердца.

А вокруг него орды фанатов вождей,
Торгующих мемы и жизни людей.
Им community notes не помеха -
От Москвы в Калифорнию эхо.
Словно дозу, в себя принимая "free speech",
"Мир в труху" - горделиво разносят свой клич,
Над убийствами ржут голосисто -
И пустые глаза аутиста."

https://genius.com/Osip-mandelstam-we-live-annotated

Чомусь, я раніше ніколи не задавав собі серйозно питання: про що я жалкував би перед смертю? Коли я його задав нарешті, то найбільш значущою частиною відповіді виявилася здавалося б тривіальна річ: я б жалкував найбільше про те, що я не висловлював в повній мірі свої добрі почуття, дії і думки про людей. Звичайно, я робив це завжди, але не в тому ступені, в якому це було б варто робити.

Ми, люди, поставили слово sapiens в назву свого виду. Утім, найважливіший факт про нас не те, що ми sapient, а те, що ми sentient. Ми - люди. Ми відчуваємо самі і відчуваємо, що відчувають інші. Страждання інших - наші страждання, і щастя інших - наше щастя. Не всі інтелекти такі, але людські - такі.

Я не хіппі і не virtue signaler. Мене самого дратують трюїзми типу «любов переможе» чи «наука не вчить бути добрим». Хто знає мене, той знає, що я б сказав, що доброта повинна бути доукомлектована великими обчислювальними потужностями, наноасемблерами та генераторами енергії.

Хто знає мене, той знає, що я не прихильник шаблонних фраз - але правда полягає в тому, що цінність навіть найбільш ефективного і масштабного механізму з використання негентропії дорівнює нулю, якщо при цьому не виробляється хоча б трохи любові.

Коли я нарешті уявив це по-справжньому, я усвідомив усю безглуздість того, що я не висловлював деяких своїх добрих думок і почуттів і не робив добрі вчинки, коли міг легко їх зробити. Я думав, як я буду думати колись про себе сучасного, і я бачив, як сумно мені майбутньому буде через те, що я сучасний не зробив елементарних речей.

І я зробив їх. Написав багатьом людям, яких я поважав, чиї якості чи вчинки мені подобалися, але я ніколи не казав цього. Написав багато речей, які чомусь соромився казати, хоча вони були абсолютно чесні і позитивні. Виконав елементарні акти допомоги, які відкладав до якихось часів. Мені було незручно і прикро, що я так довго приховував їх від самого себе, але радість від того, що я нарешті роблю це, переважала.

Я плакав.

«Найкращий час посадити дерево був 20 років тому. Наступний найкращий час - зараз».

Я плакав і не розумів, чому я не зробив цього раніше. Але я не міг дозволити собі не зробити цього хоча б зараз, під тиском цього дискомфорту. І в кінцевому рахунку, дискомфорт зник, і залишилася лише теплота.

Може, когось ця теплота буде гріти ще довго, може, приємні спогади будуть жити ще за багато років. Так я зробив, і так я планую жити далі, так я живу зараз. Головне, не забувати про це.

Зробіть приємні речі для людей поруч. Скажіть людям ті добрі думки, що ви думали про них. Скажіть їх у всій повноті - не піклуючись про те, що це буде виглядати незручно чи неправильно оформлено. Якщо є якась маленька добра справа, яку ви збиралися чи вагалися зробити, але вона була не на часі, зробіть зараз. У взаємодії з людьми навколо, хоча б на хвилинку відпустіть егоїзм, боротьбу за статус, спроби зробити враження, і спробуйте зосередитися виключно на потребах іншої людини, використовуючи усю повноту свого інтелекту і усю спрямованість позитивних частин своєї душі. Є багато людей, кому гірше, ніж вам, і які потребують вашої допомоги, навіть якщо ця допомога буде просто словами. Ця допомога, на жаль, відбувається так рідко, що людям, зазвичай, дуже сильно не вистачає її, навіть в елементарній формі.

Уявіть, що ви думаєте про своє життя перед смертю і задайте собі питання: чи є якісь елементарні речі, про які я буду жалкувати, що я їх не зробив, або навпаки, що я їх зробив? Чи буде хоч єдине виправдання, яке ви вигадуєте зараз, в буденному житті, здаватися хоча б мінімально валідним в той момент?

Є багато речей у моєму житті, які вже зроблені і про які доведеться жалкувати, але я радий тому, що можу не робити їх хоча б далі - і що це легко і приємно, коли ти розумієш, навіщо.

Існування людей, можливість взаємодіяти і висловлювати емпатію та симпатію - це не дефолтний стан Всесвіту, а надзвичайно малоймовірний позитивний outlier, усю дивовижність якого дуже легко забути, коли наш окіл складається з нього.

https://music.youtube.com/watch?v=Jhi0PbT-VYw&si=zzjXvFPPtSW1QnJ9

У літературі можна знайти строки, що дуже красиво і художньо точно віддзеркалюють сутність існування теоретико-ігрового агента в світі, стохастичні диференційні рівняння якого є альфа-стабільними.

Для мене, це найкращі строки античної літератури (навіть незважаючи на те, що це Евріпід - найменший серед трьох великих трагіків). Я настільки полюбив їх, що і початок, і кінець моєї "молекулярної трагедії" є відсилкою до них.

Античні культури щось розуміли про невизначеність інтуїтивно - що відкидає і християнська, і сучасна культури. Може через це в тому числі Талеб так любить посилатися на їх авторів.

Мова йде про фінал "Медеї". Вибачте за російську, але я не знайшов жодного іншого перекладу, що в даному випадку передає суть релевантно:

"Никто никогда не знает, что боги готовят смертным.
Они способны на всё: и одарить несметным,
и отобрать последнее, точно за неуплату,
оставив нам только разум, чтоб ощущать утрату.
Многоязыки боги, но с ними не договориться.
Не подступиться к ним, и от них не скрыться:
боги не различают между дурными снами
и нестерпимой явью.
И связываются с нами!"

Один з з головних уроків про продуктивність команд, який мені довелося вивчити - це «рухаючись серед людей в верхньому процентилі продуктивності вгору, продуктивність на людину зростає швидше, ніж падає кількість людей, і тому сукупна продуктивність зростає».

Тобто, якщо наприклад взяти усіх доступних людей на нижній межі топ-1%, вони будуть менш продуктивними у сукупності, ніж якщо взяти усіх доступних людей на нижній межі топ-0.01%, незважаючи на те, що останніх буде набагато менше.

Іншими словами: правий хвіст розподілу продуктивності взагалі не нормальний, а дуже товстий.

Чому так? Та хто ж його знає. Я б надав перевагу тому, щоб було навпаки. У більш юні роки, я думав: навіщо наймати одну людину за 30 тисяч доларів, якщо можна найняти 30 дуже непоганих людей за ці ж гроші в Україні чи Індії. Що такого робить та одна людина, що 30 людей не можуть зробити краще?

Виявляється, що щось вона таки робить. І ані 30, ані 330 помірно продуктивних і розумних людей не замінять її. Стів Джобс мав усі гроші світу, щоб знайти собі наступника, і не знайшов. Я знаю багато історій власників бізнесів, які готові були б платити мільйони доларів людям, які могли б замінити їх, і не знайшли жодну таку людину.

Більш загально - якість команди є критичним фактором, і кількість не тільки не переходить в якість, але часто лише заважає. Фундаментальна різниця між якісними і неякісним доповненням до команди проходить по питанню: чи стає у керівника від того, що зʼявилася ця людина, більше чи менше роботи? На жаль, майже завжди відповідь - це «роботи стає більше».

Відповідь «роботи стає менше», з особистого досвіду, починає домінувати лише в абсолютному топі продуктивності, десь на рівні умовних PhD калтеху. Існує певна межа, формалізувати її складно, але вона існує - коли усе змінюється. Люди починають відповідати на запити до того, як ти їх сформулював, передбачати проблеми замість того, щоб реагувати на них. Ти заходиш в слак і дивуєшся, що все вже зроблено - навіть те, що ти не думав, що воно повинно бути зроблено. Вони діють, думають і говорять швидко, у них завжди є час подумати хвилину, як можна робити роботу краще, а потім власне робити її краще. Ти відчуваєш себе… ніби серед офіціантів тризіркового мішленівського ресторану, тільки вони роблять набагато більш складну роботу.

Знову ж таки, я б хотів, щоб було інакше, але судячи зі всього, так воно є, і таким є більш-менш загальне правило. Це розуміють технічні гіганти, що готові платити мільйони доларів інженерам на відносно низьких посадах, це розуміє YCombinator і гарні венчурні інвестори. Я сам інколи опиняюся «по той бік межі продуктивності», і на фоні цих людей виглядаю, як зайвий. Я б хотів, щоб було інакше, але так воно є.

Пройшов усього тиждень. Далі - більше.

Я знайшов учня! Унікальна, геніальна, мотивована людина в самому початку шляху. Набагато розумніша за мене, коли я був в її віці. Я передам їй усі знання, усе найкраще з усіх тисяч книжок, що я прочитав, з усіх проектів, що я робив. Вона буде рухатися вперед в сотні разів швидше. Вона здобуде силу, яка мені навіть не снилася. Можливо, вона зможе змінити все.

Дива трапляються.

«Поради Альтмана» продовжують виглядати дуже правильними: https://blog.samaltman.com/how-to-be-successful

Від себе додам лише напевно:

Варіація альтманівського “you can just do things” - це “you can just ask for things”. У термінах пунктів з його статті, це можна було б назвати комбінацією здатностей продавати, рухатися швидко і трохи сильно вірити в себе.

З часом, я побачив дуже чітко, що можна просто робити cold outreach - принаймні, його можна робити набагато частіше, ніж люди зазвичай роблять.

Якщо є якась людина, у якою є щось, що вам треба, то майже завжди можна просто написати їй щось на кшталт:

"Привіт, Ваня! Я такий-то і такий-то, маю X, який може бути для тебе цікавим і корисним, і хотів би отримати від тебе Y. Що скажеш?"

Не всі сприймають це добре, але вам і не треба, щоб всі сприймали це добре. Вам як раз треба швидкі та agentic люди, а вони сприймуть це добре! Навіть серед останніх ви отримаєте багато відмов, але відмова нічого не коштує, а позитивна відповідь може мати велике значення.