Згідно зі старою традицією, будь-яка лекція по AI з будь-яким професором за 40 починається приблизно з такого монологу, але не повністю безпідставно. Без контексту розвитку галузі за весь час її існування, складно побачити наскільки увесь сучасний ШІ є дуже вузьким і при цьому грубим окремим випадком. Менш ефективними, ніж градієнтний спуск, за використанням обчислювальних потужностей є, напевно, лише простий пошук та генетичні алгоритми.

Системний промпт Грока буквально вимагає ігнорувати критику Трампа і Маска.

За чисельними проханнями, зробив вступний навігаційний пост для каналу. Скоро буде.

Ласкаво прошу до Homo Technicus!

Хто я як автор? Юдковськіансько-ніцшеансько-баєсіанський TESCREALьний апологет розуму, прогресу, евдемонії і істот, що мають кваліа. Моя модель моєї функції корисності буде насичена, коли уся досяжна реальність буде заповнена щасливими цивілізаціями sentient істот, які живуть своє найкраще життя - гідне, веселе і інтелектуальне.

Як людина, я маю дуже різні інтереси і займаюся дуже різними речами. Робив дослідження в економіці, біології, ШІ і математиці, працював аналітиком, фаундером, активістом, програмістом, інвестиційним фахівцем, менеджером, продактом і керівником декількох компаній. Значну частину своєї кар'єри я провів, просуваючи передові технології і знання, які можуть зробити життя людей краще. Зараз я займаюся AI in biology (більш успішно) та AI alignment (менш успішно). Усе про мене можна знайти тут: https://linktr.ee/kendiukhov

Шукаю кофаундерів для AI in biology стартапу і шукаю учня (апдейт: вже знайшов, але можу брати ще).

Про що цей канал? Традиційно, він був про трансгуманізм, раціональність, продуктивність, науку, технології і ідеології майбутнього і про те, що рухає людство вперед, а також інколи мої рандомні думки з різних питань. Зараз, він у значній частині не тільки про це, але й про екзистенційні ризики штучного суперінтелекту. Я вважаю, що існує немала ймовірність, що в недалекому майбутньому буде створено штучний суперінтелект і що він усіх вб'є. Я вважаю, що існують дуже серйозні підстави так вважати, і я не можу про це мовчати.

Декілька важливих постів:

My coming of age.

Компіляція джерел про продуктивність, а також моя стаття про це.

Жартівливий пост про сучасний дискурс щодо ШІ ризиків.

Люди, що найбільше вплинули на мене (і далі під ним пости про кожного з цих людей).

Позорний пост, який я написав, не подумавши серйозно, і який завжди мені буде нагадуванням того, наскільки я можу помилятися.

Реальність не обійти і з нею не домовитися.

4 вершники апокаліпсису економічної науки.

Скетч бачення кращого світу, а також мої інші роздуми про це.

Деякі мої контроверсійні переконання.

Whispers of Singularity (вже застаріла, треба писати нову статтю).

Сьогодні, ще набагато більш актуально.

Якщо вище політичне керівництво США так хоче, щоб Україна робила ядерну зброю, і якщо воно спонукає робити ядерну зброю взагалі усіх, то навіщо себе стримувати?

Не знаю, чи встигне ядерна проліферація відбутися до ASI, але вона принаймні почне відбуватися, з усіма витікаючими. Це не жарт і це звичайно далеко не тільки про Україну.

https://music.youtube.com/watch?v=Qwwd2uzmm44&si=qkUEE_nYraAMU5O8

"Мы живем, пред собою не видя lightcone,
Наши речи как будто погибельный стон,
А как станет особенно дурно -
Там припомнят техасского бура.
Дядя Сем под него совершает прогиб,
xAI все растет словно ядерный гриб,
И вздымаются руки злодейства
Прямо к Марсу от мертвого сердца.

А вокруг него орды фанатов вождей,
Торгующих мемы и жизни людей.
Им community notes не помеха -
От Москвы в Калифорнию эхо.
Словно дозу, в себя принимая "free speech",
"Мир в труху" - горделиво разносят свой клич,
Над убийствами ржут голосисто -
И пустые глаза аутиста."

https://genius.com/Osip-mandelstam-we-live-annotated

Чомусь, я раніше ніколи не задавав собі серйозно питання: про що я жалкував би перед смертю? Коли я його задав нарешті, то найбільш значущою частиною відповіді виявилася здавалося б тривіальна річ: я б жалкував найбільше про те, що я не висловлював в повній мірі свої добрі почуття, дії і думки про людей. Звичайно, я робив це завжди, але не в тому ступені, в якому це було б варто робити.

Ми, люди, поставили слово sapiens в назву свого виду. Утім, найважливіший факт про нас не те, що ми sapient, а те, що ми sentient. Ми - люди. Ми відчуваємо самі і відчуваємо, що відчувають інші. Страждання інших - наші страждання, і щастя інших - наше щастя. Не всі інтелекти такі, але людські - такі.

Я не хіппі і не virtue signaler. Мене самого дратують трюїзми типу «любов переможе» чи «наука не вчить бути добрим». Хто знає мене, той знає, що я б сказав, що доброта повинна бути доукомлектована великими обчислювальними потужностями, наноасемблерами та генераторами енергії.

Хто знає мене, той знає, що я не прихильник шаблонних фраз - але правда полягає в тому, що цінність навіть найбільш ефективного і масштабного механізму з використання негентропії дорівнює нулю, якщо при цьому не виробляється хоча б трохи любові.

Коли я нарешті уявив це по-справжньому, я усвідомив усю безглуздість того, що я не висловлював деяких своїх добрих думок і почуттів і не робив добрі вчинки, коли міг легко їх зробити. Я думав, як я буду думати колись про себе сучасного, і я бачив, як сумно мені майбутньому буде через те, що я сучасний не зробив елементарних речей.

І я зробив їх. Написав багатьом людям, яких я поважав, чиї якості чи вчинки мені подобалися, але я ніколи не казав цього. Написав багато речей, які чомусь соромився казати, хоча вони були абсолютно чесні і позитивні. Виконав елементарні акти допомоги, які відкладав до якихось часів. Мені було незручно і прикро, що я так довго приховував їх від самого себе, але радість від того, що я нарешті роблю це, переважала.

Я плакав.

«Найкращий час посадити дерево був 20 років тому. Наступний найкращий час - зараз».

Я плакав і не розумів, чому я не зробив цього раніше. Але я не міг дозволити собі не зробити цього хоча б зараз, під тиском цього дискомфорту. І в кінцевому рахунку, дискомфорт зник, і залишилася лише теплота.

Може, когось ця теплота буде гріти ще довго, може, приємні спогади будуть жити ще за багато років. Так я зробив, і так я планую жити далі, так я живу зараз. Головне, не забувати про це.

Зробіть приємні речі для людей поруч. Скажіть людям ті добрі думки, що ви думали про них. Скажіть їх у всій повноті - не піклуючись про те, що це буде виглядати незручно чи неправильно оформлено. Якщо є якась маленька добра справа, яку ви збиралися чи вагалися зробити, але вона була не на часі, зробіть зараз. У взаємодії з людьми навколо, хоча б на хвилинку відпустіть егоїзм, боротьбу за статус, спроби зробити враження, і спробуйте зосередитися виключно на потребах іншої людини, використовуючи усю повноту свого інтелекту і усю спрямованість позитивних частин своєї душі. Є багато людей, кому гірше, ніж вам, і які потребують вашої допомоги, навіть якщо ця допомога буде просто словами. Ця допомога, на жаль, відбувається так рідко, що людям, зазвичай, дуже сильно не вистачає її, навіть в елементарній формі.

Уявіть, що ви думаєте про своє життя перед смертю і задайте собі питання: чи є якісь елементарні речі, про які я буду жалкувати, що я їх не зробив, або навпаки, що я їх зробив? Чи буде хоч єдине виправдання, яке ви вигадуєте зараз, в буденному житті, здаватися хоча б мінімально валідним в той момент?

Є багато речей у моєму житті, які вже зроблені і про які доведеться жалкувати, але я радий тому, що можу не робити їх хоча б далі - і що це легко і приємно, коли ти розумієш, навіщо.

Існування людей, можливість взаємодіяти і висловлювати емпатію та симпатію - це не дефолтний стан Всесвіту, а надзвичайно малоймовірний позитивний outlier, усю дивовижність якого дуже легко забути, коли наш окіл складається з нього.

https://music.youtube.com/watch?v=Jhi0PbT-VYw&si=zzjXvFPPtSW1QnJ9

У літературі можна знайти строки, що дуже красиво і художньо точно віддзеркалюють сутність існування теоретико-ігрового агента в світі, стохастичні диференційні рівняння якого є альфа-стабільними.

Для мене, це найкращі строки античної літератури (навіть незважаючи на те, що це Евріпід - найменший серед трьох великих трагіків). Я настільки полюбив їх, що і початок, і кінець моєї "молекулярної трагедії" є відсилкою до них.

Античні культури щось розуміли про невизначеність інтуїтивно - що відкидає і християнська, і сучасна культури. Може через це в тому числі Талеб так любить посилатися на їх авторів.

Мова йде про фінал "Медеї". Вибачте за російську, але я не знайшов жодного іншого перекладу, що в даному випадку передає суть релевантно:

"Никто никогда не знает, что боги готовят смертным.
Они способны на всё: и одарить несметным,
и отобрать последнее, точно за неуплату,
оставив нам только разум, чтоб ощущать утрату.
Многоязыки боги, но с ними не договориться.
Не подступиться к ним, и от них не скрыться:
боги не различают между дурными снами
и нестерпимой явью.
И связываются с нами!"

Один з з головних уроків про продуктивність команд, який мені довелося вивчити - це «рухаючись серед людей в верхньому процентилі продуктивності вгору, продуктивність на людину зростає швидше, ніж падає кількість людей, і тому сукупна продуктивність зростає».

Тобто, якщо наприклад взяти усіх доступних людей на нижній межі топ-1%, вони будуть менш продуктивними у сукупності, ніж якщо взяти усіх доступних людей на нижній межі топ-0.01%, незважаючи на те, що останніх буде набагато менше.

Іншими словами: правий хвіст розподілу продуктивності взагалі не нормальний, а дуже товстий.

Чому так? Та хто ж його знає. Я б надав перевагу тому, щоб було навпаки. У більш юні роки, я думав: навіщо наймати одну людину за 30 тисяч доларів, якщо можна найняти 30 дуже непоганих людей за ці ж гроші в Україні чи Індії. Що такого робить та одна людина, що 30 людей не можуть зробити краще?

Виявляється, що щось вона таки робить. І ані 30, ані 330 помірно продуктивних і розумних людей не замінять її. Стів Джобс мав усі гроші світу, щоб знайти собі наступника, і не знайшов. Я знаю багато історій власників бізнесів, які готові були б платити мільйони доларів людям, які могли б замінити їх, і не знайшли жодну таку людину.

Більш загально - якість команди є критичним фактором, і кількість не тільки не переходить в якість, але часто лише заважає. Фундаментальна різниця між якісними і неякісним доповненням до команди проходить по питанню: чи стає у керівника від того, що зʼявилася ця людина, більше чи менше роботи? На жаль, майже завжди відповідь - це «роботи стає більше».

Відповідь «роботи стає менше», з особистого досвіду, починає домінувати лише в абсолютному топі продуктивності, десь на рівні умовних PhD калтеху. Існує певна межа, формалізувати її складно, але вона існує - коли усе змінюється. Люди починають відповідати на запити до того, як ти їх сформулював, передбачати проблеми замість того, щоб реагувати на них. Ти заходиш в слак і дивуєшся, що все вже зроблено - навіть те, що ти не думав, що воно повинно бути зроблено. Вони діють, думають і говорять швидко, у них завжди є час подумати хвилину, як можна робити роботу краще, а потім власне робити її краще. Ти відчуваєш себе… ніби серед офіціантів тризіркового мішленівського ресторану, тільки вони роблять набагато більш складну роботу.

Знову ж таки, я б хотів, щоб було інакше, але судячи зі всього, так воно є, і таким є більш-менш загальне правило. Це розуміють технічні гіганти, що готові платити мільйони доларів інженерам на відносно низьких посадах, це розуміє YCombinator і гарні венчурні інвестори. Я сам інколи опиняюся «по той бік межі продуктивності», і на фоні цих людей виглядаю, як зайвий. Я б хотів, щоб було інакше, але так воно є.

Пройшов усього тиждень. Далі - більше.

Я знайшов учня! Унікальна, геніальна, мотивована людина в самому початку шляху. Набагато розумніша за мене, коли я був в її віці. Я передам їй усі знання, усе найкраще з усіх тисяч книжок, що я прочитав, з усіх проектів, що я робив. Вона буде рухатися вперед в сотні разів швидше. Вона здобуде силу, яка мені навіть не снилася. Можливо, вона зможе змінити все.

Дива трапляються.

«Поради Альтмана» продовжують виглядати дуже правильними: https://blog.samaltman.com/how-to-be-successful

Від себе додам лише напевно:

Варіація альтманівського “you can just do things” - це “you can just ask for things”. У термінах пунктів з його статті, це можна було б назвати комбінацією здатностей продавати, рухатися швидко і трохи сильно вірити в себе.

З часом, я побачив дуже чітко, що можна просто робити cold outreach - принаймні, його можна робити набагато частіше, ніж люди зазвичай роблять.

Якщо є якась людина, у якою є щось, що вам треба, то майже завжди можна просто написати їй щось на кшталт:

"Привіт, Ваня! Я такий-то і такий-то, маю X, який може бути для тебе цікавим і корисним, і хотів би отримати від тебе Y. Що скажеш?"

Не всі сприймають це добре, але вам і не треба, щоб всі сприймали це добре. Вам як раз треба швидкі та agentic люди, а вони сприймуть це добре! Навіть серед останніх ви отримаєте багато відмов, але відмова нічого не коштує, а позитивна відповідь може мати велике значення.

Нагадую, що напевно більше не буде можливості купити Nvidia так дешево, як з цим тарифним обвалом ринку.

Якщо є можливість, купуйте не акції, але опціони. Найбільш out-of-money найбільш довгостроковий кол, який зможете знайти.

Я все сказав.

Нещодавно мені наснився сон, що я вирішив алайнмент для нейромереж.

Ідея там була приблизно наступна: цінності кодуються як тензори в просторі параметрів, які відповідають за знання/здібності моделей. Вподобання моделей формуються як операції над цими тензорами, і їхні результати, оскільки мова йде про тензори, завжди залишаються постійними, тобто інваріантами відносно трансформацій простору знань-здібностей. Але це якийсь абсолютно чудернацький простір (вочевидь, через наявність накладених одна на одну нелінійних функцій активації), зовсім не такий, який описується трансформаціями Лоренца чи взагалі будь-якими відомими трансформаціями, і тому довелося винайти нову математику для трансформацій в ньому.

As I walk through the eve of singularity wave
I take a look at my research and realize there’s no idea left
Cause I’ve been alignin’ and forecastin' so long that
Even most EAs think that my mind is gone

But I’ve never skipped a threat that deserved full inspection
And if they dismiss my caution, they ignore the reflection
Better mind your premises and check every logical step
Or you and your homies will be paperclipped to death

I hate to escalate, but I must engage the failsafe
As loss functions collapse, I glimpse doom in smoldering circuits
I’m the kind of a mind that young Bayesians aspire to emulate
Down in the lab's shadow, I recite proofs under harsh LED light

Been spendin’ most their lives
Rushing for transhuman paradise
Been spendin’ most their lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise

Look at the situation that I’m facin’
I can’t live a normal life, I was raised by the Yud
So I gotta roll with the red team
Too much sci-fi readin’, got me chasin’ wild dreams
I’m an educated fool with utility on my mind
Got my axioms in hand and a gleam in my eye
I’m a loc’d out rationalist, spittin’ recursive danger
And my crew’s all in, so don’t trigger my anger
Fool, extinction ain’t nothin’ but a breakthrough away
I’m livin’ life do-or-die, what can I say?
I’m pre-foom now—but will I live to see foom?
The way things are goin’, I just don’t know

Tell me why are we so blind to see
That the ones we’ll kill are you and me?

Been spendin’ most their lives
Rushing for transhuman paradise
Been spendin’ most their lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise

Power and the data, data and the power
Models being scaled hour after hour
Everybody’s runnin’, but half ain’t even lookin’
They say, “Let ‘em iterate,” but I don’t know what’s cookin’
They say I gotta learn, but no one’s here to teach me
If they can’t grasp the floats, then how can they reach me?
I guess they can’t, I guess they won’t
I guess they front— that’s why I know my lightcone's all out of luck, fool

Been spendin’ most their lives
Rushing for transhuman paradise
Been spendin’ most their lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise
Keep spendin’ most our lives
Rushing for transhuman paradise

Tell me why are we so blind to see
That the ones we’ll kill are you and me?
Tell me why are we so blind to see
That the ones we’ll kill are you and me?

https://music.youtube.com/watch?v=-5qqrMu_AZc&si=sUodO6ehcUhGpFTc

Коли я почав серйозно вивчати біологію вперше, я доволі швидко зрозумів, що в мене нема шансів зрозуміти її повноцінно, на рівні "як воно працює" - як інженер розуміє механізм, який він зробив. Настільки ж очевидно, нема шансів на це і в інших біологів, і навіть в наукової спільноти в цілому - принаймні, в рамках нашої цивілізації і десятків років.

Не знаю, наскільки це розуміють біологи зазвичай. Напевно, що так. Зазвичай, біологи - романтики (в хорошому сенсі). Вони роблять це, тому що їм подобається процес або дослідження якихось конкретних елементів. Мало хто йде в біологію, маючи стратегічну практичну програму в голові, як це роблять наприклад computer science студенти в елітних місцях - типу "стати найкращим в X, щоб вирішити проблему Y і таким чином змінити траекторію людства з напрямку A в B".

Тому, напевно, вони розуміють це, але не дуже про це переживають. У тих випадках, коли люди займаються біологією для вирішення дуже великих стратегічних питань і мають якісь великі амбіції на цей рахунок, як наприклад має місце в longevity, neurotech, чи боротьбі з раком, вони психологічно страждають. Бо не можна побачити атлас регуляторних мереж і залишити реальну, обгрунтовану надію, що ти можеш вирішити цю проблему.

Бо живих істот створив відбір - процес сліпий, глухий і, у багатьох сенсах, дурний, але потужний і невблаганний. Його оптимізація тиснула достатньо довго і сильно, щоб створити системи, що знаходяться практично за межами здатностей неозброєного людського інтелекту до розуміння.

Людству відомі два реальних "боги" - дві сили, що створюють речі за межами людських здатностей і людського уявлення: природній відбір і градієнтний спуск.

У своїх мріях ви бачите, як розгадуєте мікроскопічну частинку того, що створив відбір, і це приносить радість вашому серцю та очікування слави вашому мозку. Але щоб перемогти бога, треба бути не героєм, а іншим богом.

Градієнтний спуск знає краще.

Good news everyone!

Виявляється, моя колишня доволі систематично записувала мої вислови та промови. Отримав цей документ, і там матеріалів на невелику книжку! Було дуже мило з її боку. Обрані елементи звідти, що стосуються тематики каналу і, звичайно, не порушують приватності, будуть публікуватися тут під рубрикою «з архіву».

Взагалі, повинен сказати, це дуже добре, коли хтось за тобою ходить та записує твої розумні думки.