Ернеста Хемінгуея попросили написати найбільш сумне оповідання розміром в один параграф.

Якщо казати прагматично, то реальної роботи для тієї кількості випускників machine learning магістратур в Європі та США нема в достатніх обсягах і буде лише менше. Перетинаються 2 тенденції:
1. Конкурентних моделей, на які є попит стає все менше (насамперед, через те, що найкращі моделі також загальні моделі, які можна використовувати для всього) і вони робляться все меншою кількістю людей з верхнього процентилю таланту та знань.
2. Усі радісно сиплють гроші на machine learning в академії - як на навчальні програми, так і на дослідницькі центри. У мене нема офіційної статистики, але виглядає так, що лише за останні 5 років сукупна пропускна спроможність ML магістратур в Німеччині зросла в рази 3-4. У моєму університеті достатньо подивитися на кампус machine learning і на всі інші кампуси, щоб побачити, хто тут лох, а хто - поважна людина. Тиск потоку грошей відчувається майже фізично.

Проблема в тому, що не треба стільки людей, щоб розробляти умовну ChatGPT-6 та її конкурентів. А окрім умовної ChatGPT-6 та її конкурентів ніякі інші моделі не будуть потрібні. Раніше state-of-the-art можна було рухати в гаражі, тепер лише в межах великої корпорації.

Аналогія з програмістами, яких ставало все більше і треба було ще більше, ніж було, протягом десятиліть, не працює. Тому що програмісти завжди розробляють продукт під конкретну задачу/потребу. Коли кількість та різноманітність задач зростає, зростає і потреба в кількості програмістів. В ML цього більше не буде, скоріше за все.

З іншого боку, якщо знову ж таки, казати прагматично, то компанії здебільшого не думають про це. Компаніям треба “AI transformation”. Стартапи, як правило, вважають, що вони не стартапи, якщо в них нема кастомної моделі ШІ. Вони люди прості - бачать ML інженера і наймають. Звичайно, це має певний сенс - поки що. Тобто поки найкращі моделі не є абсолютно кращими у всьому і коли буває відносно складно їх налаштувати/файн-тʼюніти. Але як їх відносна перевага, так і легкість в користуванні будуть лише зростати.

Уже довгий час PBS SpaceTime є моїм улюбленим популярним каналом про фізику, і коли я замислююся чому, то відповідь звучить приблизно так: тому що він займає унікальну позицію - складніше і новітніше, ніж більшість популярного контенту, але легше і загальніше, ніж власне наукові публікації.

Я думаю, що якщо ви підписані на мій канал, то серед вас є такі, відношення яких з контентом про фізику нагадують мої: популярний контент виглядає як постійне повторення очевидних речей, а читати потенційно цікаві наукові статті дуже важко і дуже довго.

Саме для такої категорії людей PBS SpaceTime буде оптимальним.

Звичайно, що навчальні матеріали існують для будь-якого рівня, але я зараз кажу не про пошук оптимального рівня навчальних матеріалів (з якими думаю все зрозуміло), а про пошук оптимального рівня пояснення цікавих досліджень.

Сподіваюся, усі вже побачили, що вийшов Alpha Fold 3 і на що він здатен.

Сподіваюся, ви розуміли, що він не міг не вийти.

Якщо скіпнути стандартні вигуки захоплення та проголошення нових революцій у молекулярній біології, то важливо сказати наступне:

Біологія - це природна нанотехнологія. Наномашини, неспівставно більш ефективні, ніж зроблені еволюцією протеїни, можливі, і у всьому просторі можливих наномашин безумовно є такі, що виглядають як магія навіть порівняно з протеїнами, які теж взагалі-то виглядають, як магія.

Нанотехнологія «біологічного типу», в принципі, зводиться до двох задач.
1. Для даної молекули, навчитися знаходити її форму (конформацію, «згортання»), що відповідає мінімальній вільній енергії.
2. Зворотня задача: для бажаної структури/механізму, навчитися знаходити молекулу, конформація мінімальної вільної енергії якої відповідає цій структурі/механізму. Іншими словами, якщо ти хочеш нанобота, який робить Х - знайди молекулу, яка мінімізує власну вільну енергію, коли згортається у цього нанобота.

З першою задачею все зрозуміло. Вона буде вирішена для довільного рівня точності/повноти. Цікаво, що можна зробити з другою.

Біоінформатики дивляться на те, як структура протеїнового комплексу, про моделювання якої вони писали дисертацію і на яку витратили 5 років, формується у режимі реального часу просто після надання послідовності амінокислот.

Усі ниють про те, як Хуберман дає поради, засновуючись на шкільній помилці в теорії ймовірностей.

До цього нили про те, яка виявилася посередня дисертація в Нері Оксман в MIT.

До цього нили про те, як Ден Аріелі робив методологічні помилки в експериментах, які дехто навіть вважав (вважає) прямим шахрайством.

Я думаю, що ви вирішуєте неправильну проблему.

Не знаю, чи звучить те, що я скажу, контроверсійно, але дуже розумні люди можуть припускатися дурних і тривіальних помилок, писати погані роботи і в цілому мати якісно ті ж самі когнітивні вади, які мають інші люди. Варіація людського інтелекту більш-менш обмежена нормальним розподілом, і не можна, не-технологічно, стрибнути вище лімітів мозку. Навіть якщо медіанна людина мала б інтелект фон Неймана, як я писав, то все одно медіанна людина була б достатньо дурною, щоб бути католиком. Мені здається, що люди, які вважають, що істотно більш розумні люди не роблять елементарних помилок, помітних менш розумним людям, просто мало взаємодіяли з істотно більш розумними людьми.

Але це не означає, що проблеми нема.

Здатність відрізнятися за рахунок інтелекту - обмежена, а конкурентний тиск - ні. Конкурентний тиск серед науковців не припиняється, коли досягнуто умовно максимально можливого рівня когнітивної продуктивності. Конкуренція продовжується в інших вимірах - здатність підіймати гроші, здобувати популярність, збільшувати цитування, це все очевидно.

Важливо наступне: навмисно чи ні, але навколо престижного науковця з престижної інституції формується «ореол якості». Для людей навколо, науковець з топ-0.1% «соціального рейтингу науковців» повинен бути так саме кращий, ніж науковець з топ-1%, як науковець з топ-1% кращий, ніж з топ-10%. Але у топі «соціального рейтингу науковців» конкуренція відбувається не за рахунок інтелектуальної продуктивності.

Note 1: звичайно, хтось скаже, що конкуренція взагалі не відбувається за рахунок інтелектуальної продуктивності, але це вже інше питання, і так чи інакше, заперечувати, що кореляція між інтелектуальної продуктивністю1та соціальною позицією науковця відсутня повністю, немає сенсу.

Люди типу Хубермана чи Оксман - це справді дуже розумні і талановиті люди (відносно медіанного рівня). Але дуже розумних і талановитих людей (відносно медіанного рівня) багато, і Хуберман та Оксман вище у рейтингу відносно цих людей за рахунок інших параметрів. Вони роблять якісні і професійні медіа-кампанії з реклами власного бренду. Вони мають впливових і багатих спонсорів. За їх власними брендами стоять ще більш впливові бренди Стенфорду та MIT, яких в свою чергу, як академічних інституцій, теж стосується увесь вищеописаний ланцюжок розмірковувань.

Але коли пересічна людина дивиться на науковця, який має екстраординарно високий соціальний рейтинг, вона очікує, що він має і екстраординарно високі когнітивні здібності, і розмірковує приблизно так:

«Так, я можу допустити, що мій професор з університету у другій сотні світового рейтингу зробить цю помилку. Він звичайно дуже розумна людина, але він простий смертний. Голова лабораторії в Стенфорді, та ще й мільйонер, та ще й який має мільйони підписників, повинен мати пропорційно більші інтелектуальні здібності - і різниця їх двох у соціальному рейтингу науковців повинна достатньо корелювати з їх різницею в інтелектуальних здібностях».

Я не кажу, що до науковців-інфлюенсерів треба застосовувати стандарти якості як до звичайних людей. Але не застосовуйте до них більші стандарти якості, ніж ви застосовуєте до знайомих вам розумних і талановитих професорів відносно високорейтингових університетів. За рідкісними винятками, абсолютний топ заселений людьми, яких відрізняють не здібності, а ореол здібностей - створений не обовʼязково навмисно, але обовʼязково штучно.

Note 2: дехто може сказати, що насправді через ефект вибірки кореляція між здібностями та популярністю у топі взагалі буде негативною. Це теж можливо.

Один з найбільш поширених дурних аргументів на користь скептицизму щодо перспектив розвитку ШІ саме серед людей, які щось технічно знають про ШІ, звучить приблизно так:

“Сучасні ШІ мають ваду Х, тому майбутні ШІ ніколи не зроблять Y”.

Що? Як?

Найбільш поширений приклад, це:
«У сучасних трансформерів є галюцинації, тому неможна зробити суперінтелект на основі нейромереж».

Як? Як ти до цього прийшов?

Навіть якщо уявити, що галюцинації неможна подолати, що саме по собі вкрай сильне твердження, як ти прийшов до висновку, що неможна робити суперінтелект на архітектурі з галюцинаціями, або на архітектурі, яка історично була споріднена з цією архітектурою?

Ти помножуєш ймовірності двох тверджень, кожне з яких виглядає як надзвичайно впевнена заява, враховуючи величезне значення співвідношення «ступінь специфічності твердження/кількість інформації, що ми маємо на його користь» у даному випадку, і ти вважаєш, що ти отримаєш щось, окрім нуля?

Але навіть без цього - звідки ти знаєш? Якби ти чесно подумав 5 хвилин, ти знайшов би принаймні декілька потенційних рішень проблеми галюцинацій. Але над цією проблемою будуть думати не 5 хвилин, і не ти. Над нею будуть думати роки людиногодин (звичайно, якщо це треба - може достатньо подумати пару годин, може взагалі проблема вже вирішена) люди, набагато розумніші за тебе (і звичайно, за мене).

Який абсурдний рівень самовпевненості треба мати, щоб вважати, що якщо ти не отримав результата за 5, та навіть за 50 000 хвилин розмірковувань, то значить його в принципі не можна отримати?

Уяви собі інопланетян, які відвідали Землю 5 000 років тому. Вони досліджують людей і побачили, що їх короткострокова памʼять обмежена приблизно 4 елементами. Вони ведуть бесіду:

- Ха! Цей вид ніколи не полетить на Місяць! Очевидно, це неможливо зробити з розміром короткострокової памʼяті 4.
- Звідки ти це знаєш?
- Будь-який розсудливий, серйозний нібіріанець знає, що полетіти на Місяць - це складна технічна проблема. Треба бути дуже наївним, щоб думати, що настільки складну проблему можна вирішити з короткостроковою памʼяттю розміром в 4 елементи. Дійсно, якщо ти думаєш, що її можна вирішити з короткостроковою памʼяттю 4, ти просто не цінуєш складність проблеми!
- Послухай, я правда ціную складність проблеми. Я сам багато років вивчав стародавні методи космічних перельотів і знаю, наскільки складно це робити. Я сходив з розуму від того, наскільки це складно. Але це не є аргументом. Реальності дозволено відбуватися навіть якщо це порушує відчуття гордості інженерів. Тому скажи, не на рівні аргументів через соціальну серйозність, а на рівні обʼєктних аргументів, чому ти вважаєш, що цей вид ніколи не полетить на Місяць? Ти розробив причинно-наслідковий механізм того, як працює інтелект, який забороняє інтелекту з короткостроковою памʼяттю 4 будувати ракети? У тебе є теорема, яка доводить, що людська когнітивна структура має певні фундаментальні обмеження, і ти впевнений, що математика цієї теореми відповідає структурі реальних процесів в людському мозку?
- Ні, але ж це просто наукова фантастика!
- Чувак, ми буквально стоїмо всередині літаючої тарілки.
- Fair enough. Але твій аргумент доводить забагато. Памʼятаєш, як божевільний Кхегрос розсилав усім нейтринні передачі про те, як рослини на Тау Кита скоро еволюціонують в надрозумний вид, який побудує сферу Дайсона?
- Якщо ідіот каже, що 2*2=4, 2*2 не стає від цього 5. На Землі, ситуація інша. Люди вже систематично демонструють перевершення очікувань скептичних екзобіологів. Спочатку, екзобіологи казали, що люди точно не зможуть займатися землеробством невідомо скільки, тому що для землеробства треба знання біології, а для отримання знань біології треба цивілізоване суспільство, яке виникає унаслідок наявності надлишку їжі унаслідок землеробства. Потім, вони казали, що люди не зможуть виплавляти сплави металів з аналогічних причин. І що ми бачимо зараз?
- Це просто смішно - порівнювати здатність займатися землеробством зі здатністю полетіти на Місяць!
- До цього, було просто смішно порівнювати здатність до мови зі здатністю до землеробства.

Але, це теж не аргумент. Реальність не піклується про те, чи щось смішно, чи ні. Вона піклується про те, чи є відповідні причинно-наслідкові механізми…
- Шмеханізми! Я не можу доводити неможливість кожного абсурдного твердження.
- Але це не чергове твердження. Люди важливі. Інтелектуальний вибух їх цивілізації може мати ризиковані, непередбачувані наслідки для нас. Це не пуста салонна бесіда. Мета - не перемогти в суперечці один з одним, а вижити. Чи вважаєш ти щиро, що твій підхід до аналізу цієї проблеми, якщо його використовувати систематично до будь-яких проблем подібного роду, буде приводити систематично до виживання, а не навпаки?

Мені дуже шкода, але професійне вивчення академічної філософії як основної речі, яку ти вчиш і яку сприймаєш серйозно - це неіронічно brain damage. Люди ламають свій когнітивний апарат, і він більше не здатний працювати. Я не жартую, не іронізую. Людина, яка не вчила нічого, має певні, рудиментарні здібності до правильного оновлення переконань. Ці здібності можна культивувати та розвивати. Філософія, працюючи над юним, неокріпленим інтелектом, незворотньо знищує їх.

Зараз буде важлива, «екзистенційна» серія постів, яка правда може стати у нагоді, тому дуже заохочую почитати і подумати для себе. Але навіть якщо вона не стане у нагоді вам, то мені треба структурувати власні думки і є причини, чому публічно це робити може бути більш ефективно. Не знав, чи варто публікувати це десь, але вирішив, що принаймні на цьому каналі опублікую. Не те що б і очікував якоїсь користі від публікації, але від не-публікації користі точно не буде.

Ситуація така, що я вважаю абсурдним для себе продовжувати пасивно спостерігати за розвитком ШІ і не протидіяти йому. Навіть якщо розмірковувати суто егоїстично, я не бачу для себе жодного сенсу не протидіяти розвитку ШІ і чекати, поки всі загинуть. Треба зробити вибір, що робити, але я не бачу гарних опцій. Треба зробити вибір - і не помилитися - на відміну від багатьох інших разів, коли доводилося робити складний вибір.

Намагаючись зрозуміти, як зробити важливий правильний вибір зараз, я думаю про свої найбільші помилки і про те, чи можна було їх виправити - і як.

Першою моєю фундаментальною помилкою було не вивчати математику в дитинстві у величезних кількостях. Це напевно найлегша порада у світі за відношенням «корисність/довжина поради», але чомусь вона не поширена.

Just study math. It is that simple.

Чи можна було виправити цю помилку на момент скоєння? Напевно, що ні. Я був маленькою дитиною з мозком маленької дитини, і обʼєктивно не було ймовірного способу, як би я міг зрозуміти екстраординарну практичну корисність математики, а особливого задоволення вона мені не приносила. Що стосується моїх батьків, то це дуже відповідальні і добрі люди, які усіляко заохочували будь-які мої інтелектуальні інтереси та намагалися робити для мене середовище розвитку та навчання. Вони цілком розуміли важливість і цінність інтелекту та знань, але вони, на жаль, не розуміли особливу важливість та цінність саме математики.

Звичайно, що відсутність десяти тисяч годин досвіду в математиці на момент закінчення школи не є вироком, але це просто дуже, дуже уповільнює усю подальшу роботу. Треба час, щоб вивчати нові шматки математики, і треба більше часу, щоб розуміти використовувати їх. Це просто практично перманентний нерф, який робить тебе повільнішим, ніж ти міг би бути.

Другою моєю фундаментальною помилкою було не засвоїти наступне твердження на момент початку 2014 року:
«Моделюй російську державу як кровожерливого садиста, який хоче знищити все, що тобі дорого».

Чи можна було б виправити цю помилку на момент її скоєння? Безумовно! Тоді мені вже було 16 років, і аргумент «дурна дитина» більше не працює. Я мав усю необхідну інформацію і усю необхідну когнітивну машинерію, щоб розробити правильну картину російського мислення та цілей. Також, були величезні очевидні, як альтруїстичні так і егоїстичні, стимули правильно моделювати Росію - люди, яких я люблю, були б позбавлені колосального обсягу страждань, якби я розробив тоді правильну когнітивну модель Росії і змусив їх зробити оптимальні рішення відповідно до цієї моделі. Чому ж тоді я зробив помилку? Насамперед, я хочу точно донести характер помилки. Навіть тоді я не був повним ідіотом. Я чітко розумів, що росіяни ведуть військову пропаганду, що багато людей в Росії хочуть смерті таких людей, як я, що війни та геноциди в принципі трапляються, що російське політичне керівництво вважає, що України не повинно існувати. Але, при всьому цьому, я не знаю, як сказати це правильно - ідея про те, що мешканці сусідньої країни почнуть масово приїжджати в твоє місто, щоб катувати людей в підвалах, грабувати магазини, віджимати майно і рандомно вбивати людей, здавалася абсурдною, несерйозно і такою, що не відповідає моїй картині реальності, що сформована усім досвідом попереднього життя і виглядає абсолютно стабільною. Мій мозок (підкреслюю - мій мозок, а не та його частина, яка веде усвідомлений внутрішній діалог; звичайно, що усвідомлено я не робив таких дурних висновків), напевно, мислив приблизно так: «окей, я спостерігаю масові заяви росіян про те, що вони приїдуть усіх вбивати, але моє місто, при усій його непривабливості та вадах, ніколи не було місцем масових вбивств та катувань. Відсутність масових вбивств та катувань - це стабільна риса мого міста, яку я спостерігаю з моменту появи здатності спостерігати, тобто це стабільна риса мого міста в цілому. Ergo, хоча гіпотеза про те, що в моєму місті будуть масово вбивати та катувати, випливає з чисельних заяв росіян, вона протирічить більш-менш фундаментальній реальності».

Це вже щось. З цим вже можна працювати. Є уроки, які можна вивчити.

Тоді, навесні 2014 року, я пообіцяв собі, що якщо я виживу, то я ніколи більше не зроблю цю помилку відносно Росії та будь-яких її еквівалентів, і що я постараюся зробити так, щоб і інші не робили її.

І дійсно, у 2022 році я не зробив помилку. Звичайно, це не привід пишатися. Звичайно, це не є ознакою якихось здібностей, а лише комічно мінімальним критерієм рудиментарної адекватності для будь-якої істоти, вид якої вважає себе достатньо гідним, щоб поставити в свою назву слово sapiens.

І тим не менш, я бачив людей, які вижили і не побудували правильну модель, чи забули її. І тим не менш, я бачив людей, які зробили у 2022 році ті ж самі помилки, які вони зробили у 2014 році.

І стосовно, власне, повномасштабної війни.

Починаючи з 2014 року, я був абсолютно впевнений, що Росія почне повномасштабну війну зі стратегічними бомбардуваннями, винищенням цілих міст, ну і власне усім, що ми вже побачили. Я не знав, навіть приблизно, коли це відбудеться - я б не здивувався, якби це відбулося не 2022, а 2032 року, але в тому, що це відбудеться в принципі, на моєму віці, я не сумнівався.

Зимою 2022 року було очевидно, що повномасштабна війна почнеться скоро. І коли вона насправді почалася, когнітивно це було повністю в рамках моїх очікувань.

Звичайно, психологічно мені було погано і незвично, незважаючи на те, що я уявляв цей сценарій багато разів і тренувався сприймати його тверезо, щоб уникнути психологічного ступору. Цей «психологічний ступор» все одно у певному ступені був, тому що ніяке уявне реалістичне моделювання екстремальної поганої події все одно не діє так, як власне екстремальна погана подія. Але на практичному рівні, я зробив більш-менш те, що міг.

Я допоміг людям підготуватися, змусив підготуватися тих, хто відмовлявся вірити, що війна буде, змусив рятуватися тих, хто відмовлявся рятуватися, створив плани евакуації співробітників, які працювали з України, і так далі. Можна було зробити краще, але в цілому, я не проґавив подію.

Епістеміологічне зауваження: порада «Моделюй російську державу як кровожерливого садиста, який хоче знищити все, що тобі дорого» - це локальна порада. Її можна сформулювати більше глобально, але тоді порада не буде компактною. Єдине, як я можу сформулювати її компактно, це «зрозумійте та інтерналізуйте у своєму інтелекті Талебіанське розуміння історії». Тобто, відсилаю до книжок Талеба.

Моєю третьою фундаментальною помилкою було не сприйняти тему ШІ достатньо серйозно тоді, коли я уперше більш-менш детально познайомився з нею, тобто в 19 років (2017 рік). Знову ж таки, треба розуміти точний характер цією помилки. Знову ж таки, я не був повним ідіотом в 2017 році. Я не ігнорував тему ШІ повністю. Як належить гарному трансгуманісту, я читав Бострома, Тегмарка, Курцвейла, Діамандіса, Келлі та інших, пройшов курси по deep learning від Andrew Ng. Звичайно, я знав про концепцію технологічної сингулярності і навіть давав лекції про неї. Але це був не той рівень та спрямованість когнітивної активності, яка була необхідна, щоб усвідомити проблему алайнменту ШІ, її складність та терміновість. Якщо казати спрощено, то я не сприймав питання достатньо серйозно і достатньо по-дорослому. Штучний суперінтелект не був для мене нагальною практичною проблемою, яку треба вирішувати, і тим більше яку треба вирішувати мені. Він був черговою красивою історією - мешканцем окремої абстрактної Царини Крутих Трансгуманістичних Речей та Концепцій, поруч з відміною старіння, нейроінтерфейсами, колонізацією космосу, геоінжинірингом та генетичною аугментацією.

Звичайно, знаючи все, що я знав, я міг зробивши крок 1, зробити і крок 2, але стан блаженної технофілії - це потужний атрактор. Суто інтелектуально, можливо, і нескладно перейти з класичного трансгуманізму і традиційної раціональності в проблему алайнменту, але це складно зробити, будучи людиною - коли навколо технологій формується аура позитивності, коли найбільш цікаві і успішні люди є носіями цих поглядів, коли ти не хочеш виглядати дивно в очах людей, яких ти поважаєш - топових науковців, технологічних підприємців і навіть власне розробників ШІ. Це не тепла ванна - це золотий басейн. І саме тому, власне, навіть сьогодні ми бачимо дуже, дуже розумних людей в стані блаженної технофілії. Я можу перерахувати їх приклади скільки завгодно.

Тому, я не надаю помилці «не сприймати проблему алайнменту серйозно» статус дуже тривіальної. Її точно можна було виправити, але, знаходячись на тому рівні здібностей, на якому я був, треба було зробити реальні зусилля, а не просто «гарно подумати». Зусилля, які я тоді не зробив.

Звичайно, більш розумна людина повинна була б проявити абсурдний рівень лінощів та безтурботності, щоб проігнорувати проблему алайнменту в 2017 році, і той факт, що мені це було складно, не виправдовує цивілізацію, яка містила в собі багато людей, розумніших за мене, і яка, так само як і я, проігнорувала проблему алайнменту.

Дивно, але я не памʼятаю фундаментальних помилок після 19 років. Цікаво, це тому, що я дійсно припинив їх робити, чи тому, що я припинив зростати і тому не помічаю нові, більш складні помилки?

Так чи інакше, інші достатньо драматичні помилки не спадають мені на думку. Але дещо можна згадати.

В цілому, ці речі обʼєднуються в категорію «недостатньо швидке перемикання між проектами/інструментальними цілями» або «надмірна підготовка до реалізації проекту/інструментальної цілі».

Не все з цього можна точно класифікувати як помилку.

Наприклад, трохи більше, ніж рік тому, я вирішив, що найкраще, що я можу робити, це зайнятися застосуванням ШІ в системній біології. Це правда виглядало як чудова ідея за усіма можливо критеріями та сценаріями. І саме цим я намагаюся займаюся і зараз. І в тому числі зараз інструментальна ціль «застосовувати ШІ в системній біології» виглядає кращою, ніж альтернативи, але проблема в тому, що усі альтернативи зараз виглядають безнадійними, і це лише найкраща з безнадійних альтернатив. Тому, «ШІ в системній біології» не виглядає як помилка - тому що кращої стратегії все одно нема, але як переможна стратегія це теж не виглядає.

Пояснення, чому «ШІ в системній біології» виглядав/виглядає, як відносно гарна ціль: ШІ може дуже (радикально) допомогти з системною біологією, корисність чого очевидна, але набагато довше буде залишатися вузьким (відносно корисних здібностей), порівняно з мультимодальними трансформерами, тому відносно безпечний. Окрім того, є непряма, але потенційна висока корисність щодо цілі «не дати ШІ усіх вбити»: 1. На певному рівні розуміння вирішення системно-біологічних задач почне давати практичні ідеї з безпечного когнітивного покращення людей, що плюс для алайнменту. 2. Виглядає ймовірним, і на користь цього є багато аргументів (але це дуже, дуже невизначено), що «поганий ШІ» нанесе удар з нанотехнологій. Можливо, розуміння біологічних нанотехнологій надасть якийсь захист. Окрім того, «розробник/оператор ШІ в системній біології» банально виглядає, як професійна ніша, яка повинна залишатися ринково затребуваною хоч якийсь час. Тебе складно автоматизувати, тому що треба спеціалізовані знання з різних областей, плюс ти робиш корисну і цікаву річ, плюс ти використовуєш хвилю ШІ, плюс ти не рухаєш state-of-the-art і таким чином не робиш внесок в знищення людства, плюс є непрямі позитивні ефекти для AI safety.

Звичайно, проблема оптимального перемикання між проектами та інструментальними цілями - це відома проблема exploration vs exploitation. Складність знайти баланс між exploration та exploitation загальновідома. Тому, незважаючи на те, що у моєму житті відношення exploration/exploitation суттєво більше, ніж зазвичай у людей, я не впевнений, що конкретні поведінкові проявлення високого значення цього параметру можна назвати помилками. Це високе значення може бути помилкою, але я не бачу, щоб воно було помилкою. Я витрачаю багато часу на exploration не просто так - це результат спроб, помилок, міркувань і планування. І так, я розумію усі негативні наслідки витрачання невеликої кількості часу на exploitation, але виглядає так, що воно того варте. Якщо це помилка, то я ще повинен прийти до усвідомлення цієї помилки. Щодо шкодування про sunk cost, то як було сказано в Death’s End:

Певун видалив ці думи зі свого органу мислення. Йому не належало мати таких думок, від них тільки марне занепокоєння.

Враховуючи все це, які б поради загального характеру допомогли мені у минулому? Щоб я міг сказати молодшому собі, якби мені дозволено було радити лише методи та евристики прийняття рішень, а не самі рішення? Що з цього виглядає так, як стабільна порада безвідносно до унікального, специфічного контексту?

Не враховуй у процесі прийняття рішень питання «чи будуть люди сміятися з тебе?». Якщо будуть, то ти точно, гарантовано це переживеш, і з тобою взагалі нічого поганого не станеться, навіть якщо це будуть люди, яких ти дуже поважаєш.

Не ігноруй питання, про які піклуються люди, інтелекту яких ти довіряєш.

Я не хочу тебе образити, правда не хочу, але не ігноруй апріорні ймовірності. Або, краще, звертай на них більше уваги, ніж здається, що треба звертати.

Уяви собі, що ти досяг певного цільового критерію у певний момент у майбутньому. Думай про те, як це могло статися, які найбільш ймовірні шляхи могли привести до цього.

Екстраполюй еволюцію власних цінностей та переконань.

Пояснення щодо останньої поради: Наприклад, я все більше люблю людей (мій мінімум любові до людей був у підлітковому віці). Я можу екстраполювати, що з часом я буду ще більше любити людей. Або, я спостерігаю, як корисність лінійної алгебри систематично перевершує мої очікування. Відповідно, треба екстраполювати, що справжня її корисність ще більша, ніж поточна моя оцінка, і відповідно треба інвестувати більше часу в її вивчення.