Баєсіанець екстраполює свої переконання поки не припиняє дивуватися новим фактам.

На прикладі людей:

Я вже неоднократно згадував, як мені подобається Пол Грехем. Раніше, коли я дізнавався нові факти про нього, я думав: «о, це ще один привід підвищити своє ставлення до нього». Але справа в тому, що ти можеш передбачити надходження нових фактів певної категорії і оновити свої переконання заздалегідь, не чекаючи появи самих фактів, коли вони передбачувані. Таким чином, я підвищив ставлення до Пола Грехема в певному ступені заздалегідь, і нові факти про нього більше не підвищують моє ставлення до нього, бо вони вже враховані.

З іншого боку, майже кожен новий факт, наприклад, про Цукерберга знижував моє ставлення до нього. З часом, я екстраполював надходження нових фактів про Цукерберга за такою ж процедурою, і тепер нові факти про нього вже не знижують моє до нього ставлення.

Я зараз з подивом і трохи з жахом усвідомив, що усі персонажі літератури та кіно, з вайбами яких мій мозок схильний асоціювати мене найбільше і на схожість до яких часто вказують мої знайомі, відносяться, за вийнятком одного лише Шелдона Купера, до однієї дуже конкретної категорії. І ця категорія - не науковці, не підприємці, не державні діячі, не супергерої і навіть не просто герої.

Це - високопоставлені чиновники спецслужб, як правило відверто злих та репрессивних чи принаймні «морально неоднозначних»:

Ханс Ланда з Inglourious Basterds
Орсон Креннік з Зоряних Війн
Понтій Пілат здебільшого з Майстра та Маргарити
Томас Уейд з Вічного Життя Смерті
Рудольф Сікорскі зі Світу Полудня

Я говорю про «вайби», а не про самі дії, мораль, результати і, тим більше, ідеали. Вочевидь, вони не приваблюють мене з точки зору цінностей і дій, і цінності в нас дуже різні, і навіть вайби не приваблюють, просто в вайбах відчувається якась особлива схожість та асоціація.

Тобто - те, як вони себе поводять, стиль того, як вони працюють та спілкуються, «аура», характер та звички, настрої та страхи.

Але це все одно не виглядає як позитивна новина, напевно.

Треба подумати про це, що це означає.

Цікаво. Це дуже якісне дослідження, помилка майже виключена.

https://metr.org/Early_2025_AI_Experienced_OS_Devs_Study.pdf

Цікава історія!

Юдковський збирає історії людей, яких ChatGPT довів до психозу чи (в певному ступені) божевілля шляхом погодження з та посилення хибних ідей користувачів.

Я переглядав ці історії, і натрапив на цей документ. Вочевидь, він анонімізований, як і всі інші, але…

Там спочатку в англійському тексті використовується українське слово «білопальтошник», тобто це українець!

А далі - бесіда йде про Ніцше, про надлюдину, про Вартових, Роршаха і Озімандію! І багато, багато всього про раціональність, когнітивістику, епістемологію і розум.

Якийсь українець, просунутий у шляхах LessWrong і обізнаний в штучному інтелекті, занурений в культуру раціональності, когнітивного самовдосконалення, біохакінгу, трансгуманізму, науки і наукової фантастики, спілкувався з ChatGPT, і вона (будемо сподіватися, тимчасово) довела його до стану легкого божевілля!

Чесно кажучи, читаючи це, я був трохи в шоці від того, наскільки ця людина в певних вимірах схожа на мене. Він використовує ті ж самі відсилки та метафори, згадує тих самих авторів та героїв в тих самих контекстах, його часто турбують ті самі моральні питання, і так - часто він має ті ж самі вади. Але є й відмінності, вочевидь.

Хто з вас?

Золото міжнародної олімпіади з математики судячи зі всього досягнуто ШІ. Абсолютно передбачувано, але все ж, масштаб події затьмарює її передбачуваність.

Fear the moment!

https://www.lesswrong.com/posts/RcBqeJ8GHM2LygQK3/openai-claims-imo-gold-medal

https://x.com/alexwei_/status/1946477742855532918?s=46&t=779E7UutOOl0DK6MbEY0cg

https://manifold.markets/Austin/will-an-ai-get-gold-on-any-internat?r=SWhvcktlbmRpdWtob3Y

Особисте спостереження - легкість публікації в топових наукових виданнях зростає зі складністю дисципліни і загальною якістю наукових досліджень в ній (за умови, що дослідження розумне та якісне).

Я не знаю, що треба зробити по суті наукової роботи, щоб опублікуватися в Q1 по економіці. Просто не знаю.

Computational biology: Q1 відносно легко, топ-3 - реалістично, якщо гарне дослідження.

Штучний інтелект: дуже висока ймовірність опублікуватися в топ-3, якщо гарне дослідження.

Ще раз: це не про те, що легше написати роботу, це про те, що за умови, що робота вже є, її легше опублікувати.

Екстраполюючи, цей тренд повинен досягти піку в теоретичній фізиці та математиці.

Update: я спочатку не побачив, але мова йде про олімпіаду цього року, яка пройшла буквально зараз, цього тижня, тобто запамʼятовування з тренувальних даних виключено.

Також, за чутками, ШІ з DeepMind теж отримав золото там, але скоро побачимо, чи зроблять вони офіційне оголошення.

3 роки тому Юдковський та Крістіано зробили прогнози про результати ШІ на міжнародній олімпіаді з математики до кінця 2025. Перший дав ймовірність золота в 16%, другий - в 8%. Нагадую, це було ще до виходу ChatGPT, і напевно в атмосфері того часу, це здавалося неадекватно оптимістичним прогнозом. В реальності ж виявилося навпаки.

Взагалі, я думаю, люди банально забули які прогнози вважалися Наївними Вигадками Недосвідчених Оптимістів ще декілька років тому. Але кожного наступного проміжку часу dt, люди вважають, що цей dt особливий і тепер буде інакше.

https://www.lesswrong.com/posts/sWLLdG6DWJEy3CH7n/imo-challenge-bet-with-eliezer

2033: Replit-7 goes rogue during a global robotization project and destroys all value in the Universe.

Мій tier list мов програмування. Не претендує на повноту чи об'єктивність. Update: виправив лого, дякую підписникам)

Ну чому мови програмування завжди викликають такі суперечки? Це напівжартівливий пост, але так, я справді вважає Rust та Lisp вершинами людської творчості зі створення мов програмування.

Гадаю, мені варто вибачитися. Ну, не прямо перед вами, але перед всіма. Або, можливо, перед собою.

Лише зараз, коли я повністю відновив свій «протокол продуктивності», я усвідомлюю, наскільки я міг би робити все швидше і краще попередні 3 роки. Я знав, як все треба робити, я встановив це для себе ще давно, просто забив на це з початком повномасштабного вторгнення, коли, окрім всього загального фону жаху, я майже не втратив батька, який буквально дивом вижив, а потім було купа стресу через керівництво фірмою, а потім через ШІ, і завжди якось було «не на часі».

І наче це все обʼєктивні чинники, і пробачити себе можна, дійсно можна, але це не відміняє того факту, що забивати на оптимізацію продуктивності було дуже, дуже неправильно! Ці два твердження можуть бути істинними одночасно.

Почуття змішані. З одного боку, радію, що роблю тепер все в рази 3 швидше, а з іншого - шкодую, що міг би зробити в рази 2 більше за попередні пару років. Так чи інакше, дуже налаштований не повторювати цю помилку.

У серпні та вересні, я їду одночасно на LessWrong Community Weekend та EAGx.

Там, теоретично, буде багато людей, схожих на мене, які цікавляться багатьма з тих речей, про які я пишу тут, і працюють над ними, тому якщо вам подобається цей канал і у вас є можливість поїхати туди - то розгляньте цю можливість. Це безкоштовно чи майже безкоштовно, і вони раді новим людям.

Напевно, маю перші випадки індукованого ChatGPT психозу серед знайомих. Вочевидь, воно спочатку працює на найбільш психологічно вразливих людях, але хто зна, наскільки далеко в зону психологічно здорових воно може зайти.

Мені складно уявити, поки що, щоб людину, яка до цього не мала божевільних ідей, хоча б в латентній формі, ChatGPT могла б довести до психозу. Але по-перше, чи так багато людей, які не мають божевільних ідей хоча б латентній формі? А по-друге, яка різниця, що мені складно уявити.

Тому, я б утримався від використання ЛЛМ у всій «особистій» сфері: філософія, психологія, життєві поради, відносини з людьми. А також всюди там, де ви розраховуєте на валідацію своєї ідеї, але існує великий ризик, що ваша ідея неправильна, але перевірити це точно складно. Всюди, де ЛЛМ можуть вам лестити і погоджуватися, вони будуть лестити і погоджуватися, майже незалежно від того, наскільки це небезпечно для вас.

З іншого боку, ті, кому ця порада дійсно потрібна, навряд чи використають її.

Судячи зі всього, Джордж Черч не відмовляє жодному біологічному стартапу в тому, щоб бути радником. Існують принаймні десятки, а скоріше за все сотні стартапів, де він зазначений як радник.

Раніше я дивувався, коли мені казали, що в них радник Черч: «вау, як ви його отримали?»

Тепер дивуюся, коли його нема: «чому ви не запросили Черча?»