Можна подумати про більш конкретні, залежні від контексту та умов дії, які залежать від конкретних подій чи роблять ставку на них, наприклад:
1. Потрапити в Сан-Франциско. Якщо є одне єдине місце, від якого буде залежати доля людства, то воно там. Що саме та коли робити, знаходячись там, невідомо, але можна хоча б розраховувати на те, що коли настане критичний момент, ти будеш поруч і спробуєш зробити, що необхідно.
2. Якось порушити ланцюжок виробництва відеокарт. Детальніше про ланцюжок тут, в розділі The Race For Infrastructure. Гарна новина в тому, що ми точно знаємо, що це під силу невеликій групі людей, у яких дуже багато грошей. Але в мене нема і не буде стільки грошей.
3. Допомагати розвитку більш безпечних технологій ШІ. Окрім нейромереж, існує безмежна кількість більш та менш перспективних архітектур для ШІ, і серед них безумовно є відносно більш безпечні. Але, по-перше, виживання відбудеться лише тоді, коли ШІ безпечний в цілому, а не безпечний відносно. А по-друге, вони відстають від нейромереж на років 20-50, і ніхто на ринку не буде ані вкладатися в них, ані користуватися ними. Капіталу для розвитку нема. Окрім того, складно уявити, щоб я міг зробити достатньо вагомий внесок в розробку альтернативних архітектур, навіть якби було достатньо капіталу для їх реалізації.

Знову ж таки, скептичний коментатор може зекономити свій час.

Кількість умов в задачі може зростати лише до певного ліміту перед тим, як в неї зникають рішення.

І тем не менш, казати, що обдумав все, що міг обдумати, і прийшов до висновку, що вирішення нема, буде неправдою. Треба думати ще - грунтовно, уважно і багато разів. Але ніхто не знає, скільки насправді ще є часу, і кожний день зволікання - це додатковий ризик.

Так ситуація виглядає станом на зараз. Навіщо я це пишу? Напевно, я в достатньо відчайдушному стані, щоб пробувати різні рандомні речі, кожна з яких сама по собі не потребує великих зусиль, і дивитися, чи принесе щось корисність, якусь зачіпку на перспективні рішення. Може, у когось, хто це читає, буде якась гарна ідея чи порада. Може, я просто перечитаю, що написав, подумаю ще раз, і мені самому в голову прийде якась нова гарна ідея. Може мої рефлексії допоможуть комусь вирішити його власну проблему. Але в цілому, я ні на що не розраховую. Просто роблю щось.

Що думає ринок про завтрашній івент OpenAI:
1. https://manifold.markets/ManifoldAI/openai-monday-livestream-prop-bets?r=SWhvcktlbmRpdWtob3Y
2. https://manifold.markets/strutheo/monday-openai-announcement-prop-mar?r=SWhvcktlbmRpdWtob3Y

Notion просувається по шляху personal database-based AI, і це дуже корисна річ.

Що ж. OpenAI не зробили нічого нового в reasoning capabilities. Новини чудові, усіх вітаю! Я про івент, який зараз був.

Те саме відчуття "фух, поки що пронесло" після чергово стріму OpenAI.

О ні. Я тільки зараз побачив. Нова модель набагато швидша за базову GPT-4. В разів 10-20 швидше за субʼєктивним відчуттям.

Тести дають приблизно таку ж оцінку: GPT-4o в разів 5 швидше за GPT-4 turbo, а GPT-4 turbo за найбільш консервативними оцінками в 3 рази швидша за базову GPT-4. Тобто, пришвидшення в 15 разів за консервативною оцінкою.

Це означає, що вони зробили модель класу upper GPT-4 принаймні в разів 5 меншу, ніж класична GPT-4 (тому що час генерації, як і тренування, для трансформера зростає як n^(2/3) з кількістю параметрів, якщо в них там досі трансформер). Scaling laws зламалися в інший бік - так само як закон Мура цього року теж зламався в інший бік.

За такою оцінкою, GPT-4o має близько 300 мільярдів параметрів, або менше. Нові моделі, враховуючи комбінацію ефекту падіння цін на GPU та зменшення необхідного розміру, судячи зі всього, тренувати зараз в 30-50 разів дешевше, ніж 2 року тому. Модель класу GPT-5, таким чином, може бути натренована за декілька десятків мільйонів доларів.

Якщо, звичайно, не відбувається щось взагалі незбагненно інше. О ні.

Я вам ще раз кажу.

Через зростаючий потік капіталу в ШІ склалася ситуація, коли тимчасово усі тренди, повʼязані з ШІ, зламалися у бік прискорення.

Ніколи до 2023 року і ніколи після 2028 року людство не проходило і не буде проходити через orders of magnitude of AI capabilities так швидко.

Ніколи ціни на обчислювальні потужності не падали так швидко, і ніколи не будуть.

Ніколи темпи виробництва процесорів не зростали так швидко, і ніколи не будуть.

Ніколи кількість і якість інженерів ШІ не зростали так швидко, і ніколи не будуть.

Цей унікальний час безпрецедентного зростання почався після виходу GPT-3.5 (тобто з початку 2022 року), і він не зможе тривати довго, тому що він живиться зростанням інвестицій в ШІ. Якщо інвестиції не сповільняться до цього з якихось причин, буквально через декілька років такого зростання індустрія ШІ зіштовхнеться з фундаментальними лімітами людської економіки. Тобто, через декілька років, якщо сповільнення не відбудеться до цього, річні інвестиції в ШІ будуть складати трильйони доларів, а кількість інженерів буде складати мільйони людей. У світі просто нема більше грошей і більше відносно вільних розумних людей. Тобто, технічно гроші є (світовий ВВП близько 100 трлн доларів), але ніхто не буде жертвувати власними потребами в таких масштабах заради продовження R&D. 10 трильйонів на ШІ виглядає як абсолютний максимум, на який погодиться людська цивілізація.

Якщо суперінтелект чи щось дуже близько до нього не буде досягнуто до 2028 року, то скоріше за все його не буде досягнуто ще дуже довго, або взагалі не досягнуто.

Тому, саме зараз період найбільшої невизначеності. Тому, якщо ситуація з перспективами суперінтелекту буде виглядати 2028 року приблизно так само, як і зараз, то я відносно зітхну і відносно розслаблюся. Тому, мій горизонт планування зараз - роки 3-4, але я очікую, що це зміниться.

Тому, я думаю, багато чого стане зрозуміло буквально за декілька років.

Note: під суперінтелектом мається на увазі просто ШІ, який більш продуктивний за людей у всьому. Тоді, надшвидкий біг через orders of magnitude продовжиться скільки завгодно довго.

Якщо ці висновки правильні, то у них точно є модель класу GPT-5. Нема жодного сенсу мати змогу витратити декілька десятків мільйонів доларів на модель класу GPT-5 і не зробити цього.

Але, якщо я кажу про “модель класу GPT-5”, то виникає очевидне питання - що я маю на увазі під цими словами? Тому що в принципі можна надати таке визначення, що або воно буде тавтологічно правильним, або постфактум правильним.

Отже, коли я кажу “модель класу GPT-5” я не маю на увазі:

1. Модель, яку вирішили назвати GPT-5.
2. Модель, яка більша GPT-4 приблизно настільки, наскільки GPT-4 більша GPT-3.
3. Модель, яку звичайні користувачі сприймають як “стрибок від GPT-4, який можна порівняти зі стрибком від GPT-3 до GPT-4”.


Натомість, я маю на увазі наступне:
Модель, значення функції втрат якої співставне з екстраполяцією графіка зниження функції втрат для попередніх GPT. Тобто, умовно кажучи, різниця між значенням функції втрат моделі класу GPT-5 і GPT-4 приблизно відповідає різниці між значенням функції втрат GPT-4 і GPT-3.

Зрозумів, кого мені нагадують мешканці бункеру 33 з серіалу Фолаут. Ефективних альтруїстів.

Зробив ринок на цю тему: https://manifold.markets/IhorKendiukhov/what-is-the-main-reason-behind-gpt4?r=SWhvcktlbmRpdWtob3Y

https://x.com/ilyasut/status/1790517455628198322?s=46&t=779E7UutOOl0DK6MbEY0cg

Батько знайомого працює в OpenAI Superalignment Team. Сьогодні терміново викликали на нараду щодо Q*. Повернувся пізно і нічого не пояснив. Сказав лише збирати речі і бігти в канцелярський магазин за скріпками для паперу. Зараз їдемо кудись далеко за межі локального світового конусу. Не знаю що відбувається, але мені здається почалося...

Проведемо трохи соціології.

Як виглядає альтернативна історія, де все пішло гарно після середини 20 століття і яка не потребує жодних фізичних див для того, щоб відбутися? Як виглядає 2024 рік у цій історії - в якій наш світ виглядає як світ, де перемогли поганці?

Серед іншого, так:

Комбінацією виховання, освіти, біотехнологій та євгеніки було досягнуто того, що медіанна людина розумніша, ніж нижня людина з топ-1% нашого світу.

У світі живе десь 200-300 млрд людей, і повірте, усім вистачає їжі.

Виробництво атомних електростанцій принаймні в 100 разів вище, ніж в нашому світі.

Неінтерпретабельний ШІ заборонений. Розробка неінтерпретабельного ШІ (більше певної межи флопсів) карається як акт міжнародного тероризму. Gain-of-function research карається аналогічно.

Ринки передбачень за реальні гроші всюди. Їх капіталізація складає принаймні сотні трильйонів доларів. Нові політичні рішення, закони реалізуються лише якщо ринки передбачень дають високу ймовірність їх успіху. Взагалі, ринки передбачень використовуються у всіх сферах і допомагають вирішити будь-які питання.

На Марсі створено хоча б невеличку колонію, яка містить усі інформацію людської цивілізації та усе необхідне для її повноцінного відновлення.

До Омуамуа був запущений флот наукових зондів. Про всяк випадок, там ще є декілька термоядерних бомб.

Якщо у світі десь зʼявляється божевільний диктатор, його просто одразу вбиває елітний загін ООН або кінетична зброя, розташована на орбіті, і це відбувається, не чекаючи рішення еквіваленту суду в Гаазі.

Нема жодних обмежень на інвестиції у будь-який актив, який сам по собі не є небезпечним. Наприклад, інвестиції в стартапи абсолютно вільні для всіх.

Організації, які навчають, і організації, які приймають екзамени, розділені.

FDA не існує. Але існує популярний роман-антиутопія про світ, де існує FDA.

Вага голосів на виборах пропорційна результатам інтелектуальних тестів.

https://x.com/janleike/status/1791498174659715494?s=46&t=779E7UutOOl0DK6MbEY0cg

Судячи зі всього, команда з супералайнменту OpenAI припинила існування зі звільненням її керівника, який фактично звинувачує керівництво OpenAI в тому, що робота з супералайнменту була саботована через конфлікт з бізнес-інтересами.

Що ж. Я думаю, що це хоча б чесно - якщо компанія ігнорує алайнмент, то нехай хоча б видалить відділ алайнменту, щоб не дезінформувати людей.

Десь місяць тому аналогічно журилися про те, що тихо закрили Future of Humanity Institute. А я вважаю, що це чесно - навіщо інститут, якщо нема обʼєкту дослідження?