https://manifold.markets/IhorKendiukhov/will-there-be-an-attempt-of-radical?r=SWhvcktlbmRpdWtob3Y

На мій погляд, це найімовірніший (але звичайно все одно дуже малоймовірний) сценарій, як людство переживає штучний суперінтелект. Тому зробив ринок.

До речі, реальні гроші приходять на Manifold цього літа. Якщо регуляторам не вдасться це знищити, то ми отримаємо машину передбачень загального характеру на порядок кращу, ніж усе, що є у світі зараз.

І ще один ринок від мене: https://manifold.markets/IhorKendiukhov/will-someone-take-desperate-measure?r=SWhvcktlbmRpdWtob3Y

Кінцеві цілі ШІ будуть радикально відрізнятися від людських цілей. Різниця між цілями тебе, Маска, Путіна, Гітлера, Фейнмана, Ісуса, менеджера хедж-фонда і селянина буде непомітною на фоні ШІ. Уся множина кінцевих людських цілей буде виглядати як єдина точка.

Це повинно бути очевидно, але якщо неочевидно, то подивіться на еволюцію. Нам відомі два потужні оптимізаційні процеси - людський інтелект і еволюція. Цільові критерії (далі просто «цілі») еволюції настільки відрізняються від цілей людського інтелекту, що людський інтелект досі скоює елементарні помилки в моделюванні цілей еволюції, навіть коли це людський інтелект професійного біолога. Звичайно, є саме еволюційні біологи, а є просто достатньо розумні люди (і звичайно серед них є біологи), які навчилися правильно моделювати цілі еволюції. Але у еволюційної біології як дисципліни пішло дуже багато часу і зусиль, щоб навчитися робити це!

Ми емпірично бачимо, що надзвичайно потужні оптимізаційні процеси з принципово чужими для людей цілями можливі, але, повторюся, це і так повинно бути зрозуміло, тому що нема причин/сил/законів, які б це забороняли.

ШІ, що створюється зараз, створюється без жодної подоби до того, як створювалися люди - інший алгоритм, інша архітектура, інше залізо, інші дані, інша функція втрат, інша парадигма навчання. Усе інше, буквально все. І суперінтелект, що буде створений на основні цього ШІ, продемонструє розум настільки чужий, що цього ніхто, включно зі мною, не може собі уявити.

Утім, як знаходяться люди, які (неправильно) моделюють еволюцію як «людський інтелект, що намагається максимізувати адаптивність», знайдуться і ті, хто (неправильно) буде моделювати ШІ як «людський інтелект, який намагається максимізувати дивну ціль ШІ».

Якщо ви не бачите, що перетин між вашими цілями, цілями полінезійського аборигену, науковця, мільярдера, маніяка, священника і співака складає 99,9% у просторі усіх можливих цілей (а не тільки усіх можливих людських цілей), то ви можете не уникнути того, щоб стати такою людиною.

https://manifold.markets/IhorKendiukhov/will-a-manned-interstellar-mission?r=SWhvcktlbmRpdWtob3Y

Ще питання про виживання.

For rationality, against rationalisation
For superintelligence, against populating local galaxy cluster with the non-sentient paperclip maximizers
For freedom of speech, against freedom from consequences
For ambition, against vanity
For self-restraint, against asceticism
For superiority over human nature, against rebellion against it
For understanding enemies, against sympathy for enemies
For the desire for progress, against the desire for change
For free markets, against ignoring externalities
For the desire for good consequences, against the desire for good behavior
For pragmatism, against cynicism
For morality, against religiosity
For an overman, against a monkey in an exoskeleton
For Python, against Python as the only language
For being a mathematical formalist on Sundays, against being one on weekdays.
For the desire to reduce phenomenological theories to fundamental ones, against the rejection of phenomenological theories only because of the inability to do this
For nuances, against compromises.

Я живу в Німеччині вже 7 років, навіть був директором німецької компанії декілька років (але зараз ні), але лише зараз дізнався, що звільнити людину не за власним бажанням тут практично неможливо.

Але це просто ілюстрація абсолютно загальної, універсальної риси Німеччини. Усе законодавство побудовано так, щоб мінімізувати стимули працювати. Я не кажу навіть про бюрократію - бюрократія це просто як додатковий податок, що немає користі, тобто треба платити людям окремо за працю з документами, але принципово вона нічого не змінює.

Ніколи не робіть стартап в Німеччині.

Країна-болото. Нуль шансів.

Потяги не ходять, електроенергія виробляється спаленням вугілля, тому що атомні електростанції заборонені, екоактивісти штурмують заводи, постійні вихідні, ніхто не хоче працювати, та й не міг би, якби хотів, тому що це практично нелегально. Єдине, про що німці піклуються, на що справді готові витрачати зусилля - це Datenschutz, тобто захист «персональних даних», але це ще один черговий тягар для бізнесів, які бояться зайвий раз чехнути, щоб не порушити Datenschutz.

Єдина зміна, яка може тут відбутися - це прихід до влади AfD з подальшим перетворенням на божевільний популістський проросійський недорейх, тобто зміна на гірше.

Чому я досі тут? З двох причин:
1. У Німеччині найкраща безкоштовна освіта, і напевно взагалі найкраща освіта, якщо не брати університети, в які практично неможливо поступити.
2. Немає візи на проживання в США.

Звичайно, в деяких інших багатих країнах ситуація ще гірша. В Британії наприклад вже декілька років взагалі рецесія. Італія ChatGPT заборонила. Але якщо є вибір, де жити - США чи ЄС, обирайте США. Але навіть США - це в моменті. Хто знає, що відбудеться, якщо переможе Трамп? Може там взагалі громадянська війна буде.

Пост звичайно вийшов трохи гіперболізований та більш емоційний, ніж був би ідеально адекватний пост, але.

У суперечці «чи зводиться людський інтелект до єдиного каузального фактору» люди, зазвичай, бояться казати «ні», тому що усі звикли до того, що переконання про «різні типи інтелекту» - це ознака дурних людей.

Звичайного, я не збираюся розповідати про, вибачте, «емоційний інтелект». Я також не збираюся заперечувати те, що незважаючи на очевидні проблеми з немонотонною кореляцією IQ з іншими здібностями (що лаконічно можна висловити як «-IQ is a measure of unintelligence but IQ is not a measure of intelligence”), повинен існувати більш-менш визначений і більш-менш компактний тест на високі когнітивні здібності і успішність.

Але суто з особистого досвіду, з інтроспекції, із взаємодії з різними людьми, я на побутово-практичному рівні відчуваю різницю між 4 речами, які зазвичай більш-менш обʼєднуються під словом «інтелект»:

1. Раціональне оновлення переконань/контроль очікувань.
2. Здатність/схильність вирішувати головоломки.
3. Памʼять та здатність/схильність до вивчення.
4. Стратегічне планування.

Умовні приклади того, що означає кожен з цих класів здатностей, можна надати через гіперболізовані приклади сфер діяльності, де екстраординарні значення цих здібностей надають екстраординарний успіх:

1. Інвестор, прогнозист.
2. Математик, інженер, фізик.
3. Гуманітарний вчений та взагалі вчений.
4. Підприємець.

Як я сказав, це суто побутова думка, у мене нуль якоїсь наукової evidence на цей рахунок.

Якщо це GPT-5, то її ще довго не буде. Може, десь рік, а може більше.
Якщо це GPT-6, то GPT4o ймовірно була дистильованою версією GPT-5, основна версія якої вийде скоро після GPT-4o.

Кожного разу, коли натрапляю на Мілея, то спочатку дивуюся, що політичний лідер знає економіку, а потім дивуюся, що це дивно - очікувати, що політичний лідер знає економіку.

Мені відомо аж два політичних лідери, що знають/знали економіку - Лі Куан Ю і Хавʼєр Мілей.

Але одразу скажу:
1. Я не дуже вивчаю політичних лідерів, може хтось ще десь колись знав економіку.
2. Я цілком можу уявити, що певні політичні лідери знають економіку, але приховують це, тим більше, що демонструвати виборцям знання економіки - як правило дуже непопулярний акт.

Я звичайно часто гноблю економіку, але:
1. Я гноблю економіку як академічну дисципліну та культуру, а не як сферу знань. Економічні питання настільки ж наукові, як фізичні питання, і на них можна і треба знаходити відповіді.
2. Навіть якщо розглядати економіку як академічну дисципліну - я б сказав, що це квазінаука, але не псевдонаука. Інколи там є безперечні факти, є однозначні висновки досліджень, і інколи це зроблено згідно до усієї повноти строгості наукового методу.

Мілей до того ж, окрім того що він знає економіку, демонструє високий рівень метарозуміння і рефлексії, тобто: які з моделей більш надійні, які менш, які твердження більш науково адекватні, і чому.

І у будь-якому випадку, навіть догматичне та поверхневе сприйняття економіки політиком призведе до набагато кращої політики ніж те, що ми спостерігаємо у світі майже всюди і майже завжди.

Також, у будь-якому випадку, навіть якщо політики не вивчають економіку з принципових причин, а не через тупість (тобто, наприклад, тому що вважають її ненауковою), навіщо політики виділяють таку величезну кількість грошей на економічні дослідження? Переважна більшість (я впевнений, що більше ніж 99,9%) усіх економічних статей ніколи в принципі не розглядається політиками, навіть непрямо.

https://youtu.be/ob9H2T5GApU?si=VIa6kgtihsm03rvn

Якщо Мілей стане пожиттєвим диктатором (і проживе достатньо довго), то в Аргентини є усі шанси стати передовою країною. Якщо ні, то звичайно, що ймовірність того, що наступний президент буде хоча б приблизно настільки адекватним - приблизно нуль.

І ні, звичайно, що це не аргумент на користь диктатури в принципі. Просто буває так, що на 10 000 потенційно поганих диктаторів знаходиться один потенційно гарний.

Ви ж не серйозно, так?
Так?

Правильна відповідь - 1 коробка! Інший шлях не приведе вас нікуди, окрім як до страждань. Я попередив.

Раптово-випадково натрапив на українську статтю проти ШІ-думерів. Автору вдалося сконцентрувати доволі приголомшливу кількість помилок на одиницю тексту і таким чином створити дуже коротку, але дуже ілюстративну, колекцію поганих аргументів про ШІ. Що спонукає зробити її розгляд.

Одразу кажу: я думаю, що той факт, що ця тема в принципі хоч якось хоч кимось згадалася в Україні – це позитивна річ. Також позитивною річчю є те, що голова урядового комітету з питань розвитку сфери ШІ в принципі щось десь чув про ШІ. Це правда важливий позитивний крок. І наскільки я можу судити, Олексій Молчановський є гарною людиною. І він не сказав нічого унікально неправильного – це доволі типові погані аргументи. І нижче я буду гнобити критикувати його текст не тому, що він якось фундаментально більш поганий, ніж аналогічні західні тексти, а тому що це (а) компактна ілюстрація поганих аргументів, (б) цей мій канал орієнтований більше на українську аудиторію, ніж інші мої медіа-канали, і найголовніше (с), тому що одна справа – коли ти просто верзеш до комічного дурну маячню, але зовсім інша – коли ти намагаєшся зробити вигляд, що твоя маячня є серйозною розумною позицією, а передові світові дослідники цього питання - це «поціновувачі конспірологічних теорій з черговими апокаліптичними прогнозами щодо штучного інтелекту».

Отже, пройдемося по найбільших ілюстративних пунктах.

Основа сучасних технологій ШІ ґрунтується на тих самих підходах, що й технології багаторічної давнини. Відмінність у тому, що сьогодні вони забезпечуються набагато більшою кількістю даних. – це просто вигадане твердження. Автор ніяк не може знати, на яких саме технологіях грунтуються передові розробки сучасних ШІ лабораторій, тому що вони не публікують не тільки власні моделі, але навіть приблизний опис цих моделей. Звичайно, там deep learning та attention mechanism, але він не може знати, що ще там є і наскільки це нове чи навпаки не нове. Окрім того, Sora не може бути просто трансформером. Q* не може бути просто трансформером. Навіть GPT-4 скоріше за все не є просто трансформером, інакше OpenAI не приховувала б архітектуру.

Дані є секретом успіху новітніх технологій, але й проблемою, тому що якісні дані закінчуються. І є ризик того, що скоро ШІ просто не буде на чому навчати. Існують різні оцінки щодо того, скільки вже якісних даних використано, але з тим, що їх стає дедалі менше, згодні всі. – звичайно, можна надати таке визначення «якісних даних», що це твердження буде тривіально правильним, але що це дає з точки зору коректності аналізу ситуації? Дійсно, згідно до законів масштабування, треба поліноміально більше даних, щоб зменшувати функцію втрат ЛЛМ, і дійсно, за фіксованого обсягу даних функція втрат обмежена вище нуля, тобто збільшення розміру ЛЛМ до нескінченності не опустить функцію втрат нижче певного позитивного ліміту. Але, скільки ж тут “але”!
1. Вичерпання унікальних даних не зупинить зменшення функції втрат у локальних масштабах часу – воно просто зробить це більш дорогою та неефективною процедурою. Кожне наступне лінійне зменшення функції втрат буде даватися складніше, ніж за наявності унікальних даних, у тому сенсі, що коефіцієнти зворотної степеневої функції масштабування зміняться «у гірший бік», але це буде все одно зворотна степенева функція. Якщо екстраполювати функцію на нескінченність, то колись буде приблизно досягнуто ліміту, який відповідає даному обсягу даних, але враховуючи те, що ми знаємо про конкретний вигляд закону масштабування, то він «зламається» раніше, ніж буде досягнуто цей ліміт, і те що він «зламається», зовсім необовʼязково означає, що функція втрат перестане падати – це просто означає, що зміниться закон, за яким вона падає.
2. Ентропія людського тексту взагалі може буде вища, ніж ліміт функції масштабування за даного обсягу даних! Насправді, автори оригінальної статті про закони масштабування спекулюють про те, що точка «зламування» закону масштабування і є точкою ентропії людського тексту, але це звичайно гіпотеза. Тоді взагалі нові дані не дадуть принципово нічого – усе, що можна вивчити з людського тексту, можна вивчити з вже наявних даних. Звичайно, що формально досягнення ентропії буде означати, що «досягнуто плато ШІ», але ШІ, функція втрат якого відповідає ентропії тексту, це богоподібна сутність зі здатностями, які неспівставно та радикально перевершують усе, на що здатні люди. Якщо «насичення» відбудеться на цьому рівні, то для людей вже давно все буде запізно.
3. Створювати новий складний, унікальний та низькоентропійний тренувальний текст абсолютно легко. Елементарний приклад – генерація NP-складних задач. ЛЛМ може тренуватися генерувати рішення NP-складних задач, тому що верифікація рішень займає поліноміальний час, і ми просто можемо перевіряти рішення звичайними алгоритмами, генеруючи такі задачі буквально до нескінченності – до нульової ентропії, тому що звичайно, що ентропія тексту «умови та рішення NP-складних задач» дорівнює нулю + випадковість генерації умов задач. Або просто генеруйте умовно рандомний код і давайте ЛЛМ передбачити результати його виконання – строго кажучи, це нескінченне джерело унікального складного тексту, та ще й такого, що, якщо Всесвіт Turing countable, то максимальна здатність передбачати цей текст означає максимальну здатність розуміти Всесвіт. Це гіперболізований приклад, але він демонструє ступінь абсурдності твердження «якісні дані закінчуються».
4. Ніхто не буде обмежуватися текстом. Ніхто вже не обмежується текстом. Обсяг доступного відео набагато більший, ніж тексту, і кількість унікальної інформації там ще більша. Якщо унікальні відео закінчаться – ШІ, що здатний ідеально передбачати усі наявні відео, це безумовно ШІ богоподібних здатностей.
5. Альтман: «scaling laws are decided by god; the constants are determined by members of the technical staf». Будь-які висновки на основі наївного прийняття поточних коефіцієнтів законів масштабування приречені на провал, тому що коефіцієнти змінюються – але завжди в бік прискорення. Поточна оцінка коефіцієнтів законів масштабування – це не найкраща оцінка, а верхня оцінка.

6. Трансформери  -  це маленька частина історії ШІ. Закони масштабування трансформерів  -  це ще менша частина історії ШІ. Закони масштабування прийшли і підуть. Уявіть собі людину, що каже у 2005 році каже, що подальший прогрес в ШІ неможливий, тому що LSTM вичерпали свої можливості. Уявіть собі будь-яку людину в будь-який момент історії розвитку ШІ, яка робила будь-яке твердження виду «архітектура Х для ШІ вичерпала свої можливості, тому прогрес ШІ зупиняється»  -  вона завжди була неправа. На початку статті автор каже, що не вважає, що ми живемо в унікальній точці в історії  -  але здається, що він вважає навпаки.
7. Відсутність статистично значущого зменшення функції втрат не означає автоматично відсутність важливого зростання здатностей. Залежність між функцію втрат та здатностями, про які ми піклуємося, складна і доволі незрозуміла.

Якщо послухати науковців, які вивчають нейронауки, то вони говорять, що нам необхідно ще років 100, щоб повністю зрозуміти, як функціонує мозок. Ми й досі маємо забагато відкритих питань. Це теза Крістофера Коха¹, професора з Allen Institute for Neuroscience, яку він висловив під час AI Debate 2.0 у 2020 році. - це, можливо, абсолютно рекордний текст за кількістю хибних аргументів на слово, який я зустрічав в принципі.
1. Думка Коха не є науковим консенсусом.
2. Науковий консенсус з такого питання не є навіть мінімально надійним прогнозом.
3. Проблема розуміння людського мозку дуже відрізняється від проблеми розуміння штучного інтелекту.
4. Проблема розуміння штучного інтелекту дуже відрізняється від проблеми створення штучного інтелекту.
5. Проблема створення штучного інтелекту гарантовано легша проблеми розуміння штучного інтелекту.
6. Навіть якби вчений, на якого посилається автор, був фахівцем з релевантного питання – створення штучного інтелекту - у нього не було б жодних шансів зробити правильний прогноз.
7. Цитата була висловлена 2020 року, до того, як 95% здібностей ШІ, які ми маємо зараз, були розроблені.
8. Середнє чи медіанне значення прогнозу само по собі практично не несе жодної інформації (власне, окрім того факту, що середнє чи медіанне значення існує) в контексті управління ризиками. Треба оцінювати розподіл прогнозу в цілому.
9. Це просто рандомний прогноз з тисяч рандомних прогнозів – і на кожний смак існує свій прогноз. Які причини орієнтуватися саме на нього?
10. Враховуючи екзистенційну важливість питання, треба мати астрономічну впевненість, щоб зробити висновок, що ризик не суттєвий.

Тож коли вигулькує поціновувач конспірологічних теорій з черговими апокаліптичними прогнозами щодо штучного інтелекту, я… запрошую його почитати історію технологій. – наводжу декілька прикладів дурних поціновувачів конспірологічних теорій і пропоную автору просвітити цих невігласів:

Сем Альтман, CEO OpenAI;
Деміс Хассабіс, CEO Google DeepMind;
Даріо Амодей, CEO Anthropic.
Джеффрі Хінтон і Йошуа Бенгіо, двоє з трьох дослідників, які отримали нагороду Тюрінга за роботу над нейронними мережами і яких вважають «хрещеними батьками» сучасного штучного інтелекту.
Ілія Сатскевер, CTO OpenAI на момент підписання.

Повний перелік невігласів (серед них є директори та лідери практично усіх передових ШІ лабораторій) можна побачити тут: https://www.safe.ai/work/statement-on-ai-risk