Правильна відповідь - 1 коробка! Інший шлях не приведе вас нікуди, окрім як до страждань. Я попередив.

Раптово-випадково натрапив на українську статтю проти ШІ-думерів. Автору вдалося сконцентрувати доволі приголомшливу кількість помилок на одиницю тексту і таким чином створити дуже коротку, але дуже ілюстративну, колекцію поганих аргументів про ШІ. Що спонукає зробити її розгляд.

Одразу кажу: я думаю, що той факт, що ця тема в принципі хоч якось хоч кимось згадалася в Україні – це позитивна річ. Також позитивною річчю є те, що голова урядового комітету з питань розвитку сфери ШІ в принципі щось десь чув про ШІ. Це правда важливий позитивний крок. І наскільки я можу судити, Олексій Молчановський є гарною людиною. І він не сказав нічого унікально неправильного – це доволі типові погані аргументи. І нижче я буду гнобити критикувати його текст не тому, що він якось фундаментально більш поганий, ніж аналогічні західні тексти, а тому що це (а) компактна ілюстрація поганих аргументів, (б) цей мій канал орієнтований більше на українську аудиторію, ніж інші мої медіа-канали, і найголовніше (с), тому що одна справа – коли ти просто верзеш до комічного дурну маячню, але зовсім інша – коли ти намагаєшся зробити вигляд, що твоя маячня є серйозною розумною позицією, а передові світові дослідники цього питання - це «поціновувачі конспірологічних теорій з черговими апокаліптичними прогнозами щодо штучного інтелекту».

Отже, пройдемося по найбільших ілюстративних пунктах.

Основа сучасних технологій ШІ ґрунтується на тих самих підходах, що й технології багаторічної давнини. Відмінність у тому, що сьогодні вони забезпечуються набагато більшою кількістю даних. – це просто вигадане твердження. Автор ніяк не може знати, на яких саме технологіях грунтуються передові розробки сучасних ШІ лабораторій, тому що вони не публікують не тільки власні моделі, але навіть приблизний опис цих моделей. Звичайно, там deep learning та attention mechanism, але він не може знати, що ще там є і наскільки це нове чи навпаки не нове. Окрім того, Sora не може бути просто трансформером. Q* не може бути просто трансформером. Навіть GPT-4 скоріше за все не є просто трансформером, інакше OpenAI не приховувала б архітектуру.

Дані є секретом успіху новітніх технологій, але й проблемою, тому що якісні дані закінчуються. І є ризик того, що скоро ШІ просто не буде на чому навчати. Існують різні оцінки щодо того, скільки вже якісних даних використано, але з тим, що їх стає дедалі менше, згодні всі. – звичайно, можна надати таке визначення «якісних даних», що це твердження буде тривіально правильним, але що це дає з точки зору коректності аналізу ситуації? Дійсно, згідно до законів масштабування, треба поліноміально більше даних, щоб зменшувати функцію втрат ЛЛМ, і дійсно, за фіксованого обсягу даних функція втрат обмежена вище нуля, тобто збільшення розміру ЛЛМ до нескінченності не опустить функцію втрат нижче певного позитивного ліміту. Але, скільки ж тут “але”!
1. Вичерпання унікальних даних не зупинить зменшення функції втрат у локальних масштабах часу – воно просто зробить це більш дорогою та неефективною процедурою. Кожне наступне лінійне зменшення функції втрат буде даватися складніше, ніж за наявності унікальних даних, у тому сенсі, що коефіцієнти зворотної степеневої функції масштабування зміняться «у гірший бік», але це буде все одно зворотна степенева функція. Якщо екстраполювати функцію на нескінченність, то колись буде приблизно досягнуто ліміту, який відповідає даному обсягу даних, але враховуючи те, що ми знаємо про конкретний вигляд закону масштабування, то він «зламається» раніше, ніж буде досягнуто цей ліміт, і те що він «зламається», зовсім необовʼязково означає, що функція втрат перестане падати – це просто означає, що зміниться закон, за яким вона падає.
2. Ентропія людського тексту взагалі може буде вища, ніж ліміт функції масштабування за даного обсягу даних! Насправді, автори оригінальної статті про закони масштабування спекулюють про те, що точка «зламування» закону масштабування і є точкою ентропії людського тексту, але це звичайно гіпотеза. Тоді взагалі нові дані не дадуть принципово нічого – усе, що можна вивчити з людського тексту, можна вивчити з вже наявних даних. Звичайно, що формально досягнення ентропії буде означати, що «досягнуто плато ШІ», але ШІ, функція втрат якого відповідає ентропії тексту, це богоподібна сутність зі здатностями, які неспівставно та радикально перевершують усе, на що здатні люди. Якщо «насичення» відбудеться на цьому рівні, то для людей вже давно все буде запізно.
3. Створювати новий складний, унікальний та низькоентропійний тренувальний текст абсолютно легко. Елементарний приклад – генерація NP-складних задач. ЛЛМ може тренуватися генерувати рішення NP-складних задач, тому що верифікація рішень займає поліноміальний час, і ми просто можемо перевіряти рішення звичайними алгоритмами, генеруючи такі задачі буквально до нескінченності – до нульової ентропії, тому що звичайно, що ентропія тексту «умови та рішення NP-складних задач» дорівнює нулю + випадковість генерації умов задач. Або просто генеруйте умовно рандомний код і давайте ЛЛМ передбачити результати його виконання – строго кажучи, це нескінченне джерело унікального складного тексту, та ще й такого, що, якщо Всесвіт Turing countable, то максимальна здатність передбачати цей текст означає максимальну здатність розуміти Всесвіт. Це гіперболізований приклад, але він демонструє ступінь абсурдності твердження «якісні дані закінчуються».
4. Ніхто не буде обмежуватися текстом. Ніхто вже не обмежується текстом. Обсяг доступного відео набагато більший, ніж тексту, і кількість унікальної інформації там ще більша. Якщо унікальні відео закінчаться – ШІ, що здатний ідеально передбачати усі наявні відео, це безумовно ШІ богоподібних здатностей.
5. Альтман: «scaling laws are decided by god; the constants are determined by members of the technical staf». Будь-які висновки на основі наївного прийняття поточних коефіцієнтів законів масштабування приречені на провал, тому що коефіцієнти змінюються – але завжди в бік прискорення. Поточна оцінка коефіцієнтів законів масштабування – це не найкраща оцінка, а верхня оцінка.

6. Трансформери  -  це маленька частина історії ШІ. Закони масштабування трансформерів  -  це ще менша частина історії ШІ. Закони масштабування прийшли і підуть. Уявіть собі людину, що каже у 2005 році каже, що подальший прогрес в ШІ неможливий, тому що LSTM вичерпали свої можливості. Уявіть собі будь-яку людину в будь-який момент історії розвитку ШІ, яка робила будь-яке твердження виду «архітектура Х для ШІ вичерпала свої можливості, тому прогрес ШІ зупиняється»  -  вона завжди була неправа. На початку статті автор каже, що не вважає, що ми живемо в унікальній точці в історії  -  але здається, що він вважає навпаки.
7. Відсутність статистично значущого зменшення функції втрат не означає автоматично відсутність важливого зростання здатностей. Залежність між функцію втрат та здатностями, про які ми піклуємося, складна і доволі незрозуміла.

Якщо послухати науковців, які вивчають нейронауки, то вони говорять, що нам необхідно ще років 100, щоб повністю зрозуміти, як функціонує мозок. Ми й досі маємо забагато відкритих питань. Це теза Крістофера Коха¹, професора з Allen Institute for Neuroscience, яку він висловив під час AI Debate 2.0 у 2020 році. - це, можливо, абсолютно рекордний текст за кількістю хибних аргументів на слово, який я зустрічав в принципі.
1. Думка Коха не є науковим консенсусом.
2. Науковий консенсус з такого питання не є навіть мінімально надійним прогнозом.
3. Проблема розуміння людського мозку дуже відрізняється від проблеми розуміння штучного інтелекту.
4. Проблема розуміння штучного інтелекту дуже відрізняється від проблеми створення штучного інтелекту.
5. Проблема створення штучного інтелекту гарантовано легша проблеми розуміння штучного інтелекту.
6. Навіть якби вчений, на якого посилається автор, був фахівцем з релевантного питання – створення штучного інтелекту - у нього не було б жодних шансів зробити правильний прогноз.
7. Цитата була висловлена 2020 року, до того, як 95% здібностей ШІ, які ми маємо зараз, були розроблені.
8. Середнє чи медіанне значення прогнозу само по собі практично не несе жодної інформації (власне, окрім того факту, що середнє чи медіанне значення існує) в контексті управління ризиками. Треба оцінювати розподіл прогнозу в цілому.
9. Це просто рандомний прогноз з тисяч рандомних прогнозів – і на кожний смак існує свій прогноз. Які причини орієнтуватися саме на нього?
10. Враховуючи екзистенційну важливість питання, треба мати астрономічну впевненість, щоб зробити висновок, що ризик не суттєвий.

Тож коли вигулькує поціновувач конспірологічних теорій з черговими апокаліптичними прогнозами щодо штучного інтелекту, я… запрошую його почитати історію технологій. – наводжу декілька прикладів дурних поціновувачів конспірологічних теорій і пропоную автору просвітити цих невігласів:

Сем Альтман, CEO OpenAI;
Деміс Хассабіс, CEO Google DeepMind;
Даріо Амодей, CEO Anthropic.
Джеффрі Хінтон і Йошуа Бенгіо, двоє з трьох дослідників, які отримали нагороду Тюрінга за роботу над нейронними мережами і яких вважають «хрещеними батьками» сучасного штучного інтелекту.
Ілія Сатскевер, CTO OpenAI на момент підписання.

Повний перелік невігласів (серед них є директори та лідери практично усіх передових ШІ лабораторій) можна побачити тут: https://www.safe.ai/work/statement-on-ai-risk

Бізнес має дуже велику зацікавленість, але дійсно цінні рішення, які може запропонувати ШІ, доволі обмеженні. Він може намалювати картинку, обробити текст, витягти звідти інформацію. Проте наскільки це буде краще, ніж робота професійного експерта?

Ем, що?
AlphaFold3 зробила роботу мільярдів аспірантів, що працюють багато років. Компанії, що створюють ліки за допомогою ШІ, виходять на IPO. Сценарісти та актори в Голівуді втрачають роботу через ШІ. Нейромережі роблять молекулярні симуляції на рівні точності, який вважався неможливим. Гібридні системи ШІ вирішують геометричні задачі на абсолютній межі людських можливостей (золото міжнародної олімпіади з математики). Github Copilot використовується значною часткою програмістів і помітно збільшує їхню продуктивність для будь-якого рівня досвіду та знань.

Розкажу про особистий досвід: я писав текст і залучив до цього чат GPT. Але пояснювати йому, як саме написати, виявилось довше, ніж писати самостійно. – розкажу про особистий досвід: одного разу я намагався зайти в ChatGPT, але авторизація не спрацювала. Відповідно, це все ще сирий дурний продукт, ризиків нема. Q.E.D.

Чому ми вирішили, що живемо в унікальний момент історії з погляду технологій? – цей аргумент працює завжди, сліпий аргумент. Око, яке бачить завжди білий колір, є сліпим. Аргумент, який призводить до одного і того самого висновку завжди, не є аргументом.

Поточний ШІ не має власних намірів та механізмів їх втілення. – ШІ вже демонструє стратегічний обман (і ще). Існує величезна кількість літератури на тему емпіричних свідчень щодо goal misgeneralization і specification gaming, що фактично є утворенням ШІ власних, відмінних від очікуваних, намірів та інколи відкриттям невідомих людині механізмів їх втілення. Ця проблема публічно визнається усьома передовими ШІ лабораторіями, наприклад DeepMind, але подібна інформація є на сайті кожної подібної лабораторії.

Тут в одному пості, бо якось забагато вийшло (не за пейволом): https://kendiukhov.medium.com/відповідь-на-статтю-повстання-машин-скасовується-3b947187077a

Один зі способів відрізнити сферу реальних знань від сфери псевдо/квазі-знань:
Чи буде помірно успішний фахівець-самоучка більш продуктивним від того, що вивчить академічну дисципліну, що відповідає сфері його діяльності? Якщо так, то це сфера реальних знань.

Приклад:
Помірно продуктивний програміст-самоучка стане більш продуктивним від вивчення computer science.
Помірно продуктивний трейдер-самоучка стане менш продуктивним від вивчення теорії фінансових ринків.

Під вивченням тут, звичайно, мається на увазі не просто вивчення як таке, але й прийняття вивченого як керівництва до дій/інформації, на яку треба звертати увагу.

Сьогодні Nvidia стала найбільшою у світі компанією за капіталізацією (3.345 трильйони доларів). Я очікую, що в найближчі роки вона стане першою компанією, що досягне 10 трильйонів доларів. Не купляти коли на Nvidia було б надзвичайно поганим фінансовим рішенням два роки тому, рік тому - і залишається таким і зараз.

2027 рік: перемовини про пріоритетність постачання відеокарт між CEO майкрософту, гуглу та мета з одного боку і Дженсеном Хуангом з іншого.

Зауваження: не подумайте, що я зневажаю усіх академічних економістів/фінансистів. Це не так. Коли я зустрічаю чесного та розумного економіста, то я поважаю його більше, ніж аналогічного науковця з реальної науки - тому що бути/залишатися чесним та розумним в економіці набагато складніше. Людина, яка навчилася мислити в умовах середньовічного суспільства, заслуговує набагато більше поваги, ніж людина, яка навчилася мислити на такому ж рівні, але в умовах системи освіти сучасної розвиненої країни.

Друзі, я розробив простий додаток для аналізу і тренування якості ваших здатностей робити прогнози.

Поки що доступний на Android, але сподіваюся, що скоро буде і на iOS.

Це бета версія і мій перший додаток на Android з особистого аккаунту, тому доступ поки що може бути лише через реєстрацію за емейлом (це правила play market такі). Хто хоче спробувати, будь-ласка заповніть цю форму, і вам надішлють посилання для завантаження.

Додаток безкоштовний і без реклами, і думаю, що так буде завжди. Також він open source, код тут. Я робив спочатку насамперед для себе, щоб калібрувати свої ймовірності, але думаю, що комусь теж може бути цікаво, тому що це один з найкращих простих способів об'єктивно перевіряти та покращувати свій інтелект, переконання та переконання про свій інтелект. Фідбек щодо покращення додатку та багів також заоохочується.

Це буде перша (і ще доволі малозначуща) з багатьох аналогічних подій, які у сукупності призведуть до того, що Європа буде економічно і інноваційно знищена - повністю і безповоротно. Звичайно, якщо superintelligence не зʼявиться до цього.

https://finance.yahoo.com/news/apple-won-t-roll-ai-163119181.html

Зараз це Claude Sonet 3.5 (з функціоналом проектів) як основна модель + кастомні GPT зі своїми промптами для спеціалізованих задач + Wolfram для науки + GitHub Copilot для кодингу. GPT4o практично не користуюся - виглядає так, що вона помітно слабкіша, ніж «звичайна» GPT4.
Для зображень однозначно Adobe Firefly.
Новий Claude прямо помітно розумніший за всіх конкурентів, перейшов на нього для багатьох задач. В програмуванні особливо.
Від спроб використовувати «агентські» версії ЛЛМів типу autoGPT наразі відмовився, спробувавши більше десятка різних варіантів - вони просто не працюють, як хочеться і як повинні були б працювати, щоб бути корисними.

Ось так і живу все життя з математиками. https://www.youtube.com/watch?v=xPzR_D9qKeo&t=305s

And I saw, and behold, a white horse with a thin tail, and he who sat upon it carried a bell-shaped curve and was given a crown. For the Gaussian statistical methods have triumphed over economics. Yet, he brings unpredicted disease and disaster, for he blinds the world to the true probabilities of catastrophe. The dark omen of a black swan follows him, a harbinger of the unseen chaos he masks.
This is Normal Distribution Horseman.

And there went out another horse, fiery red, and power was given to him who sat thereon to cut with a great sword asunder the mentions of ergodic assumption from the tomes of economic lore. He forces the minds of men to fixate upon the maximization of expected value, sowing the seeds of long-term ruin. His blade gleams with the false promise of certainty, leading the multitude astray into the abyss of destruction.
This is Expected Value Horseman.

And I beheld, and lo, a black horse; and he who sat upon him held a set of scales, forever balanced yet forever broken. Behind him, a shattered clock dangles, marking the delusion of perpetual self-correcting markets. His scales deceive, for they are corrupted, and he whispers the flawed belief in the infallibility of balance, leading the nations into the void of instability.
This is Market Equilibrium Horseman.

And I looked, and behold, a pale horse; and the name of him who sat upon it was Death, and Hades followed with him. This is the Wrong Math Horseman, harbinger of lethal models. He clutches a broken abacus, with beads scattered and equations drifting like phantoms. The words of the wise echo: "All models are wrong, but some are useful, and some are deadly." In his wake, the land is strewn with the ruins of misguided calculations, and he reigns as the very embodiment of destruction.

These are the Four Horsemen of Economic Theory.