І чому просто не сказати хоч якусь відповідь на питання «де Сатскевер»? Хоча б «ми тобі не скажемо, тому що ти лох» або «самі не знаємо». І таких питань багато.
Що таке Q* конкретно? Що сталося тоді, коли ChatGPT почала писати незрозумілу байду? Як саме ви пофіксили SolidGoldMagikarp?

Ця політика тотального ігнору мені незрозуміла.

Люди, які здаються дуже розумними, але насправді набагато більш розумні, ніж здається:

Стівен Вольфрам
Насім Талеб
Едуард Віттен
Скот Ааронсон
Юрген Шмідхубер
Вікторія Краковна.

Найбільш приємною несподіванкою екранізації було те, що якимось чином авторам вдалося зробити так, що серіал не скочується в ліву повістку. Ліва повістка як така не завжди є чимось поганим або тим більше чимось вирішально поганим, але тут вона б вбила увесь сенс.

Але ні, не прогнулися. Гігачад Уейд в серіалі навіть ще більший гігачад, ніж в книзі; космос такий же холодний, жорстокий і непривітний, такий же за межами руки Бога, і в ньому нема жодних фей, які б дозволили перемогти «силам любові» замість важкої і жорсткої праці. Навіть серіальний аналог божевільної Маши-Дуняши Чень Сін не робить (поки що) настільки божевільних речей (але тут все може бути ще попереду).

Це, насправді, трохи дивує. Але усе ще нема Чжан Бейхая як конкретної ілюстрації адекватності та того, як можна робити неможливе для врятування людства.

Подивився нарешті виступ Дженсена з презентацією нових відеокарт. Що ж.

Свідки закінчення закону Мура, вітаю! Закон Мура нарешті зламався.

Але в інший бік.

Нові чіпи Nvidia дозволяють тренувати ЛЛМ в приблизно 8 разів дешевше, ніж 1.5 роки тому. І наступне покоління буде мати співставне падіння ціни.

І це саме те, чого варто було очікувати, коли інвестиції в чіпи виросли на один-два порядки за пару років. І це в тому числі чому я очікую, що наступні декілька років покажуть нам, чи насувається суперінтелект, чи ні. Поточне аномальне прискорення прогресу в залізі для ШІ стимулюється аномальним зростанням інвестицій, і це зростання припиниться, коли інвестицій досягнуть трильйонів доларів на рік - більше людська економіка просто не зможе потягнути. Якщо людство не досягне достатньої для суперінтелекту обчислювальної потужності до цього, то після цього прогрес в залізі буде йти набагато повільніше (як, ймовірно, і прогрес с алгоритмах). Але ці інвестиції в декілька трильйонів будуть майже точно досягнуті до 2028 року. Найближчі роки - це останні роки невизначеності, детальніше про це тут.

Також Дженсен просто злив розмір GPT-4 (1.8 трлн параметрів), що до речі майже відповідає прогнозам Manifolds (1.7 трлн).

США не встигнуть заблокувати доступ до передового ШІ для ЄС, ЄС зробить це сам. https://www.reuters.com/technology/google-apple-breakups-agenda-global-regulators-target-tech-2024-03-24/

Це чутки, не факт, що правда.

Не хочу якось коментувати цю новину, бо виглядає як фантастика і як дуже добре, щоб бути правдою, і при цьому майже ніхто про це не говорить. Якщо раптом виявиться, що це правда, що це спрацює, то це змінює все.

https://www.spglobal.com/commodityinsights/en/market-insights/latest-news/energy-transition/010524-fusion-energy-industry-anticipates-electric-power-breakthrough-by-summer

Я писав про те, що краще не йти на економічну спеціальність, навіть якщо ви хочете займатися чимось дотичним до економіки.

Негативну пораду (у сенсі «що не робити») давати набагато легше і часто набагато правильніше, ніж позитивну («що робити»), але я все ж таки спробую зараз зробити останнє: на яку спеціальність йти абітурієнту, якщо він не знає, що робити?

Одразу скажу дісклеймер: я не прямо впевнений у тому, що напишу нижче, але у мене є перелік вагомих причин так вважати. Сприймайте це трохи зі скепсисом, але я думаю, що основні думки правильні. Окрім того, усе, що написано, стосується скоріше реалій західноєвропейської освіти. В Україні ситуація може бути іншою, але не думаю, що принципово іншою.

Отже.

Якщо ви не знаєте, куди поступати, якщо ви не бачите чітко визначеного шляху перед вами, то поступайте на фізику. Навіть якщо ви вже бачите чіткий шлях та сферу діяльності, якою хочете займатися, то все одно розгляньте фізичну освіту.

Чому так і саме так?

Сподіваюся, що переваги STEM-освіти і так очевидні, тому зосереджуся на перевагах фізики саме серед STEM-дисциплін.

1. Фізична освіта дає одночасно гарне розуміння математичного апарату та наукового методу. Математика дає лише перше, хоча звичайно, що в першому вона краща майже за визначенням. Але фізик набагато краще розуміє, як проводити дослідження. Фізик вміє моделювати краще і мислить конкретно. Коли я прошу математика зробити фінансову модель, він завжди спочатку починає доводити різні теореми і задавати мільйон питань про формалізацію задачі, а фізик просто бере і робить. Математик, в кінцевому рахунку, теж зробить, але треба докласти багато зусиль. Те ж саме стосується практики роботи в машинному навчанні.

2. Фізика дозволяє здобути культуру наукового дослідження і аналізу даних. Не всюди і не завжди можна отримати результат, який буде виглядати так гарно і обґрунтовано як у фізиці, але це ідеал, до якого треба прагнути, і не знаючи, як виглядає ідеальний результат, ви не зможете робити гарні результати.

3. Computer science та дотичні речі є традиційно популярними, але проблема з ними в наступному: на computer science викладають саме computer science, а не програмування. Звичайно, якщо ваша ціль - бути фахівцем саме з computer science, то це те, що треба, але цей пост для тих, хто не визначився. Йти на computer science з метою працювати потім в абстрактному айті - це можливо не найкраща стратегія, тому що там ви не вивчите ні багато з того, що треба для роботи в айті, ні різні важливі сфери математики (в тому числі, як не дивно, ті, що необхідні для ШІ), ні науковий метод, який необхідний взагалі для всього.

4. Фізика, банально, дуже складна, і це те, що треба.

5. При всьому цьому, я не кажу, що фізика - це ідеальний варіант першої освіти. Але попарне порівняння майже з будь-чим призводить до висновку, що вона принаймні краща. Біологія? Майже будь-які серйозні дослідження в біології зараз дуже дотичні до фізики та біоінформатики. Інженерія? Вона заснована на фізиці і є більш вузькою сферою. Економіка, аналіз даних? Фізик будує моделі та аналізує дані краще, ніж будь-хто. І так далі. Інвестиції? Абсолютний та безперечний лідер серед хедж-фондів Renaissance Capital майже повністю укомплектований фізиками.

Ще стосовно того, наскільки довіряти/не довіряти цьому тексту:

Я не здобував формальну освіту з фізики, і це головне джерело невпевненості. Але я здобував формальну освіту в економіці, біології, математиці та computer science, і всюди я бачу, як знання і розуміння фізики допомагають - часто більше, ніж власне фахові знання. Фізичне мислення, моделювання і моделі допомагають мені всюди, де я знаходжу, як їх застосувати.

Я також працював над складними проектами з людьми самих різних спеціальностей, і фізики завжди виглядають найбільш ефективними. Вони розумні, швидкі, точні та чесні. Такими ще бувають успішні трейдери незалежно від освіти. І хоча я знаю фізику набагато менше, ніж випускник фізфаку, я знаю її на певному рівні. Також я бачу постійно те, як фізики більше ніж будь хто переходять в інші сфери і стають там дуже успішними.

Моя варіація закону Гудхарта: Максимізація майже будь-якого критерію може мати сенс лише тоді, коли це відбувається як побічний ефект, а не як результат цілеспрямованої діяльності з його максимізації.

Високий індекс Хірша - показник ефективного науковця лише тоді, коли він не намагався максимізувати індекс Хірша. Високі оцінки - показник знань лише тоді, коли студент не намагався максимізувати оцінки. Кількість підписників стартапу - показник його успіху лише тоді, коли він не намагався максимізувати кількість підписників.

До речі, дотично до індексу Хірша: https://youtu.be/LKiBlGDfRU8?si=3d_9LXEbzlQZ5O9a.

Подивіться, якщо ще дивилися. У моїй бульбашці це відео викликало доволі агресивні дискусії.

Я до речі знаю одну історію, як людину взяли постдоком до одного дуже високорейтингового (топ-20 у світі) університету за умови, що він буде анонімно писати статті для професора з цього університету, тобто вони будуть виходити потім під виключним авторством цього професора.

Серед усіх величезних і драматичних помилок розробників ШІ 20 років тому назад напевно найбільшою була помилка вважати, що для того, щоб створити ШІ, треба розуміти, як працює ШІ та інтелект в цілому.

Можна багато спекулювати, чому так сталося: може, вони вважали, що причина, чому суто інженерний підхід не працював тоді, полягала в тому, що інженерний підхід для ШІ в принципі не працює, а не в тому, що не вистачало ресурсів. Може, це був bias конкретного типу людей (фахівців з computer science), які почали тоді робити ШІ, і якби там було трохи більше нейробіологів та когнітивістів, то все було б інакше. Може, тоді правда не було іншого способу намагатися працювати над ШІ через брак ресурсів. Але сталося так, як сталося.

Станом на сьогодні, Юдковський відкрито каже, що він був дуже здивований тим, що ШІ рівня сучасних передових моделей був створений практично без жодного розуміння того, як вони працюють. Звичайно, тут має місце його надмірна ставка на дедуктивне раціональне мислення як він його визначає і повага до його сили. Він каже, що розвиток ШІ відбувся не так, як «зазвичай відбувається в науці», коли ніби-то інженерним розробкам передує ґрунтовне теоретичне розуміння. Але це саме те, що як правило не відбувається, і дивно було б очікувати, що це відбудеться з ШІ: брати Райт не знали законів аеродинаміки. Перші, хто створив човни, не знали навіть закону Архімеда. Ціни на опціони відповідали результатам Монте-Карло симуляцій Парето-процесів до розробки Монте-Карло симуляцій Парето-процесів. Лікарі лікували хвороби, а фармкомпанії виробляли ліки без жодного розуміння молекулярної біологїї.

Створювати методом trial and error часто набагато легше, ніж методом theory-based design, і це саме те, що відбулося із ШІ у найбільш рафінованій, можна навіть сказати гіперболізованій формі - і я погоджуюся, що хоча якісно це відповідає загальній моделі того, як відбуваються інженерні розробки, кількісно різниця між інженерним прогресом і теоретичним розумінням більша, ніж зазвичай. Більш того, ті мізерні теоретичні результати, які людство отримали щодо ШІ, навпаки скоріше казали про те, що нейромережі не спрацюють.

Можливо, для людини ззовні твердження «сучасний розробник ШІ не має практично ніякого розуміння того, як працює ШІ» виглядає дивним, але це саме те, що відбувається. Розробник ШІ дійсно розуміє, як написати алгоритм тренування ШІ, але це зовсім не те саме, що розуміти власне ШІ, який був створений в результаті роботи алгоритму. Фермер, що вирощує пшеницю, може добре знати, як вирощувати пшеницю, але він може не мати жодного розуміння біології пшениці, тобто внутрішніх механізмів її функціонування.

Розробник ШІ може сказати, що сучасний ШІ - це «перемножування велетенських матриць і векторів» або «результат мінімізації різниці між тренувальними та згенерованими даними за допомогою градієнтного спуску», але це все одно, що сказати, що людський мозок - це «величезна кількість нейронів, по яких бігає електричний потенціал» або «результат еволюції». Звичайно, фактично це коректні твердження, але вони не дають майже жодного розуміння того, як саме працює мозок, що саме відбувається в ньому, що зумовлює його ти чи інші функції та здатності.

https://youtu.be/ZKvjBgi4pqg?si=cCOTvCxJtXAfomsb

Цинік міг би сказати, що цивілізація, яка обрала RLHF як метод алайнменту ШІ, заслуговує на знищення від ШІ. Але я не цинік.

Я не дуже люблю contrariantes, але інколи треба, як на картинці. Отже:

Америка воює набагато менше, ніж треба. Через божевільний пацифізм та небажання американців влаштовувати бомбардування поганців страждають сотні мільйонів людей по всьому світу.

У Молдови більше шансів бути наддержавою у 2075 році, ніж у Німеччини.

Світ під керівництвом сучасних міліардерів був би набагато кращим, ніж світ під керівництвом сучасних політиків.

Правильною освітою та вихованням можна досягти того, що медіанна людина в суспільстві буде розумніша за фон Неймана, навіть ніяк не застосовуючи генетичні покращення.

Евереттівська інтерпретація квантової механіки майже напевно правильна, і люди відмовляються приймати її лише тому, що вони будуть виглядати дивно і несерйозно.

Скоріше за все, ми єдина розумна цивілізація у всьому досяжному Всесвіті.

Подумав, що може трохи погорячився з Молдовою.

Думаю, що у Німеччини шанс десь 0,00001%, а у Молдови 0,001%. Але впевненим бути складно.

Але якщо замінити Молдову на Литву, Чехію чи Словенію, то однозначно так!

Хоча технологічне глобалізоване суспільство і принципово відрізняється від спадкового середовища, в якому над нами працювала еволюція, переважна більшість проблем-невідповідностей між принципами людської поведінки і сучасним середовищем є проблемами імплементації, а не фундаментальними проблемами. Здебільшого, вони вирішуються навіть без біотехнологічного/кібернетичного покращення людей.

Але є одна проблема, масштаб якої складно переоцінити, яка мене постійно дратує і з якою я не знаю як боротися: наслідки вчинків людей в сучасному суспільстві відокремлені від власне їхніх вчинків. Так ніколи не було раніше, і людська поведінка, не маючи цього зворотнього звʼязку, часто набуває абсолютно божевільного характеру.

Середньовічна людина могла бути наскільки завгодно дурною з точки зору раціональності мислення, але вона знала, що у сусідньому лісі живуть вовки, яких треба боятися і від яких треба захищатися. Вона бачила на власні очі, як ті, хто не захищається від них, помирають і страждають. Вона сама, власним тілом відчувала біль від рани, коли приймала рішення «не захищатися від вовків».

У сучасному світі, від вовків помирають інші, а не ти, тому навіть розумні люди можуть здобувати будь-які скільки-завгодно божевільні переконання. Коли в тебе нема за спиною Дубини Реальності, яка кожного разу, коли ти помиляєшься, бʼє тебе по башці, то твій мозок буде оптимізувати будь-який критерій, але не відповідність реальності. Він майстер безжальної оптимізації неправильних корелятів цільових критеріїв.

У сучасному світі:

Ян ЛеКун може сказати, що боятися вовків - це фантастика, і вовки - це просто набір атомів, а тому безпечні. Тому що мозку так приємно відчувати себе прагматичним циніком, і реальність не бʼє тебе по башці за це.

Лекс Фрідман може сказати, що не треба захищатися від вовків, треба просто їх любити, і любов все переможе. Тому що мозку так приємно знати, що ти - за любов і добро, і реальність не бʼє тебе по башці за це.

Ілон Маск може сказати, що гроші, які витрачаються на захист від вовків, краще спрямувати кудись ще. Тому що мозку так приємно знаходити черговий приклад того, що твої політичні опоненти роблять щось неправильно, і реальність не бʼє тебе по башці за це.

Джордан Пітерсон може сказати, що акти поїдання людей вовками - це взагалі-то правильно, а ще це фейк, тому захищатися від цього не треба. Тому що мозку так приємно бути незалежним опозиційним мислителем, і реальність не бʼє тебе по башці за це.

Політик може просто не робити нічого для захисту від вовків і ігнорувати сам факт їх існування, тому що не робити нічого - це найбільш комфортна річ, і реальність не бʼє тебе по башці за це.

Прості, звичайні, в цілому добрі люди можуть агресивно вимагати більше вовчого людожерства та розповсюдження вовків - не тому, що вони погані, а тому, що вони ці акти людожерства не побачать, і вони існують для них виключно у царині історій, дебатів і ідеологій, а не в реальному світі, де відбуваються реальні смерті та страждання.

І ніхто з них ніколи не відчує жодних наслідків власних слів та рішень.

Біотехнологія - складна, і щоб гарантовано унеможливити навіть мінімально необхідний прогрес в ній, людство вирішило забанити експерименти над добровольцями.

https://x.com/4lovofscience/status/1779572644565713009?s=46&t=779E7UutOOl0DK6MbEY0cg

«Складна» означає «складна порівняно з інженерією, інформатикою та іншими основними прикладними складовими технічного прогресу».