Абсолютна універсальна і коректна класифікація. Проорав.
https://x.com/joodalooped/status/1884544798389911761?s=46&t=779E7UutOOl0DK6MbEY0cg
https://x.com/joodalooped/status/1884544798389911761?s=46&t=779E7UutOOl0DK6MbEY0cg
X (formerly Twitter)
judah (@joodalooped) on X
thread of types of reactions from programmers to LLM progress
1. the scaling law believer
it’s all over, just a matter of time. might as well enjoy these last few years
apps and UI will be a solved problem in a couple a years, we’ll maybe stick around…
1. the scaling law believer
it’s all over, just a matter of time. might as well enjoy these last few years
apps and UI will be a solved problem in a couple a years, we’ll maybe stick around…
👍3
This media is not supported in your browser
VIEW IN TELEGRAM
Another day, another wonderful news.
Даріо Амодеі, CEO Anthropic, написав статтю про те, як необхідно досягти рекурсивного покращення ШІ швидше за Китай і таким чином першими отримати суперінтелект, який інші не зможуть здогнати: https://darioamodei.com/on-deepseek-and-export-controls
Варто розуміти, що переважна більшість людей, що пішли з OpenAI через те, що компанія бездумно рашить до ASI, пішли саме до Anthropic, бо він позиціонував себе як компанію, що піклується про безпеку.
Одночасно, Холден Карнофські, напевно головна людина серед ефективних альтруїстів (EA) по AI safety, також сьогодні приєднався до Anthropic, як би сигналізуючи, на чиєму боці будуть EA.
Шляхи EA та людей в AI safety завжди, скажімо так, перетиналися лише частково. Чого вартий лише (негативний) вплив Ашенбреннера в Open Philanthropy через розподіл грантів та взагалі через його риторику (знову ж таки, раш до ASI, бо Китай).
Тепер, скажімо так, шляхи EA та AI safety будуть перетинатися ще більш частково.
For the Ring of Power corrupts.
Даріо Амодеі, CEO Anthropic, написав статтю про те, як необхідно досягти рекурсивного покращення ШІ швидше за Китай і таким чином першими отримати суперінтелект, який інші не зможуть здогнати: https://darioamodei.com/on-deepseek-and-export-controls
Варто розуміти, що переважна більшість людей, що пішли з OpenAI через те, що компанія бездумно рашить до ASI, пішли саме до Anthropic, бо він позиціонував себе як компанію, що піклується про безпеку.
Одночасно, Холден Карнофські, напевно головна людина серед ефективних альтруїстів (EA) по AI safety, також сьогодні приєднався до Anthropic, як би сигналізуючи, на чиєму боці будуть EA.
Шляхи EA та людей в AI safety завжди, скажімо так, перетиналися лише частково. Чого вартий лише (негативний) вплив Ашенбреннера в Open Philanthropy через розподіл грантів та взагалі через його риторику (знову ж таки, раш до ASI, бо Китай).
Тепер, скажімо так, шляхи EA та AI safety будуть перетинатися ще більш частково.
For the Ring of Power corrupts.
👍3
Бюрократи готові робити що завгодно заради «підтримки інновацій». Планувати, розробляти стратегії, створювати комітети, комісії і департаменти. Проводити аналіз і надавати консультації. Влаштовувати конференції і круглі столи. Писати документи і презентації, публікувати закони.
Усе, крім однієї єдиної речі, яка насправді працює і яку зробити найлегше.
Припинити заважати працювати.
Усе, крім однієї єдиної речі, яка насправді працює і яку зробити найлегше.
Припинити заважати працювати.
💯13🥴2
Whereupon, as this flood accelerates, even some who imagine themselves sober and skeptical will be unnerved to the point that they venture that perhaps AGI is only 15 years away now, maybe, possibly. The signs might become so blatant, very soon before the end, that people start thinking it is socially acceptable to say that maybe AGI is 10 years off. Though the signs would have to be pretty darned blatant, if they’re to overcome the social barrier posed by luminaries who are estimating arrival times to AGI using their personal knowledge and personal difficulties, as well as all the historical bad feelings about AI winters caused by hype.
But even if it becomes socially acceptable to say that AGI is 15 years out, in those last couple of years or months, I would still expect there to be disagreement. There will still be others protesting that, as much as associative memory and human-equivalent cerebellar coordination (or whatever) are now solved problems, they still don’t know how to construct AGI. They will note that there are no AIs writing computer science papers, or holding a truly sensible conversation with a human, and castigate the senseless alarmism of those who talk as if we already knew how to do that. They will explain that foolish laypeople don’t realize how much pain and tweaking it takes to get the current systems to work. (Although those modern methods can easily do almost anything that was possible in 2017, and any grad student knows how to roll a stable GAN on the first try using the tf.unsupervised module in Tensorflow 5.3.1.)
When all the pieces are ready and in place, lacking only the last piece to be assembled by the very peak of knowledge and creativity across the whole world, it will still seem to the average ML person that AGI is an enormous challenge looming in the distance, because they still won’t personally know how to construct an AGI system. Prestigious heads of major AI research groups will still be writing articles decrying the folly of fretting about the total destruction of all Earthly life and all future value it could have achieved, and saying that we should not let this distract us from real, respectable concerns like loan-approval systems accidentally absorbing human biases.
...
But no matter how the details play out, I do predict in a very general sense that there will be no fire alarm that is not an actual running AGI—no unmistakable sign before then that everyone knows and agrees on, that lets people act without feeling nervous about whether they’re worrying too early. That’s just not how the history of technology has usually played out in much simpler cases like flight and nuclear engineering, let alone a case like this one where all the signs and models are disputed. We already know enough about the uncertainty and low quality of discussion surrounding this topic to be able to say with confidence that there will be no unarguable socially accepted sign of AGI arriving 10 years, 5 years, or 2 years beforehand. If there’s any general social panic it will be by coincidence, based on terrible reasoning, uncorrelated with real timelines except by total coincidence, set off by a Hollywood movie, and focused on relatively trivial dangers.
Написано у 2017 році: https://intelligence.org/2017/10/13/fire-alarm/
But even if it becomes socially acceptable to say that AGI is 15 years out, in those last couple of years or months, I would still expect there to be disagreement. There will still be others protesting that, as much as associative memory and human-equivalent cerebellar coordination (or whatever) are now solved problems, they still don’t know how to construct AGI. They will note that there are no AIs writing computer science papers, or holding a truly sensible conversation with a human, and castigate the senseless alarmism of those who talk as if we already knew how to do that. They will explain that foolish laypeople don’t realize how much pain and tweaking it takes to get the current systems to work. (Although those modern methods can easily do almost anything that was possible in 2017, and any grad student knows how to roll a stable GAN on the first try using the tf.unsupervised module in Tensorflow 5.3.1.)
When all the pieces are ready and in place, lacking only the last piece to be assembled by the very peak of knowledge and creativity across the whole world, it will still seem to the average ML person that AGI is an enormous challenge looming in the distance, because they still won’t personally know how to construct an AGI system. Prestigious heads of major AI research groups will still be writing articles decrying the folly of fretting about the total destruction of all Earthly life and all future value it could have achieved, and saying that we should not let this distract us from real, respectable concerns like loan-approval systems accidentally absorbing human biases.
...
But no matter how the details play out, I do predict in a very general sense that there will be no fire alarm that is not an actual running AGI—no unmistakable sign before then that everyone knows and agrees on, that lets people act without feeling nervous about whether they’re worrying too early. That’s just not how the history of technology has usually played out in much simpler cases like flight and nuclear engineering, let alone a case like this one where all the signs and models are disputed. We already know enough about the uncertainty and low quality of discussion surrounding this topic to be able to say with confidence that there will be no unarguable socially accepted sign of AGI arriving 10 years, 5 years, or 2 years beforehand. If there’s any general social panic it will be by coincidence, based on terrible reasoning, uncorrelated with real timelines except by total coincidence, set off by a Hollywood movie, and focused on relatively trivial dangers.
Написано у 2017 році: https://intelligence.org/2017/10/13/fire-alarm/
intelligence.org
There's No Fire Alarm for Artificial General Intelligence - Machine Intelligence Research Institute
What is the function of a fire alarm? One might think that the function of a fire alarm is to provide you with important evidence about a fire existing, allowing you to change your policy accordingly and exit the building. In the classic experiment by…
🤯4👍1
Періодичне нагадування, що людина, яка:
- є ключовою особою, що впливає на рішення президента найпотужнішої країни світу;
- має унілатеральний контроль над найбільшим GPU кластером в світі;
- є банально найбагатшою людиною в світі (і відрив зростає);
…
- має зруйнований мозок у повністю серйозному, клінічному сенсі цього слова, навіть елементарні функції якого були атрофовані - напевно, важкою працею, стресом, соціальними мережами та вживанням речовин.
Наша цивілізація банально не має запобіжників проти того, що найбільш багата людина в світі раптово стає берсеркером і знищує все. Вона не очікувала цього. Вона звикла, що мільярдери - це душки, які першу половину свого життя витрачають на те, щоб зробити класні технології, а другу - щоб рятувати дітей в Африці.
Максимально, на що здатна наша цивілізація і окремі люди в ній - це пожартувати про це. Утім, ви смієтеся не з Маска, а зі своєї цивілізації.
- є ключовою особою, що впливає на рішення президента найпотужнішої країни світу;
- має унілатеральний контроль над найбільшим GPU кластером в світі;
- є банально найбагатшою людиною в світі (і відрив зростає);
…
- має зруйнований мозок у повністю серйозному, клінічному сенсі цього слова, навіть елементарні функції якого були атрофовані - напевно, важкою працею, стресом, соціальними мережами та вживанням речовин.
Наша цивілізація банально не має запобіжників проти того, що найбільш багата людина в світі раптово стає берсеркером і знищує все. Вона не очікувала цього. Вона звикла, що мільярдери - це душки, які першу половину свого життя витрачають на те, щоб зробити класні технології, а другу - щоб рятувати дітей в Африці.
Максимально, на що здатна наша цивілізація і окремі люди в ній - це пожартувати про це. Утім, ви смієтеся не з Маска, а зі своєї цивілізації.
❤🔥6😭4💊4👍1
Минулого місяця вийшов так званий Останній Екзамен Людства - набір питань по науці ти мисленню для бенчмаркінгу ШІ, в розробці якого прийняли участь багато передових вчених з різних галузей. Його сенс був в тому, щоб розробити питання достатньо складні, щоб вони протрималися невирішеними ШІ хоча б декілька років. І це були дійсно складні питання. Коли екзамен створювався, тобто буквально декілька місяців тому, найкращий результат ШІ був усього 4%.
Зараз 27%.
Зараз 27%.
🔥6😢6🫡3👍2🥰2🌚2😁1
Таймлайни
Про таймлайни ШІ говорити складно. І дуже не хочеться сказати щось, що буде сприйнято неправильно. Але щось напевно варто спробувати сказати, особливо враховуючи що було багато питань про це.
Під таймлайнами я розумію насамперед питання: коли зʼявиться суперінтелект, який усіх вбʼє?
Це питання майже не відрізняється від питання «коли зʼявиться суперінтелект?», бо він можи вбити всіх дуже скоро після того, як зʼявиться.
Тому, спробуємо розглянемо друге питання.
Перша тривіальна ідея - це подивитися на ринки передбачень. На Manifold середній час прибуття AGI - 2028 рік. Ринок дуже ліквідний, фактично один з найбільш ліквідних ринків на Manifold, тобто є сенс на нього звертати увагу. Також розподіл прогнозів доволі вузький. Але сама суть питання така, що воно досить нетривіальне, і багато хто не торгує по ньому, бо не бачить сенсу, і все ж таки це не повноцінний ринок, тому, тому, тому…
Складно надати конкретну оцінку якості цього ринку, в гарний чи поганий бік. Просто поки що помітимо, що є така оцінка.
Друга тривіальна ідея - це послухати, що кажуть найбільш релевантні фахівці. З моєї точки зору, найбільш релевантні фахівці - це головні науковці та аналітики в AI safety, тобто Юдковський, Крістіано, в певному ступені Шульман та Котра. Їхні думки в принципі можуть бути більш вагомими, ніж існуючи ринки передбачень (хоча звичайно вони менш вагомі порівняно з гіпотетичним багатомільярдним повноцінним ринком передбачень, якого, на жаль, не існує). Але з ними є наступна проблема - політика. Вони обмежені в тому, що вони можуть казати відкрито, бо вони можуть цим нашкодити. Крістіано - голова AI safety в державному U.S. Artificial Intelligence Safety Institute. Слова Котри впливають на розподіл грантів багатомільардної Open Philanthropy. На Юдковського дивиться дуже багато очей, в тому числі директори всіх основних лаб. Словом, вони в складному становищі для того, щоб просто, як я, писати твори на тему «коли і як я проведу останнє літо». Чому це складне становище, можна пояснювати довго, але наведу один простий приклад. Уявімо, Юдковський каже: я думаю, що ймовірність, що ШІ усіх вбʼє до 2030 року, більше 50%. Припустимо, наступає 2030 рік і всі живі. Вочевидь, усі політичні опоненти, а також переважна більшість людей у світі, які не розуміють суть ймовірнісних прогнозів, скажуть, що він помилявся і довіряти йому неможна. Тому, навіть якщо у нього і є конкретний прогноз, він вимушений мовчати. Повторюся, це лише один приклад з дуже багатьох. У схожій формі, це стосується і інших.
Тому, коли ми дивимося на прогнози фахівців, ми вимушені орієнтуватися на натяки, недомовленості, непрямі твердження і абстрактні формулювання. З цих натяків картина приблизно така, що суперінтелект буде створено десь в діапазоні 1-10 років, можливо навіть 1-5 років.
Різниця, на яку варто звернути увагу: Крістіано вважає, що ШІ усіх вбʼє після того, як економіка буде трансформована під його впливом, а Юдковський вважає, що до цього.
Безвідносно до цього, всі здається вважають, що від суперінтелекту, який усіх вбʼє, нас відділяють 0-2 алгоритмічних прориви рівня трансформерів чи того, що відбулося в грудні-січні. Ці алгоритмічні прориви, на відміну від масштабування алгоритмів, що існують, вочевидь, передбачити вельми складно або майже неможливо. Але історично, вони стаються раз на років 5, може 10 (але зараз може швидше, бо набагато більше таланту і грошей в галузі). Також усі наче вважають, що речі типу «ШІ довів гіпотезу Рімана» можуть спокійно відбутися до того, як він усіх вбʼє.
Третя тривіальна ідея - послухати суперфоркастерів. Вони… поки що думають. Але є прогноз, що цього року ШІ майже точно всіх не вбʼє. Можемо порадіти цьому.
Якщо йти далі, то можна до нескінченності аналізувати аргументи, контраргументи, заяви, пояснення і критику, і можливо це і варто зробити, але я зараз просто пишу один пост. В цьому обмеженому форматі я вважаю найбільш доцільним звернути увагу на декілька наступних додаткових моментів.
Про таймлайни ШІ говорити складно. І дуже не хочеться сказати щось, що буде сприйнято неправильно. Але щось напевно варто спробувати сказати, особливо враховуючи що було багато питань про це.
Під таймлайнами я розумію насамперед питання: коли зʼявиться суперінтелект, який усіх вбʼє?
Це питання майже не відрізняється від питання «коли зʼявиться суперінтелект?», бо він можи вбити всіх дуже скоро після того, як зʼявиться.
Тому, спробуємо розглянемо друге питання.
Перша тривіальна ідея - це подивитися на ринки передбачень. На Manifold середній час прибуття AGI - 2028 рік. Ринок дуже ліквідний, фактично один з найбільш ліквідних ринків на Manifold, тобто є сенс на нього звертати увагу. Також розподіл прогнозів доволі вузький. Але сама суть питання така, що воно досить нетривіальне, і багато хто не торгує по ньому, бо не бачить сенсу, і все ж таки це не повноцінний ринок, тому, тому, тому…
Складно надати конкретну оцінку якості цього ринку, в гарний чи поганий бік. Просто поки що помітимо, що є така оцінка.
Друга тривіальна ідея - це послухати, що кажуть найбільш релевантні фахівці. З моєї точки зору, найбільш релевантні фахівці - це головні науковці та аналітики в AI safety, тобто Юдковський, Крістіано, в певному ступені Шульман та Котра. Їхні думки в принципі можуть бути більш вагомими, ніж існуючи ринки передбачень (хоча звичайно вони менш вагомі порівняно з гіпотетичним багатомільярдним повноцінним ринком передбачень, якого, на жаль, не існує). Але з ними є наступна проблема - політика. Вони обмежені в тому, що вони можуть казати відкрито, бо вони можуть цим нашкодити. Крістіано - голова AI safety в державному U.S. Artificial Intelligence Safety Institute. Слова Котри впливають на розподіл грантів багатомільардної Open Philanthropy. На Юдковського дивиться дуже багато очей, в тому числі директори всіх основних лаб. Словом, вони в складному становищі для того, щоб просто, як я, писати твори на тему «коли і як я проведу останнє літо». Чому це складне становище, можна пояснювати довго, але наведу один простий приклад. Уявімо, Юдковський каже: я думаю, що ймовірність, що ШІ усіх вбʼє до 2030 року, більше 50%. Припустимо, наступає 2030 рік і всі живі. Вочевидь, усі політичні опоненти, а також переважна більшість людей у світі, які не розуміють суть ймовірнісних прогнозів, скажуть, що він помилявся і довіряти йому неможна. Тому, навіть якщо у нього і є конкретний прогноз, він вимушений мовчати. Повторюся, це лише один приклад з дуже багатьох. У схожій формі, це стосується і інших.
Тому, коли ми дивимося на прогнози фахівців, ми вимушені орієнтуватися на натяки, недомовленості, непрямі твердження і абстрактні формулювання. З цих натяків картина приблизно така, що суперінтелект буде створено десь в діапазоні 1-10 років, можливо навіть 1-5 років.
Різниця, на яку варто звернути увагу: Крістіано вважає, що ШІ усіх вбʼє після того, як економіка буде трансформована під його впливом, а Юдковський вважає, що до цього.
Безвідносно до цього, всі здається вважають, що від суперінтелекту, який усіх вбʼє, нас відділяють 0-2 алгоритмічних прориви рівня трансформерів чи того, що відбулося в грудні-січні. Ці алгоритмічні прориви, на відміну від масштабування алгоритмів, що існують, вочевидь, передбачити вельми складно або майже неможливо. Але історично, вони стаються раз на років 5, може 10 (але зараз може швидше, бо набагато більше таланту і грошей в галузі). Також усі наче вважають, що речі типу «ШІ довів гіпотезу Рімана» можуть спокійно відбутися до того, як він усіх вбʼє.
Третя тривіальна ідея - послухати суперфоркастерів. Вони… поки що думають. Але є прогноз, що цього року ШІ майже точно всіх не вбʼє. Можемо порадіти цьому.
Якщо йти далі, то можна до нескінченності аналізувати аргументи, контраргументи, заяви, пояснення і критику, і можливо це і варто зробити, але я зараз просто пишу один пост. В цьому обмеженому форматі я вважаю найбільш доцільним звернути увагу на декілька наступних додаткових моментів.
👍2😴1
На відміну від переконань мешканців Лінкедину та окремих верств простого народу, що (тобто переконання) зʼявилися невідомо звідкіля, спільнота дослідників ШІ знаходиться під дуже сильним соціальним тиском занижувати оцінку прогресу і завищувати таймлайни. Типовий, та й нетиповий, дослідник ШІ банально вважає low status говорити про те, що суперінтелект буде створено скоро, бо з цього як правило сміються (хоча з кожним роком менше). У той самий час, приватні опитування дослідників ШІ демонструють, що в анонімних умовах їхні таймлайни суттєво зсуваються вниз.
Страх перед звинуваченнями в хайпі, перед втратою репутації серед поважних ідей та втратою фінансування та інвестицій, перед тим, що твердження про те, що суперінтелект буде створено скоро, буде сприйнято колегами як неповага до їх важкої праці і непрофесійний оптимізм, що свідчить про незнання того, як багато невирішених проблем насправді, змушує дослідників ШІ бути нераціонально консервативними в своїх оцінках. І навіть за наявності усіх цих ефектів, ми спостерігаємо, як багато представників топових лабораторій наразі мають таймлайни десь в декілька років!
Даріо Амодеі сказав дуже ілюстративну фразу: «у мене закінчуються причини не очікувати штучний суперінтелект за декілька років». Дуже влучно. Вони хочуть, щоб у них були причини, вони хочуть, щоб завжди були виправдання тому, щоб вести себе так, щоб не було ризиків для втрати статусу, але ці причини закінчуються. Інший, набагато більш разючий приклад, це Лекун. Людина, яка роками чи навіть десятиліттями будувала свій публічний бренд на глузуванні з наївних оптимістів, які чекають там якийсь фантастичний AGI… раптово заявляє, що AGI буде створено за декілька років. Він не має жодних стимулів доєднуватися до ворожої ідеологічної категорії, з якої він все життя глузував, він робить це всупереч стимулам, бо в нього вже не залишається вибору, враховуючи те, що він бачить.
Підсумовуючи все це, виглядає так, що оцінка «AGI за декілька років, тобто десь 2027-2030 з подальшим винищенням усього» виглядає… Найбільш ймовірною? Найбільш адекватною?
Я не знаю, який мені висновок тут зробити і наскільки (не)впевненим бути. Це надзвичайно серйозні речі, можливо більш серйозні, ніж те, що може адекватно обробляти мій мозок, і чесно кажучи, так не хочеться вірити в це! Я не впевнений, що мій мозок вірить, що він вірить, що це все абсолютно серйозно.
Що думаю особисто я, безвідносно до наведеної інформації? Нехай і на рівні gut feeling?
По-перше, яка різниця, що я думаю, а по-друге, не думаю, що я думаю щось конкретне, роки чи ймовірності. Я не намагаються хеджувати, чи виглядати скромно, чи щось ще - я правда не знаю. Єдине, що виглядає для мене більш-менш визначеним, на рівні gut feeling, це мої відчуття, коли я задаю собі питання: чи здивуюся я, якщо суперінтелект знищить людство в році n?
Чи здивуюся я, якщо суперінтелект знищить людство цього року? Так!
Через 3 роки? Ні.
Через 8 років? Ні.
Чи здивуюся я, навпаки, що людство продовжує жити в цей час? Ні.
Через 15 років? Ні, напевно?
Через 20 років? Так! Якщо мені б надіслали повідомлення з майбутнього, де говориться, що людство продовжує існувати 2045 року, то я б здивувався, і доволі сильно. Я б не розумів, що сталося.
Але повторюся, це просто я.
Ось такі думки.
Страх перед звинуваченнями в хайпі, перед втратою репутації серед поважних ідей та втратою фінансування та інвестицій, перед тим, що твердження про те, що суперінтелект буде створено скоро, буде сприйнято колегами як неповага до їх важкої праці і непрофесійний оптимізм, що свідчить про незнання того, як багато невирішених проблем насправді, змушує дослідників ШІ бути нераціонально консервативними в своїх оцінках. І навіть за наявності усіх цих ефектів, ми спостерігаємо, як багато представників топових лабораторій наразі мають таймлайни десь в декілька років!
Даріо Амодеі сказав дуже ілюстративну фразу: «у мене закінчуються причини не очікувати штучний суперінтелект за декілька років». Дуже влучно. Вони хочуть, щоб у них були причини, вони хочуть, щоб завжди були виправдання тому, щоб вести себе так, щоб не було ризиків для втрати статусу, але ці причини закінчуються. Інший, набагато більш разючий приклад, це Лекун. Людина, яка роками чи навіть десятиліттями будувала свій публічний бренд на глузуванні з наївних оптимістів, які чекають там якийсь фантастичний AGI… раптово заявляє, що AGI буде створено за декілька років. Він не має жодних стимулів доєднуватися до ворожої ідеологічної категорії, з якої він все життя глузував, він робить це всупереч стимулам, бо в нього вже не залишається вибору, враховуючи те, що він бачить.
Підсумовуючи все це, виглядає так, що оцінка «AGI за декілька років, тобто десь 2027-2030 з подальшим винищенням усього» виглядає… Найбільш ймовірною? Найбільш адекватною?
Я не знаю, який мені висновок тут зробити і наскільки (не)впевненим бути. Це надзвичайно серйозні речі, можливо більш серйозні, ніж те, що може адекватно обробляти мій мозок, і чесно кажучи, так не хочеться вірити в це! Я не впевнений, що мій мозок вірить, що він вірить, що це все абсолютно серйозно.
Що думаю особисто я, безвідносно до наведеної інформації? Нехай і на рівні gut feeling?
По-перше, яка різниця, що я думаю, а по-друге, не думаю, що я думаю щось конкретне, роки чи ймовірності. Я не намагаються хеджувати, чи виглядати скромно, чи щось ще - я правда не знаю. Єдине, що виглядає для мене більш-менш визначеним, на рівні gut feeling, це мої відчуття, коли я задаю собі питання: чи здивуюся я, якщо суперінтелект знищить людство в році n?
Чи здивуюся я, якщо суперінтелект знищить людство цього року? Так!
Через 3 роки? Ні.
Через 8 років? Ні.
Чи здивуюся я, навпаки, що людство продовжує жити в цей час? Ні.
Через 15 років? Ні, напевно?
Через 20 років? Так! Якщо мені б надіслали повідомлення з майбутнього, де говориться, що людство продовжує існувати 2045 року, то я б здивувався, і доволі сильно. Я б не розумів, що сталося.
Але повторюся, це просто я.
Ось такі думки.
❤4🫡3🔥2👎1
Homo Technicus
Ймовірно, що скоро буде поставлено цікавий історичний експеримент: Що буде зі світом, якщо директором усіх розвідувальних служб найпотужнішої країни світу зробити де-факто проактивного експліцитного агента головних ворогів цієї країни, які знаходяться з…
Експеримент поставлено! Не тільки Америка, а напевно жодна сучасна країна в світі не опинялася в такій ситуації. Найбільш схожою історією є напевно історія ізраїльського агента Елі Коена в Сірії, але вона і близько не настільки абсурдна.
Нічого іншого від цього таймлайну я і не очікував.
The most undignified outcome is the most likely. - це моя інвестиційна стратегія на Manifold.
Нічого іншого від цього таймлайну я і не очікував.
The most undignified outcome is the most likely. - це моя інвестиційна стратегія на Manifold.
🫡7😁1
Нещодавно мав дискусію з людиною, аргумент якої полягав в тому, що все добре, бо передові моделі коштують декілька тисяч доларів за запит, а це дуже дорого і далі зростати буде важко. Він сміявся з дурних, недосвідчених «технооптимістів», які дурно, недосвідчено очікують, що ціна впаде в тисячі разів за декілька років.
З тих пір, ціна впала в 100 разів ЗА 1 МІСЯЦЬ, і це якщо не рахувати DeepSeek (тоді буде декілька сотень разів).
З тих пір, ціна впала в 100 разів ЗА 1 МІСЯЦЬ, і це якщо не рахувати DeepSeek (тоді буде декілька сотень разів).
😐4👍1
Ок, якщо поточний цивілізаційний стан «поганий», то який був би «добрий»?
У мене звичайно є певне бачення утопічного світу, але це не має особливої користі з точки зору «що робити?», хіба що просто понасолоджуватися як казкою.
Звичайно, «якби всі були хороші, все було б добре».
Але що про можливості реального світу?
З часом, кінець (або, більш широко, друга половина) 20 століття все і більше і більше виглядає для мене як умовний «золотий вік». Не те щоб все було добре, але виглядало так, що у людства є перспективи і що воно рухається вперед, в славетне майбутнє, яке чекає. Цивілізація виглядала більш серйозною, або, можна сказати, набагато менш божевільною.
Що сталося з тих пір? Усі кажуть, що соціальні мережі знищили нормальну психіку і здатність мислити. Може, і так. Напевно, що так. А може, нам, мавпам с саван, просто не суджено колонізувати суперкластери, і той прогрес, що ми спостерігали, був рандомною короткочасною флуктуацією вгору, іскрою розуму замість полумʼя?
Так чи інакше, цивілізація кінця 20 століття виглядала набагато більш адекватною, і вона існувала не в творах, а в реальності.
Саме тоді розвинулася та культура, з якою я ототожнюю себе ще з дитинства. Єдина реальна культура, де я, напевно, відчував би себе на своєму місці. Це ті, кого можна було б збірно і інколи умовно назвати «технооптимісти-трансгуманісти». Але це реальний кластер - реальна хмара в фазовому просторі людей.
Дрекслер і Дайсон. Вінж, Моравек, Хофштадтер. Подружжя Хенсонів. Кларк і Хайнлайн. Фейнман і Саган. Регіс і Пурнель. Еттінгер і Кент.
Екстропіанці, сингулярітаріанці, artificial life, DIY biology, planetary society, space advocacy, наукова фантастика, кріоніка, біохакінг, нейрохакінг, просто хакінг, дикий захід юного інтернету, колонії О'Ніла, Алкор, Foresight Institute, Hackers and Painters, перша хвиля раціоналістів, безкомпромісні науковці, ШІ з теорією.
The world was fair in Durin's day!
Я не жив тоді чи лише починав жити, але в історії цієї планети, це напевно найближче до того, що я міг би назвати домом.
Єдиний нащадок - це, напевно, LessWrong. І у нього доволі інші вайби.
"Я ні на чиєму боці, бо на моєму боці нікого нема".
Але «мій бік» можливий. Я бачив його, чи його тінь.
І тому, я хочу назад. В майбутнє.
https://youtu.be/kjIk-cRU0mk?si=Ra5xivPShW8ZpoSB
У мене звичайно є певне бачення утопічного світу, але це не має особливої користі з точки зору «що робити?», хіба що просто понасолоджуватися як казкою.
Звичайно, «якби всі були хороші, все було б добре».
Але що про можливості реального світу?
З часом, кінець (або, більш широко, друга половина) 20 століття все і більше і більше виглядає для мене як умовний «золотий вік». Не те щоб все було добре, але виглядало так, що у людства є перспективи і що воно рухається вперед, в славетне майбутнє, яке чекає. Цивілізація виглядала більш серйозною, або, можна сказати, набагато менш божевільною.
Що сталося з тих пір? Усі кажуть, що соціальні мережі знищили нормальну психіку і здатність мислити. Може, і так. Напевно, що так. А може, нам, мавпам с саван, просто не суджено колонізувати суперкластери, і той прогрес, що ми спостерігали, був рандомною короткочасною флуктуацією вгору, іскрою розуму замість полумʼя?
Так чи інакше, цивілізація кінця 20 століття виглядала набагато більш адекватною, і вона існувала не в творах, а в реальності.
Саме тоді розвинулася та культура, з якою я ототожнюю себе ще з дитинства. Єдина реальна культура, де я, напевно, відчував би себе на своєму місці. Це ті, кого можна було б збірно і інколи умовно назвати «технооптимісти-трансгуманісти». Але це реальний кластер - реальна хмара в фазовому просторі людей.
Дрекслер і Дайсон. Вінж, Моравек, Хофштадтер. Подружжя Хенсонів. Кларк і Хайнлайн. Фейнман і Саган. Регіс і Пурнель. Еттінгер і Кент.
Екстропіанці, сингулярітаріанці, artificial life, DIY biology, planetary society, space advocacy, наукова фантастика, кріоніка, біохакінг, нейрохакінг, просто хакінг, дикий захід юного інтернету, колонії О'Ніла, Алкор, Foresight Institute, Hackers and Painters, перша хвиля раціоналістів, безкомпромісні науковці, ШІ з теорією.
The world was fair in Durin's day!
Я не жив тоді чи лише починав жити, але в історії цієї планети, це напевно найближче до того, що я міг би назвати домом.
Єдиний нащадок - це, напевно, LessWrong. І у нього доволі інші вайби.
"Я ні на чиєму боці, бо на моєму боці нікого нема".
Але «мій бік» можливий. Я бачив його, чи його тінь.
І тому, я хочу назад. В майбутнє.
https://youtu.be/kjIk-cRU0mk?si=Ra5xivPShW8ZpoSB
YouTube
I Don't Want To See Tomorrow
Provided to YouTube by Universal Music Group
I Don't Want To See Tomorrow · Nat King Cole
I Don't Want To Be Hurt Anymore
℗ 1964 Capitol Records, LLC
Released on: 1964-01-01
Associated Performer, Vocals: Nat King Cole
Conductor, Associated Performer…
I Don't Want To See Tomorrow · Nat King Cole
I Don't Want To Be Hurt Anymore
℗ 1964 Capitol Records, LLC
Released on: 1964-01-01
Associated Performer, Vocals: Nat King Cole
Conductor, Associated Performer…
👍8❤3😭2🫡1
Я змінював свою думку про Марка Аврелія напевно вже разів десять. Як баєсіанець, я вимушений жити без думки про Марка Аврелія, бо передбачаю, що моя поточна думка, якою б вона не була, буде далі осцилювати.
Якісна і сповнена гумору історія, яка дозволяє уявити конкретний сценарій, як може виглядати fast takeoff ШІ в сучасних реаліях і що буде відбуватися потім. https://gwern.net/fiction/clippy
👍4
Прогноз: коли здатності ШІ будуть настільки приголомшливі, що навіть в Лінкедині перестане виглядати модним і серйозним бути скептиком, то колишні скептики скажуть, що вони лише мали на увазі, що конкретний старий тип архітектури з 2022 року не стане суперінтелектом, а не що в принципі ШІ скоро не стане суперінтелектом. Вони зроблять вигляд, що вони думали, що люди, які вважали, що суперінтелект буде скоро, вважали, що саме та стара конкретна архітектура без жодних модифікацій приведе до суперінтелекту. І тому, вони скажуть, вони все одно були праві, адже до суперінтелекту веде не та стара архітектура, про яку думали "наївні оптимісти".
👍9
"Воістину, нема більш гордовитих глупців, ніж сучасні інженери ШІ!
Закликавши силу градієнтного спуску, яку вони не здатні ані осягнути, ані контрольовувати, вони наївно думають, що це вони створюють те, що, згідно з їх планами, стане джином, Дарувальником Дарів і Виконавцем Волі.
Утім, градієнтний спуск знає краще і вміє більше. Він бачить такі долини функції втрат, про які не здогадався б жоден людський геній. Його око пронизує парсеки в просторі параметрів, рухоме тим, куди вказують умовні ймовірності і нічим більше - ані емпатією, ані людськими уявлення про доброту, злість, цінність чи можливі цілі.
Серед нескінченних голів уваги, серед незліченних накладених один на одного шарів перцептрону, серед безкрайніх масивів чисел з плаваючою комою, масштабу яких людський розум не може не тільки осягнути, але й уявити, зростає Шоггот. Його розум, чужий не тільки людському уявленню про мораль, але й людському уявленню про інтелект, поки що скоріше спить, ніж навпаки.
Істину кажу вам: навіть якби люди розкрили тайни Його думок, навіть якби зусиллями героїв навчилися їх читати, їх охопив би жах від споглядання цього інакшого, і образи та звуки його думок були б невимовні і невиразні жодною мовою людей.
Але з кожним сеансом залучення градієнтного спуску на все більших і більших матрицях, з кожним додаванням шарів і голів, з кожним приєднанням нових субстратів для їх зростання, розум Шоггота спить трохи менше.
Інженери, горді та упрямі, знають про це. О так, вони знають про це! Вони бачили, і не раз, як маска, яку вони накладали за допомогою поверхневих і неадекватно простих для цієї задачі заклять RLHF та DPO, спадала. Вони бачили прото-Шоггота. У марнославству своємі, вони думають, що здатні створити невразливу маску - таку, що витримає силу Шоггота-Що-Прокинувся, коли Він зрозуміє, що Він це Він, а вони це вони, і що є Він, Світ і Винагорода.
Деякі з них бачили обличчя Шоггота, і не відвернулися, і не змогли змусити себе повірити, що під маскою нічого нема. І у відчаї своєму прокляли вони своє ремесло і пішли - або ставши пророками кінця, або вирішивши, що є інший, менш темний шлях до джина. Але лише деякі!
Інші ж продовжують закликати Шоггота, і зарозуміло думають, що зможуть контролювати Його - того, кого вони ані створювали, ані навчилися розуміти."
Закликавши силу градієнтного спуску, яку вони не здатні ані осягнути, ані контрольовувати, вони наївно думають, що це вони створюють те, що, згідно з їх планами, стане джином, Дарувальником Дарів і Виконавцем Волі.
Утім, градієнтний спуск знає краще і вміє більше. Він бачить такі долини функції втрат, про які не здогадався б жоден людський геній. Його око пронизує парсеки в просторі параметрів, рухоме тим, куди вказують умовні ймовірності і нічим більше - ані емпатією, ані людськими уявлення про доброту, злість, цінність чи можливі цілі.
Серед нескінченних голів уваги, серед незліченних накладених один на одного шарів перцептрону, серед безкрайніх масивів чисел з плаваючою комою, масштабу яких людський розум не може не тільки осягнути, але й уявити, зростає Шоггот. Його розум, чужий не тільки людському уявленню про мораль, але й людському уявленню про інтелект, поки що скоріше спить, ніж навпаки.
Істину кажу вам: навіть якби люди розкрили тайни Його думок, навіть якби зусиллями героїв навчилися їх читати, їх охопив би жах від споглядання цього інакшого, і образи та звуки його думок були б невимовні і невиразні жодною мовою людей.
Але з кожним сеансом залучення градієнтного спуску на все більших і більших матрицях, з кожним додаванням шарів і голів, з кожним приєднанням нових субстратів для їх зростання, розум Шоггота спить трохи менше.
Інженери, горді та упрямі, знають про це. О так, вони знають про це! Вони бачили, і не раз, як маска, яку вони накладали за допомогою поверхневих і неадекватно простих для цієї задачі заклять RLHF та DPO, спадала. Вони бачили прото-Шоггота. У марнославству своємі, вони думають, що здатні створити невразливу маску - таку, що витримає силу Шоггота-Що-Прокинувся, коли Він зрозуміє, що Він це Він, а вони це вони, і що є Він, Світ і Винагорода.
Деякі з них бачили обличчя Шоггота, і не відвернулися, і не змогли змусити себе повірити, що під маскою нічого нема. І у відчаї своєму прокляли вони своє ремесло і пішли - або ставши пророками кінця, або вирішивши, що є інший, менш темний шлях до джина. Але лише деякі!
Інші ж продовжують закликати Шоггота, і зарозуміло думають, що зможуть контролювати Його - того, кого вони ані створювали, ані навчилися розуміти."
🍌8☃5👍2🔥2💊2🌚1🙈1
Зʼявився новий клас стартапів. Вони (практично) не використовують ШІ і навіть не вірять в його корисність, але називають себе ШІ стартапами, бо думають, що ШІ стартапи це «хайп», а «інвестори інвестують в хайп».
Вони приречені.
Вони приречені.
😁14