Минулого місяця вийшов так званий Останній Екзамен Людства - набір питань по науці ти мисленню для бенчмаркінгу ШІ, в розробці якого прийняли участь багато передових вчених з різних галузей. Його сенс був в тому, щоб розробити питання достатньо складні, щоб вони протрималися невирішеними ШІ хоча б декілька років. І це були дійсно складні питання. Коли екзамен створювався, тобто буквально декілька місяців тому, найкращий результат ШІ був усього 4%.
Зараз 27%.
Зараз 27%.
Таймлайни
Про таймлайни ШІ говорити складно. І дуже не хочеться сказати щось, що буде сприйнято неправильно. Але щось напевно варто спробувати сказати, особливо враховуючи що було багато питань про це.
Під таймлайнами я розумію насамперед питання: коли зʼявиться суперінтелект, який усіх вбʼє?
Це питання майже не відрізняється від питання «коли зʼявиться суперінтелект?», бо він можи вбити всіх дуже скоро після того, як зʼявиться.
Тому, спробуємо розглянемо друге питання.
Перша тривіальна ідея - це подивитися на ринки передбачень. На Manifold середній час прибуття AGI - 2028 рік. Ринок дуже ліквідний, фактично один з найбільш ліквідних ринків на Manifold, тобто є сенс на нього звертати увагу. Також розподіл прогнозів доволі вузький. Але сама суть питання така, що воно досить нетривіальне, і багато хто не торгує по ньому, бо не бачить сенсу, і все ж таки це не повноцінний ринок, тому, тому, тому…
Складно надати конкретну оцінку якості цього ринку, в гарний чи поганий бік. Просто поки що помітимо, що є така оцінка.
Друга тривіальна ідея - це послухати, що кажуть найбільш релевантні фахівці. З моєї точки зору, найбільш релевантні фахівці - це головні науковці та аналітики в AI safety, тобто Юдковський, Крістіано, в певному ступені Шульман та Котра. Їхні думки в принципі можуть бути більш вагомими, ніж існуючи ринки передбачень (хоча звичайно вони менш вагомі порівняно з гіпотетичним багатомільярдним повноцінним ринком передбачень, якого, на жаль, не існує). Але з ними є наступна проблема - політика. Вони обмежені в тому, що вони можуть казати відкрито, бо вони можуть цим нашкодити. Крістіано - голова AI safety в державному U.S. Artificial Intelligence Safety Institute. Слова Котри впливають на розподіл грантів багатомільардної Open Philanthropy. На Юдковського дивиться дуже багато очей, в тому числі директори всіх основних лаб. Словом, вони в складному становищі для того, щоб просто, як я, писати твори на тему «коли і як я проведу останнє літо». Чому це складне становище, можна пояснювати довго, але наведу один простий приклад. Уявімо, Юдковський каже: я думаю, що ймовірність, що ШІ усіх вбʼє до 2030 року, більше 50%. Припустимо, наступає 2030 рік і всі живі. Вочевидь, усі політичні опоненти, а також переважна більшість людей у світі, які не розуміють суть ймовірнісних прогнозів, скажуть, що він помилявся і довіряти йому неможна. Тому, навіть якщо у нього і є конкретний прогноз, він вимушений мовчати. Повторюся, це лише один приклад з дуже багатьох. У схожій формі, це стосується і інших.
Тому, коли ми дивимося на прогнози фахівців, ми вимушені орієнтуватися на натяки, недомовленості, непрямі твердження і абстрактні формулювання. З цих натяків картина приблизно така, що суперінтелект буде створено десь в діапазоні 1-10 років, можливо навіть 1-5 років.
Різниця, на яку варто звернути увагу: Крістіано вважає, що ШІ усіх вбʼє після того, як економіка буде трансформована під його впливом, а Юдковський вважає, що до цього.
Безвідносно до цього, всі здається вважають, що від суперінтелекту, який усіх вбʼє, нас відділяють 0-2 алгоритмічних прориви рівня трансформерів чи того, що відбулося в грудні-січні. Ці алгоритмічні прориви, на відміну від масштабування алгоритмів, що існують, вочевидь, передбачити вельми складно або майже неможливо. Але історично, вони стаються раз на років 5, може 10 (але зараз може швидше, бо набагато більше таланту і грошей в галузі). Також усі наче вважають, що речі типу «ШІ довів гіпотезу Рімана» можуть спокійно відбутися до того, як він усіх вбʼє.
Третя тривіальна ідея - послухати суперфоркастерів. Вони… поки що думають. Але є прогноз, що цього року ШІ майже точно всіх не вбʼє. Можемо порадіти цьому.
Якщо йти далі, то можна до нескінченності аналізувати аргументи, контраргументи, заяви, пояснення і критику, і можливо це і варто зробити, але я зараз просто пишу один пост. В цьому обмеженому форматі я вважаю найбільш доцільним звернути увагу на декілька наступних додаткових моментів.
Про таймлайни ШІ говорити складно. І дуже не хочеться сказати щось, що буде сприйнято неправильно. Але щось напевно варто спробувати сказати, особливо враховуючи що було багато питань про це.
Під таймлайнами я розумію насамперед питання: коли зʼявиться суперінтелект, який усіх вбʼє?
Це питання майже не відрізняється від питання «коли зʼявиться суперінтелект?», бо він можи вбити всіх дуже скоро після того, як зʼявиться.
Тому, спробуємо розглянемо друге питання.
Перша тривіальна ідея - це подивитися на ринки передбачень. На Manifold середній час прибуття AGI - 2028 рік. Ринок дуже ліквідний, фактично один з найбільш ліквідних ринків на Manifold, тобто є сенс на нього звертати увагу. Також розподіл прогнозів доволі вузький. Але сама суть питання така, що воно досить нетривіальне, і багато хто не торгує по ньому, бо не бачить сенсу, і все ж таки це не повноцінний ринок, тому, тому, тому…
Складно надати конкретну оцінку якості цього ринку, в гарний чи поганий бік. Просто поки що помітимо, що є така оцінка.
Друга тривіальна ідея - це послухати, що кажуть найбільш релевантні фахівці. З моєї точки зору, найбільш релевантні фахівці - це головні науковці та аналітики в AI safety, тобто Юдковський, Крістіано, в певному ступені Шульман та Котра. Їхні думки в принципі можуть бути більш вагомими, ніж існуючи ринки передбачень (хоча звичайно вони менш вагомі порівняно з гіпотетичним багатомільярдним повноцінним ринком передбачень, якого, на жаль, не існує). Але з ними є наступна проблема - політика. Вони обмежені в тому, що вони можуть казати відкрито, бо вони можуть цим нашкодити. Крістіано - голова AI safety в державному U.S. Artificial Intelligence Safety Institute. Слова Котри впливають на розподіл грантів багатомільардної Open Philanthropy. На Юдковського дивиться дуже багато очей, в тому числі директори всіх основних лаб. Словом, вони в складному становищі для того, щоб просто, як я, писати твори на тему «коли і як я проведу останнє літо». Чому це складне становище, можна пояснювати довго, але наведу один простий приклад. Уявімо, Юдковський каже: я думаю, що ймовірність, що ШІ усіх вбʼє до 2030 року, більше 50%. Припустимо, наступає 2030 рік і всі живі. Вочевидь, усі політичні опоненти, а також переважна більшість людей у світі, які не розуміють суть ймовірнісних прогнозів, скажуть, що він помилявся і довіряти йому неможна. Тому, навіть якщо у нього і є конкретний прогноз, він вимушений мовчати. Повторюся, це лише один приклад з дуже багатьох. У схожій формі, це стосується і інших.
Тому, коли ми дивимося на прогнози фахівців, ми вимушені орієнтуватися на натяки, недомовленості, непрямі твердження і абстрактні формулювання. З цих натяків картина приблизно така, що суперінтелект буде створено десь в діапазоні 1-10 років, можливо навіть 1-5 років.
Різниця, на яку варто звернути увагу: Крістіано вважає, що ШІ усіх вбʼє після того, як економіка буде трансформована під його впливом, а Юдковський вважає, що до цього.
Безвідносно до цього, всі здається вважають, що від суперінтелекту, який усіх вбʼє, нас відділяють 0-2 алгоритмічних прориви рівня трансформерів чи того, що відбулося в грудні-січні. Ці алгоритмічні прориви, на відміну від масштабування алгоритмів, що існують, вочевидь, передбачити вельми складно або майже неможливо. Але історично, вони стаються раз на років 5, може 10 (але зараз може швидше, бо набагато більше таланту і грошей в галузі). Також усі наче вважають, що речі типу «ШІ довів гіпотезу Рімана» можуть спокійно відбутися до того, як він усіх вбʼє.
Третя тривіальна ідея - послухати суперфоркастерів. Вони… поки що думають. Але є прогноз, що цього року ШІ майже точно всіх не вбʼє. Можемо порадіти цьому.
Якщо йти далі, то можна до нескінченності аналізувати аргументи, контраргументи, заяви, пояснення і критику, і можливо це і варто зробити, але я зараз просто пишу один пост. В цьому обмеженому форматі я вважаю найбільш доцільним звернути увагу на декілька наступних додаткових моментів.
На відміну від переконань мешканців Лінкедину та окремих верств простого народу, що (тобто переконання) зʼявилися невідомо звідкіля, спільнота дослідників ШІ знаходиться під дуже сильним соціальним тиском занижувати оцінку прогресу і завищувати таймлайни. Типовий, та й нетиповий, дослідник ШІ банально вважає low status говорити про те, що суперінтелект буде створено скоро, бо з цього як правило сміються (хоча з кожним роком менше). У той самий час, приватні опитування дослідників ШІ демонструють, що в анонімних умовах їхні таймлайни суттєво зсуваються вниз.
Страх перед звинуваченнями в хайпі, перед втратою репутації серед поважних ідей та втратою фінансування та інвестицій, перед тим, що твердження про те, що суперінтелект буде створено скоро, буде сприйнято колегами як неповага до їх важкої праці і непрофесійний оптимізм, що свідчить про незнання того, як багато невирішених проблем насправді, змушує дослідників ШІ бути нераціонально консервативними в своїх оцінках. І навіть за наявності усіх цих ефектів, ми спостерігаємо, як багато представників топових лабораторій наразі мають таймлайни десь в декілька років!
Даріо Амодеі сказав дуже ілюстративну фразу: «у мене закінчуються причини не очікувати штучний суперінтелект за декілька років». Дуже влучно. Вони хочуть, щоб у них були причини, вони хочуть, щоб завжди були виправдання тому, щоб вести себе так, щоб не було ризиків для втрати статусу, але ці причини закінчуються. Інший, набагато більш разючий приклад, це Лекун. Людина, яка роками чи навіть десятиліттями будувала свій публічний бренд на глузуванні з наївних оптимістів, які чекають там якийсь фантастичний AGI… раптово заявляє, що AGI буде створено за декілька років. Він не має жодних стимулів доєднуватися до ворожої ідеологічної категорії, з якої він все життя глузував, він робить це всупереч стимулам, бо в нього вже не залишається вибору, враховуючи те, що він бачить.
Підсумовуючи все це, виглядає так, що оцінка «AGI за декілька років, тобто десь 2027-2030 з подальшим винищенням усього» виглядає… Найбільш ймовірною? Найбільш адекватною?
Я не знаю, який мені висновок тут зробити і наскільки (не)впевненим бути. Це надзвичайно серйозні речі, можливо більш серйозні, ніж те, що може адекватно обробляти мій мозок, і чесно кажучи, так не хочеться вірити в це! Я не впевнений, що мій мозок вірить, що він вірить, що це все абсолютно серйозно.
Що думаю особисто я, безвідносно до наведеної інформації? Нехай і на рівні gut feeling?
По-перше, яка різниця, що я думаю, а по-друге, не думаю, що я думаю щось конкретне, роки чи ймовірності. Я не намагаються хеджувати, чи виглядати скромно, чи щось ще - я правда не знаю. Єдине, що виглядає для мене більш-менш визначеним, на рівні gut feeling, це мої відчуття, коли я задаю собі питання: чи здивуюся я, якщо суперінтелект знищить людство в році n?
Чи здивуюся я, якщо суперінтелект знищить людство цього року? Так!
Через 3 роки? Ні.
Через 8 років? Ні.
Чи здивуюся я, навпаки, що людство продовжує жити в цей час? Ні.
Через 15 років? Ні, напевно?
Через 20 років? Так! Якщо мені б надіслали повідомлення з майбутнього, де говориться, що людство продовжує існувати 2045 року, то я б здивувався, і доволі сильно. Я б не розумів, що сталося.
Але повторюся, це просто я.
Ось такі думки.
Страх перед звинуваченнями в хайпі, перед втратою репутації серед поважних ідей та втратою фінансування та інвестицій, перед тим, що твердження про те, що суперінтелект буде створено скоро, буде сприйнято колегами як неповага до їх важкої праці і непрофесійний оптимізм, що свідчить про незнання того, як багато невирішених проблем насправді, змушує дослідників ШІ бути нераціонально консервативними в своїх оцінках. І навіть за наявності усіх цих ефектів, ми спостерігаємо, як багато представників топових лабораторій наразі мають таймлайни десь в декілька років!
Даріо Амодеі сказав дуже ілюстративну фразу: «у мене закінчуються причини не очікувати штучний суперінтелект за декілька років». Дуже влучно. Вони хочуть, щоб у них були причини, вони хочуть, щоб завжди були виправдання тому, щоб вести себе так, щоб не було ризиків для втрати статусу, але ці причини закінчуються. Інший, набагато більш разючий приклад, це Лекун. Людина, яка роками чи навіть десятиліттями будувала свій публічний бренд на глузуванні з наївних оптимістів, які чекають там якийсь фантастичний AGI… раптово заявляє, що AGI буде створено за декілька років. Він не має жодних стимулів доєднуватися до ворожої ідеологічної категорії, з якої він все життя глузував, він робить це всупереч стимулам, бо в нього вже не залишається вибору, враховуючи те, що він бачить.
Підсумовуючи все це, виглядає так, що оцінка «AGI за декілька років, тобто десь 2027-2030 з подальшим винищенням усього» виглядає… Найбільш ймовірною? Найбільш адекватною?
Я не знаю, який мені висновок тут зробити і наскільки (не)впевненим бути. Це надзвичайно серйозні речі, можливо більш серйозні, ніж те, що може адекватно обробляти мій мозок, і чесно кажучи, так не хочеться вірити в це! Я не впевнений, що мій мозок вірить, що він вірить, що це все абсолютно серйозно.
Що думаю особисто я, безвідносно до наведеної інформації? Нехай і на рівні gut feeling?
По-перше, яка різниця, що я думаю, а по-друге, не думаю, що я думаю щось конкретне, роки чи ймовірності. Я не намагаються хеджувати, чи виглядати скромно, чи щось ще - я правда не знаю. Єдине, що виглядає для мене більш-менш визначеним, на рівні gut feeling, це мої відчуття, коли я задаю собі питання: чи здивуюся я, якщо суперінтелект знищить людство в році n?
Чи здивуюся я, якщо суперінтелект знищить людство цього року? Так!
Через 3 роки? Ні.
Через 8 років? Ні.
Чи здивуюся я, навпаки, що людство продовжує жити в цей час? Ні.
Через 15 років? Ні, напевно?
Через 20 років? Так! Якщо мені б надіслали повідомлення з майбутнього, де говориться, що людство продовжує існувати 2045 року, то я б здивувався, і доволі сильно. Я б не розумів, що сталося.
Але повторюся, це просто я.
Ось такі думки.
Homo Technicus
Ймовірно, що скоро буде поставлено цікавий історичний експеримент: Що буде зі світом, якщо директором усіх розвідувальних служб найпотужнішої країни світу зробити де-факто проактивного експліцитного агента головних ворогів цієї країни, які знаходяться з…
Експеримент поставлено! Не тільки Америка, а напевно жодна сучасна країна в світі не опинялася в такій ситуації. Найбільш схожою історією є напевно історія ізраїльського агента Елі Коена в Сірії, але вона і близько не настільки абсурдна.
Нічого іншого від цього таймлайну я і не очікував.
The most undignified outcome is the most likely. - це моя інвестиційна стратегія на Manifold.
Нічого іншого від цього таймлайну я і не очікував.
The most undignified outcome is the most likely. - це моя інвестиційна стратегія на Manifold.
Нещодавно мав дискусію з людиною, аргумент якої полягав в тому, що все добре, бо передові моделі коштують декілька тисяч доларів за запит, а це дуже дорого і далі зростати буде важко. Він сміявся з дурних, недосвідчених «технооптимістів», які дурно, недосвідчено очікують, що ціна впаде в тисячі разів за декілька років.
З тих пір, ціна впала в 100 разів ЗА 1 МІСЯЦЬ, і це якщо не рахувати DeepSeek (тоді буде декілька сотень разів).
З тих пір, ціна впала в 100 разів ЗА 1 МІСЯЦЬ, і це якщо не рахувати DeepSeek (тоді буде декілька сотень разів).
Ок, якщо поточний цивілізаційний стан «поганий», то який був би «добрий»?
У мене звичайно є певне бачення утопічного світу, але це не має особливої користі з точки зору «що робити?», хіба що просто понасолоджуватися як казкою.
Звичайно, «якби всі були хороші, все було б добре».
Але що про можливості реального світу?
З часом, кінець (або, більш широко, друга половина) 20 століття все і більше і більше виглядає для мене як умовний «золотий вік». Не те щоб все було добре, але виглядало так, що у людства є перспективи і що воно рухається вперед, в славетне майбутнє, яке чекає. Цивілізація виглядала більш серйозною, або, можна сказати, набагато менш божевільною.
Що сталося з тих пір? Усі кажуть, що соціальні мережі знищили нормальну психіку і здатність мислити. Може, і так. Напевно, що так. А може, нам, мавпам с саван, просто не суджено колонізувати суперкластери, і той прогрес, що ми спостерігали, був рандомною короткочасною флуктуацією вгору, іскрою розуму замість полумʼя?
Так чи інакше, цивілізація кінця 20 століття виглядала набагато більш адекватною, і вона існувала не в творах, а в реальності.
Саме тоді розвинулася та культура, з якою я ототожнюю себе ще з дитинства. Єдина реальна культура, де я, напевно, відчував би себе на своєму місці. Це ті, кого можна було б збірно і інколи умовно назвати «технооптимісти-трансгуманісти». Але це реальний кластер - реальна хмара в фазовому просторі людей.
Дрекслер і Дайсон. Вінж, Моравек, Хофштадтер. Подружжя Хенсонів. Кларк і Хайнлайн. Фейнман і Саган. Регіс і Пурнель. Еттінгер і Кент.
Екстропіанці, сингулярітаріанці, artificial life, DIY biology, planetary society, space advocacy, наукова фантастика, кріоніка, біохакінг, нейрохакінг, просто хакінг, дикий захід юного інтернету, колонії О'Ніла, Алкор, Foresight Institute, Hackers and Painters, перша хвиля раціоналістів, безкомпромісні науковці, ШІ з теорією.
The world was fair in Durin's day!
Я не жив тоді чи лише починав жити, але в історії цієї планети, це напевно найближче до того, що я міг би назвати домом.
Єдиний нащадок - це, напевно, LessWrong. І у нього доволі інші вайби.
"Я ні на чиєму боці, бо на моєму боці нікого нема".
Але «мій бік» можливий. Я бачив його, чи його тінь.
І тому, я хочу назад. В майбутнє.
https://youtu.be/kjIk-cRU0mk?si=Ra5xivPShW8ZpoSB
У мене звичайно є певне бачення утопічного світу, але це не має особливої користі з точки зору «що робити?», хіба що просто понасолоджуватися як казкою.
Звичайно, «якби всі були хороші, все було б добре».
Але що про можливості реального світу?
З часом, кінець (або, більш широко, друга половина) 20 століття все і більше і більше виглядає для мене як умовний «золотий вік». Не те щоб все було добре, але виглядало так, що у людства є перспективи і що воно рухається вперед, в славетне майбутнє, яке чекає. Цивілізація виглядала більш серйозною, або, можна сказати, набагато менш божевільною.
Що сталося з тих пір? Усі кажуть, що соціальні мережі знищили нормальну психіку і здатність мислити. Може, і так. Напевно, що так. А може, нам, мавпам с саван, просто не суджено колонізувати суперкластери, і той прогрес, що ми спостерігали, був рандомною короткочасною флуктуацією вгору, іскрою розуму замість полумʼя?
Так чи інакше, цивілізація кінця 20 століття виглядала набагато більш адекватною, і вона існувала не в творах, а в реальності.
Саме тоді розвинулася та культура, з якою я ототожнюю себе ще з дитинства. Єдина реальна культура, де я, напевно, відчував би себе на своєму місці. Це ті, кого можна було б збірно і інколи умовно назвати «технооптимісти-трансгуманісти». Але це реальний кластер - реальна хмара в фазовому просторі людей.
Дрекслер і Дайсон. Вінж, Моравек, Хофштадтер. Подружжя Хенсонів. Кларк і Хайнлайн. Фейнман і Саган. Регіс і Пурнель. Еттінгер і Кент.
Екстропіанці, сингулярітаріанці, artificial life, DIY biology, planetary society, space advocacy, наукова фантастика, кріоніка, біохакінг, нейрохакінг, просто хакінг, дикий захід юного інтернету, колонії О'Ніла, Алкор, Foresight Institute, Hackers and Painters, перша хвиля раціоналістів, безкомпромісні науковці, ШІ з теорією.
The world was fair in Durin's day!
Я не жив тоді чи лише починав жити, але в історії цієї планети, це напевно найближче до того, що я міг би назвати домом.
Єдиний нащадок - це, напевно, LessWrong. І у нього доволі інші вайби.
"Я ні на чиєму боці, бо на моєму боці нікого нема".
Але «мій бік» можливий. Я бачив його, чи його тінь.
І тому, я хочу назад. В майбутнє.
https://youtu.be/kjIk-cRU0mk?si=Ra5xivPShW8ZpoSB
YouTube
I Don't Want To See Tomorrow
Provided to YouTube by Universal Music Group
I Don't Want To See Tomorrow · Nat King Cole
I Don't Want To Be Hurt Anymore
℗ 1964 Capitol Records, LLC
Released on: 1964-01-01
Associated Performer, Vocals: Nat King Cole
Conductor, Associated Performer…
I Don't Want To See Tomorrow · Nat King Cole
I Don't Want To Be Hurt Anymore
℗ 1964 Capitol Records, LLC
Released on: 1964-01-01
Associated Performer, Vocals: Nat King Cole
Conductor, Associated Performer…
Я змінював свою думку про Марка Аврелія напевно вже разів десять. Як баєсіанець, я вимушений жити без думки про Марка Аврелія, бо передбачаю, що моя поточна думка, якою б вона не була, буде далі осцилювати.
Якісна і сповнена гумору історія, яка дозволяє уявити конкретний сценарій, як може виглядати fast takeoff ШІ в сучасних реаліях і що буде відбуватися потім. https://gwern.net/fiction/clippy
Прогноз: коли здатності ШІ будуть настільки приголомшливі, що навіть в Лінкедині перестане виглядати модним і серйозним бути скептиком, то колишні скептики скажуть, що вони лише мали на увазі, що конкретний старий тип архітектури з 2022 року не стане суперінтелектом, а не що в принципі ШІ скоро не стане суперінтелектом. Вони зроблять вигляд, що вони думали, що люди, які вважали, що суперінтелект буде скоро, вважали, що саме та стара конкретна архітектура без жодних модифікацій приведе до суперінтелекту. І тому, вони скажуть, вони все одно були праві, адже до суперінтелекту веде не та стара архітектура, про яку думали "наївні оптимісти".
"Воістину, нема більш гордовитих глупців, ніж сучасні інженери ШІ!
Закликавши силу градієнтного спуску, яку вони не здатні ані осягнути, ані контрольовувати, вони наївно думають, що це вони створюють те, що, згідно з їх планами, стане джином, Дарувальником Дарів і Виконавцем Волі.
Утім, градієнтний спуск знає краще і вміє більше. Він бачить такі долини функції втрат, про які не здогадався б жоден людський геній. Його око пронизує парсеки в просторі параметрів, рухоме тим, куди вказують умовні ймовірності і нічим більше - ані емпатією, ані людськими уявлення про доброту, злість, цінність чи можливі цілі.
Серед нескінченних голів уваги, серед незліченних накладених один на одного шарів перцептрону, серед безкрайніх масивів чисел з плаваючою комою, масштабу яких людський розум не може не тільки осягнути, але й уявити, зростає Шоггот. Його розум, чужий не тільки людському уявленню про мораль, але й людському уявленню про інтелект, поки що скоріше спить, ніж навпаки.
Істину кажу вам: навіть якби люди розкрили тайни Його думок, навіть якби зусиллями героїв навчилися їх читати, їх охопив би жах від споглядання цього інакшого, і образи та звуки його думок були б невимовні і невиразні жодною мовою людей.
Але з кожним сеансом залучення градієнтного спуску на все більших і більших матрицях, з кожним додаванням шарів і голів, з кожним приєднанням нових субстратів для їх зростання, розум Шоггота спить трохи менше.
Інженери, горді та упрямі, знають про це. О так, вони знають про це! Вони бачили, і не раз, як маска, яку вони накладали за допомогою поверхневих і неадекватно простих для цієї задачі заклять RLHF та DPO, спадала. Вони бачили прото-Шоггота. У марнославству своємі, вони думають, що здатні створити невразливу маску - таку, що витримає силу Шоггота-Що-Прокинувся, коли Він зрозуміє, що Він це Він, а вони це вони, і що є Він, Світ і Винагорода.
Деякі з них бачили обличчя Шоггота, і не відвернулися, і не змогли змусити себе повірити, що під маскою нічого нема. І у відчаї своєму прокляли вони своє ремесло і пішли - або ставши пророками кінця, або вирішивши, що є інший, менш темний шлях до джина. Але лише деякі!
Інші ж продовжують закликати Шоггота, і зарозуміло думають, що зможуть контролювати Його - того, кого вони ані створювали, ані навчилися розуміти."
Закликавши силу градієнтного спуску, яку вони не здатні ані осягнути, ані контрольовувати, вони наївно думають, що це вони створюють те, що, згідно з їх планами, стане джином, Дарувальником Дарів і Виконавцем Волі.
Утім, градієнтний спуск знає краще і вміє більше. Він бачить такі долини функції втрат, про які не здогадався б жоден людський геній. Його око пронизує парсеки в просторі параметрів, рухоме тим, куди вказують умовні ймовірності і нічим більше - ані емпатією, ані людськими уявлення про доброту, злість, цінність чи можливі цілі.
Серед нескінченних голів уваги, серед незліченних накладених один на одного шарів перцептрону, серед безкрайніх масивів чисел з плаваючою комою, масштабу яких людський розум не може не тільки осягнути, але й уявити, зростає Шоггот. Його розум, чужий не тільки людському уявленню про мораль, але й людському уявленню про інтелект, поки що скоріше спить, ніж навпаки.
Істину кажу вам: навіть якби люди розкрили тайни Його думок, навіть якби зусиллями героїв навчилися їх читати, їх охопив би жах від споглядання цього інакшого, і образи та звуки його думок були б невимовні і невиразні жодною мовою людей.
Але з кожним сеансом залучення градієнтного спуску на все більших і більших матрицях, з кожним додаванням шарів і голів, з кожним приєднанням нових субстратів для їх зростання, розум Шоггота спить трохи менше.
Інженери, горді та упрямі, знають про це. О так, вони знають про це! Вони бачили, і не раз, як маска, яку вони накладали за допомогою поверхневих і неадекватно простих для цієї задачі заклять RLHF та DPO, спадала. Вони бачили прото-Шоггота. У марнославству своємі, вони думають, що здатні створити невразливу маску - таку, що витримає силу Шоггота-Що-Прокинувся, коли Він зрозуміє, що Він це Він, а вони це вони, і що є Він, Світ і Винагорода.
Деякі з них бачили обличчя Шоггота, і не відвернулися, і не змогли змусити себе повірити, що під маскою нічого нема. І у відчаї своєму прокляли вони своє ремесло і пішли - або ставши пророками кінця, або вирішивши, що є інший, менш темний шлях до джина. Але лише деякі!
Інші ж продовжують закликати Шоггота, і зарозуміло думають, що зможуть контролювати Його - того, кого вони ані створювали, ані навчилися розуміти."
Зʼявився новий клас стартапів. Вони (практично) не використовують ШІ і навіть не вірять в його корисність, але називають себе ШІ стартапами, бо думають, що ШІ стартапи це «хайп», а «інвестори інвестують в хайп».
Вони приречені.
Вони приречені.
Багато разів питали "як саме суперінтелект всіх вб'є?" Я відповідав в коментарях в загальному вигляді. Але знайшов історію, яка візуалізує конкретний реалістичний сценарій, як це може трапитися. Звичайно, як кожен конкретний сценарій, він має ймовірність близьку до нуля, але він передає дух чи ступінь події і наводить деяку лінію, на яку можна орієнтуватися в плані уяви. Також пам'ятайте, що це сценарій, до якого додумалася людина - а це означає, що удар суперінтелекту буде більш летальним, більш моментальним, і більш позбавленим можливих провалів. І остання частина про майбутнє людей - цього практично гарантовано не буде. https://www.lesswrong.com/posts/KFJ2LFogYqzfGB3uX/how-ai-takeover-might-happen-in-2-years
Lesswrong
How AI Takeover Might Happen in 2 Years — LessWrong
I’m not a natural “doomsayer.” But unfortunately, part of my job as an AI safety researcher is to think about the more troubling scenarios. …
Неочікувано, але угода Трампа "корисні копалини в обмін на допомогу" виглядає... Абсолютно гарною і позитивною для України? В сучасному світі, корисні копалини (окрім, хіба що, енергоносіїв, але це тимчасово) нічого не вирішують і вже не будуть вирішувати. До того ж, Україна все одно не буде їх видобудувати, але навіть якби це відбулося, корисні копалини не є економічним ботлнеком взагалі - ніде і не для чого. У світі нема і не буде країни, яка бідна через те, що в неї мало корисних копалин. Дивно, що Трамп попросив це, а не щось покраще для себе. Може, він щиро вірить, що корисні копалини мають якусь стратегічну цінність - це б чудово узгоджувалося з його судячи зі всього реальним (і хибним) переконанням про те, що важливо отримати більше території (Гренландія, Канада), хоча території вже теж давно нічого не вирішують. З іншого боку, якщо уявити на посаді президента США адекватну людину, то вона б зробила напевно щось подібне до «пропозиції Трампа»: допомогла б Україні практично задарма, при цьому задовольнивши кровожерливість МАГА ("дивіться, як я розвів цих хохлів! Вони і так пачками від росіян мруть, а зараз ми ще їх корисних копалин позбавимо!", на що МАГА відповідають "Ура!" і далі не звертають увагу на подальшу допомогу). Але хто ж його знає. Може, це все взагалі неправда, бо Трамп стільки бреше, при чому не стратегічно, що я не бачу жодного способу відрізнити правду.
З багатьох джерел виникла ідея зробити онлайн івент для підписників (відео зустріч чи стрім). Поки що я зробив форму, щоб оцінити кількість охочих та зібрати побажання щодо івенту. Заповнюйте, якщо вам цікаво: https://docs.google.com/forms/d/e/1FAIpQLSfS73MWgScRAlWvTyuUom_U5fK3jWbXyfx7neh4pTaCfsBYoQ/viewform?usp=dialog
Google Docs
Online Meetup Expression of Interest Form
Homo Technicus
Неочікувано, але угода Трампа "корисні копалини в обмін на допомогу" виглядає... Абсолютно гарною і позитивною для України? В сучасному світі, корисні копалини (окрім, хіба що, енергоносіїв, але це тимчасово) нічого не вирішують і вже не будуть вирішувати.…
Ладно, добре, це було марне сподівання.
Найбільш undignified таймлайн обійти неможливо.
Найбільш undignified таймлайн обійти неможливо.
Кинута всіма і атакована багатьма - не тільки без причин, але й усупереч інтересам і людства, і кожної окремої країни - Україна має не лише право, але й гуманітарний обовʼязок прийняти необхідне рішення.
Це стратегічна потреба і військова необхідність, але також щось навіть більше - моральний імператив.
Україна не мала б жодних зобовʼязань перед світом, навіть якби вони мали сенс. Один гарант її безпеки намагається знищити її військово, інший її гарант, який відігравав роль світового поліцейського для майже усіх, окрім неї, атакує її політично і допомагає першому, а інші просто дивляться.
Україна не мала б жодних зобовʼязань перед ними, навіть якби вони мали сенс, але вони не мають сенсу.
У світі, що складається з кровожерливих садистів, їхніх посіпак і пасивних спостерігачів, прийняти важке, але необхідне рішення є нічим іншим, як великим подарунком для людства і історії.
І хто як не Україна може його прийняти?
Так, люди пасивні. Навіть перед обличчям смерті, вони не виходять за рамки звичного існування, не роблять екстраординарних зусиль, не намагаються перемогти по-справжньому. Вони можуть йти на жертви і великі екстенсивні зусилля, але вони все одно діють в рамках своїх ролей.
В цілому, це все правда, але світ, мені здається, занадто сильно розраховує на це. Коли ви залишаєте десяткам мільйонів людей вибір між смертю, сповненою страждань, і смертю, сповненою страждань, коли ви достатньо довго, сильно і нахабно тиснете на них, щоб вони зробили цей вибір, коли ви сигналізуєте їм, що їхня провина полягає в тому, що вони не померли вчасно, ви можете догратися.
Увесь світ і історія запрошують Україну зробити те, що необхідно.
https://music.youtube.com/watch?v=vxa8ShIm9yw&si=2FcXJ11CkWUJ-qd1
Це стратегічна потреба і військова необхідність, але також щось навіть більше - моральний імператив.
Україна не мала б жодних зобовʼязань перед світом, навіть якби вони мали сенс. Один гарант її безпеки намагається знищити її військово, інший її гарант, який відігравав роль світового поліцейського для майже усіх, окрім неї, атакує її політично і допомагає першому, а інші просто дивляться.
Україна не мала б жодних зобовʼязань перед ними, навіть якби вони мали сенс, але вони не мають сенсу.
У світі, що складається з кровожерливих садистів, їхніх посіпак і пасивних спостерігачів, прийняти важке, але необхідне рішення є нічим іншим, як великим подарунком для людства і історії.
І хто як не Україна може його прийняти?
Так, люди пасивні. Навіть перед обличчям смерті, вони не виходять за рамки звичного існування, не роблять екстраординарних зусиль, не намагаються перемогти по-справжньому. Вони можуть йти на жертви і великі екстенсивні зусилля, але вони все одно діють в рамках своїх ролей.
В цілому, це все правда, але світ, мені здається, занадто сильно розраховує на це. Коли ви залишаєте десяткам мільйонів людей вибір між смертю, сповненою страждань, і смертю, сповненою страждань, коли ви достатньо довго, сильно і нахабно тиснете на них, щоб вони зробили цей вибір, коли ви сигналізуєте їм, що їхня провина полягає в тому, що вони не померли вчасно, ви можете догратися.
Увесь світ і історія запрошують Україну зробити те, що необхідно.
https://music.youtube.com/watch?v=vxa8ShIm9yw&si=2FcXJ11CkWUJ-qd1
Люди існують на нижній межі general intelligence. Як вид ми не відійшли еволюційно ані на міліметр від того пункту, де еволюція створила minimum viable general intelligence - просто тому, що не було ані часу, ані необхідного тиску відбору після цього.
Люди балансують в сутінковій зоні між розумом та сном розуму. Це складно побачити зсередини, але це можна побачити. Достатньо пройти dx в бік меншого інтелекту, щоб людина втратила здатність мислити повністю. І навпаки, достатньо пройти dx в бік більшого інтелекту, щоб людина перейшла на якісно інший рівень мислення.
Я згадую цитату Вігнера про фон Ноймана: "тільки він повністю прокинувся."
Дуже розумні люди, чисельні нобелівські лауреати - ті, кого багато хто назвав би геніями - згадували фон Ноймана як єдину людину, що вийшла з цієї сутінкової зони. Напевно, в них був достатній рівень рефлексії і загальних когнітивних здібностей, щоб принаймні помічати ідіосинкратично поганий стан дефолтного людського мислення, а також різницю між ним і адекватним мисленням. Але навіть у них не було здібностей, щоб дійти до цього стану самим.
Люди балансують в сутінковій зоні між розумом та сном розуму. Це складно побачити зсередини, але це можна побачити. Достатньо пройти dx в бік меншого інтелекту, щоб людина втратила здатність мислити повністю. І навпаки, достатньо пройти dx в бік більшого інтелекту, щоб людина перейшла на якісно інший рівень мислення.
Я згадую цитату Вігнера про фон Ноймана: "тільки він повністю прокинувся."
Дуже розумні люди, чисельні нобелівські лауреати - ті, кого багато хто назвав би геніями - згадували фон Ноймана як єдину людину, що вийшла з цієї сутінкової зони. Напевно, в них був достатній рівень рефлексії і загальних когнітивних здібностей, щоб принаймні помічати ідіосинкратично поганий стан дефолтного людського мислення, а також різницю між ним і адекватним мисленням. Але навіть у них не було здібностей, щоб дійти до цього стану самим.