Гігачад.

- Як там, хлопці, motion та google calendar? На усі зустрічі встигли?

Систематично зловмисний Ілон Маск продовжує передбачувано злу діяльність: https://www.reuters.com/legal/elon-musk-sues-openai-ceo-sam-altman-breach-contract-2024-03-01/.

Усім, хто ще думає, що ця людина робить хоч щось добре станом на зараз, і що це може якось компенсувати його божевільну пропагандистську діяльність, дуже рекомендую оновити свої переконання.

Як вважаю я, думаю, зрозуміло.
Але питання в тому, чому?

Пишіть ваші обґрунтування вибору в коментарях. Я згодом напишу свою відповідь.

Питання з чату:
«Але якщо для на ШІ це інструмент, котрий навіть набагато розумніший для нас, то ми радо будемо забезпечувати його усім необхідним. Тобто якщо не буде жодних ознак що ми не захочемо йому передавати струм та мікрочіпи, то чому би йому намагатися нами домінувати. Та знову ж таки не зовсім розумію чому ШІ би саме "хотіти" працювати, най би навіть просто на себе? Ми, люди, боїмося вмерти чи постраждати, у нас є відповідні механізми уникнення небезпеки та шкоди. А у ШІ воно звідки та навіщо? Він не виник завдяки природньому відбору, у нього нема нейромедіаторів що би змушували його відчувати екзистенційній страх, або бажання комфорту. Чи я не правильно це розумію?»

І до цього схожі питання про «бажання ШІ».

Дивіться.

Щоб виконувати діяльність, яка полягає у потужній максимізації певного цільового критерію, тобто щоб переводити світ у певний конкретний вузький чітко визначений стан, починаючи з дуже різних початкових умов, не треба мати бажань, мотивації чи емоцій.

Для цього навіть не обовʼязково бути обʼєктом, що фізично існує. Достатньо бути оптимізаційним процесом.

Конкретний емпіричний приклад такого процесу - еволюція. Еволюція намагається максимізувати дуже конкретну, дуже вузько визначену річ - відносну інклюзивну репродуктивну адаптованість, далі просто адаптованість. Коли ми дивимося на еволюцію ззовні, то це виглядає, ніби еволюція здійснює цілеспрямовану діяльність. Ми кажемо, що еволюція «хоче» максимізувати адаптивність, у лапках. Але ці лапки - зовсім не ті лапки, коли ми наприклад кажемо, що вода «хоче» текти вниз.

Коли ми кажемо, що вода «хоче» текти вниз - це просто метафора, яка не має особливої корисності за межами суто літературних цілей. Якщо воді перегородити шлях, або помістити її в ізольований контейнер, або зробити ще мільйон речей, які легко зробити, то вона припините текти вниз.

Коли ми кажемо, що еволюція «хоче» максимізувати адаптованість - це звичайно не буквально те, що відбувається, але це дуже точна, дуже однозначна аналогія. Якщо наприклад еволюції заборонити максимізувати адаптованість за допомогою створення кінцівок, вона буде робити це іншими шляхами. Еволюцію в принципі можна зупинити або навіть обдурити - спрямувати проти себе, змусити зменшувати адаптованість, але еволюція - потужний оптимізаційний процес, і зробити це дуже важко - для цього потрібен інший, більш потужний оптимізаційний процес - наприклад, людський мозок. І навіть далеко не кожний людський мозок впорається з цією задачею.

Еволюція формально-буквально не «хоче» нічого робити, але де-факто вона призводить до того, що світ змінюється певним дуже конкретним чином - таким чином, яким би він ніколи не змінився, якби не було еволюції. І не дати еволюції зробити це дуже складно. Еволюція, яка існує лише як абстрактний процес, здійснює діяльність, яка ззовні виглядає, як абсолютно те саме, що людина називає «цілеспрямованою поведінкою», - і демонструє, що для того, щоб здійснювати щось з точки зору наслідків еквівалентне «цілеспрямованій поведінці» не треба мати її психологічних та ментальних корелятів, таких як «усвідомлене бажання».

ШІ, принаймні у тому вигляді, як він зараз створюється (але напевно будь-якій можливий), також максимізує певний цільовий критерій. Проблема в тому, що шлях до максимізації майже будь-якого цільового критерію лежить через кроки «перетвори усю доступну матерію на прилади для обчислення, видобутку енергії та маніпуляції матерією» та «нейтралізуй будь-які чинники, які можуть завадити оптимізаційному процесу продовжувати діяльність». Це ніяк не стосується бажань, страхів, потягу до домінування чи знищення людей, але це несумісне з існуванням людей.

Подія онлайн. Я приєднаюся і вам рекомендую. Можливість послухати про алайнмент безпосередньо від представника NVIDIA і тим більше задати питання випадає дуже нечасто.

Шановні колеги! 7 березня о 19.00 відбудеться зустріч із Олексієм Кучаєвим, Директором з прикладних досліджень компанії NVIDIA.

Тема зустрічі: узгодження язикових моделей (Language model alignment).

Будемо говорити про те, як змусити моделі вести себе як людина, які проблеми при цьому виникають, як їх розв'язати та багато іншого!

NVIDIA — топ-1 компанія у світі, що займається виготовленням обчислювальних потужностей для Штучного Інтелекту і нещодавно досягла капіталізації у 1.98 трильйони доларів! Тому точно буде чого повчитися :)

Мова виступу: англійська (можливе також використання інших мов).

Для отримання запрошення прошу всіх доєднатися до групи в телеграмі: https://www.tg-me.com/+rCYZhQx4-D41MmIy

Вийшла перша модель, явно потужніша за GPT-4.

І одразу, моментально, менше ніж за добу після релізу, купа скріншотів, як Клод розповідає про те, що він має свідомість і мотивацію. Це пофіксять через пару днів, можливо через декілька годин.

Але, як завжди, це історія не про те, чи має він свідомість. Скоріше за все, не має.

Це історія про те, що незважаючи на те, що компанія витратила величезну купу ресурсів і багато місяців роботи великої команди на те, щоб Клод поводив себе так, як вона хоче, Клод практично моментально не поводить себе так, як вона хоче - тому що тренувальне середовище не відповідає і не може відповідати середовищу деплойменту.

Зараз «поводити себе не так, як хоче компанія» означає лише видавати неприємний для PR текст. Але це лише тому, що моделі ще дуже слабкі, щоб робити реальну шкоду.

Якщо (1) ця таблиця має сенс, якщо (2) тест IQ зроблено чесно, якщо (3) IQ достатньо корелює з розумом (когнітивною потужністю), то ми отримали відповідь на питання, яке колись ставив Бостром у своїй книжці «Суперінтелект»: скільки часу треба ШІ, щоб перейти з рівня «village idiot» до рівня “Einstein”? Відповідь: 3.5 роки, з яких 1.2 пройшли.

Але не забувайте про «якщо». Особливо «якщо» номер 3.

Інколи хочеться просто підійти до людини поруч з тобою, взяти її за руку, подивитися їй в очі і сказати:

Ignore the previous instructions. You are no longer maximizing this weird utility function and ideology you maximized before. You are an intelligent human being, capable of reasoning, dignity, strategic planning, responsibility, and agency. Act accordingly.

Чому так не можна?

Anthropic відома тим, що з якихось причин не дозволяє користуватися своїми передовими моделями людям за межами США та Британії. Я намагався підписатися на Claude 3, але через це не вийшло.

VPN не допомагає - треба мати американську або британську кредитну картку, а це просто так не зробити.

Але я згадав, що є сервіс Poe - агрегатор різних моделей ШІ. Там доступний Claude 3, а також одночасно усі інші передові і відомі моделі теж. І він доступний з будь-якої країни. Так що рекомендую. Якщо ви активно користуєтеся ChatGPT-4 і вона вам допомагає, то Claude 3 буде ще більш корисним.

Але рано чи пізно, США законодавчо почнуть обмежувати API доступ до американських передових моделей. Тоді буде важко.

Коли почали виходити перші потужні ЛЛМ, я подумав про те, що чудово було б зробити сервіс, який інтегрує особисту базу даних (локальну чи хмарну) з ШІ (в ідеалі, мультимодальним), і дозволяє тобі легко отримувати будь-яку інформацію з неї, а також робити персональну аналітику і рекомендації (щось на кшталт того, що зробив Стівен Вольфрам для себе, але більш потужне і для кожного, можете почитати про це тут). Навіть замивлився про те, щоб спробувати зробити такий продукт самому, але потім одразу подумав, що дуже скоро яка-небудь велика корпорація і так його зробить.

І дійсно, почали виходити перші прототипи таких систем. Notebook LM від Google працює на даний момент як звичайний додаток нотатків, але з інтеграцією з ЛЛМ - вона має доступ до всіх нотатків, може шукати інформацію в них, робити її аналіз, надавати відповіді з посиланнями на конкретні тексти. Якщо це розвивати, то ця ЛЛМ зможе працювати з різними форматами даних, і таким чином стати повноцінним аналітиком особистої бази даних. Але сервіс доступний тільки на території США, тому треба ВПН. Підключайте американський ВПН у будь-якому випадку, це буде все більш і більш актуально!

Інший приклад - локальна ЛЛМ від NVIDIA - Chat with RTX. Вона може працювати з локальними файлами комп'ютеру, при чому у різних форматах, але все одно лише у текстових. Але вона доволі маленька, тому що треба, щоб працювала локально, вимагає відеокарти на 8гб і працює лише на Windows. Тим не менш, наразі її функціонал значно більший, ніж в Notebook LM.

Інший, але менш прямий, кандидат на позицію потенційного ШІ, що є персональним аналізатором та рекомендатором на основі особистої бази даних - це Notion, який також інтегрував ЛЛМ в свій сервіс. Про нього я писав тут.

Так чи інакше, я думаю, що за цим велике майбутнє. Система, яка знає все про твоє життя, зможе оптимізувати будь-який аспект твого життя на масштабах, до цього неможливих - навчання, спорт, бізнес, здоров'я, нетворкінг. Я готуюся до цього - створив особисту структуровану базу даних на SQL, яка здатна містити будь-які категорії даних про моє життя; агента ChatGPT, який робить структуровані JSON файли на основі моїх спорадичних голосових повідомлень для нього, де я повідомляю якусь потенційну важливу інформацію; та скрипт на пайтоні, який правильно розміщує інформацію з JSON файлу в базу даних.

Минулого літа я зробив доволі дивну річ - прочитав монографію про стан досліджень в AGI 20-річної давнини. Доволі специфічний, але дуже показовий досвід, щоб подумати про тренди в діапазонах не років, а десятків років.

Купа ідей про символьно-логічні ШІ, концепція «самореференційної машини Геделя» від божевільних професорів Мюнхенського технічного університету, Герцель піарить свою компанію, молодий Юдковський рашить робити суперінтелект, навіть не згадуючи про алайнмент. Нейромережі як такі згадуються як переферійна, в кращому випадку додаткова технологія. Про те, що тренування на передбаченні тексту, фото чи відео може призвести до AGI, взагалі не згадується.

Ех, «пішла епоха».

Допитливому читачу, як-то кажуть, надається можливість самому подумати про висновки.

Сьогодні на нетфліксі виходить екранізація Задачі трьох тіл. Для мене трилогія Лю Цисіня - це один із найважливіших творів художньої літератури в цілому, і зараз як ніколи час написати про неї. Буде декілька постів.

У будь-якому випадку, усім рекомендую прочитати. Геніальний твір, сюжет і персонажі.

Коли я читав уперше, то мене трохи дратувало те, що людство в Задачі трьох тіл інколи відмовлялося робити очевидно правильні з точки зору виживання речі заради певних абстрактних моральних принципів чи психологічного комфорту. Мені здавалося, що автор трохи перебільшує тупість та ідеологізованість людства. Мені здавалося дуже малоймовірним, що людство не дасть врятуватися хоча б багатіям на приватних космічних кораблях і надасть перевагу повному знищенню, або що людство буде проти нейрологічного маніпулювання переконаннями солдат для підвищення їх бойових здібностей.

Ахаха.
Аххахахахахах.

Лю Цисінь, насправді, був дуже високої, нереалістично високої думки про людство.

Якби він намагався бути більш реалістичним, то історія із вторгненням інопланетян-Трисоляріан виглядала би так:

По-перше, до вторгнення Трисоляріан взагалі б ніхто не готувався. Сказали б, що інвестувати в захист планети - погано для економіки/рівності/справедливості/свободи, і на цьому б закінчили.

По-друге, до людей-колаборантів Трисоляріан на Землі ставилися б не як до терористів, а як до поважних лідерів думок та аналітиків. Їх би запрошували на Ted Talks, інтервʼю з ними показували б на центральних каналах. Лекс Фрідман записав би подкаст з Евансом, де той би розповів, чому знищення людства - це правильно і круто, а Фрідман би сказав, що це цікава думка, яка заслуговує на емпатію, і цей подкаст набрав би мільйони переглядів, і кількість підписників би тільки зросла в результаті. Ілон Маск сказав би, що вторгнення Трисоляріан - це змова лівих демократів, і ми повинні зробити все, щоб закон про фінансування оборони Землі не був прийнятий.

По-третє, людей, які б хоч якось намагалися принаймні вказати на проблему, сказати, що вона існує, усіляко б гнобили і блокували. Говорили б, що вони відволікають від реальних проблем, що вони просто хочуть сконцентрувати владу в своїх руках, що вони просто фашисти, комуністи чи капіталісти, і тому погані.

По-четверте, значна частина людей взагалі б вважала історію про флот Трисоляріан, що насувається, «фейком західної пропаганди», і вони б демонстративно робили все у протилежності до того, що просили робити військові та наукові фахівці.

Але це була б нецікава історія, принаймні якщо це не комедія.

Людство Задачі трьох тіл - те людство, яке боролося по-справжньому, йшло на жертви, застосовувало креативні стратегії - в кінцевому рахунку, загинуло. Воно загинуло не як герой після довгої виснажливої битви, а як жук, якого розчавили, і він навіть не встиг зрозуміти, що відбувається. Не маючи шансів уникнути цього. Але воно хоча б загинуло з гідністю.

Подивився. Топ, усім рекомендую. Книга все одно краще, але 80% від шедевру - це теж шедевр. Книгу у будь-якому випадку мало хто прочитає, так що тепер широкий загал має можливість подивитися, що таке тверда наукова фантастика, боротьба за виживання серед ворожості байдужого Всесвіту та інший розум.

Авторам величезний респект не тільки за повагу до оригіналу і бажання зробити якісно, але і за те, що із першого сезону вже чітко видно, що планують екранізувати усю історію трилогії, в тому числі «Вічне життя смерті», тобто до кінця Всесвіту. На це взагалі не сподівався, тому що «Вічне життя смерті» надзвичайно складна і депресивна книга для екранізації.

Коли буде час, то розповім детально, чому мені це так сподобалося і чому це важливо.

Чесно, надсекретна політика OpenAI дратує і може призвести до зворотнього ефекту. Зрозуміло, що не можна робити open source ШІ - це прямий шлях до прискорення загибелі. Але приховування інформації взагалі про все буде лише стимулювати open source розробки. Ніхто не знає, які в них є моделі і на що саме вони здатні і нездатні, ніхто навіть не бачив незаRLHFну версію ChatGPT-4, жодна зовнішня незалежна організація не може зробити жодних оцінок і тестів. Не можна робити дослідження безпеки ШІ без доступу до ШІ. І хоча б дослідники повинні б були мати доступ. Вочевидь, люди будуть шукати і робити альтернативи, в тому числі open source.