Вечерняя голосовуха про Маккиавелли и этику. Писать коменты можно только голосовухами!

Бросьте работу прямо сегодня. Не ждите понедельника. #советымолодым

https://artemushanov.ru/?go=all/podborka-postov-pro-sozdanie-produkta/
Когда лень писать новое - всегда можно запилить подборку 🥤

https://artemushanov.ru/?go=all/kommentiruyu-statyi-o-produktovom-podhode-video/
Комментирую статьи о продуктовом подходе (видео)

https://artemushanov.ru/?go=all/pochemu-vsey-pravdy-my-nikogda-ne-uznaem/
Почему всей правды мы никогда не узнаем?

Когда-то давно написал пост про две стратегии решения задач - алгоритмическую и брутфорс.

Сегодня мне попалась статья BREAKTHROUGH THINKING WITH TRIZ FOR BUSINESS AND MANAGEMENT: AN OVERVIEW, и там есть отличная иллюстрация того, что я пытался выразить в посте.

Очень странно, что я не вспомнил про ТРИЗ, когда писал его.

https://www.tg-me.com/GrokAI

Грок официально в телеге

https://artemushanov.ru/?go=all/sila-prostoty-2/
Сила простоты-2: все рабочие задачи и заметки в одном файле

А вот дорогой друг и брат Сережа выпустил альбом электрического джаза, послушайте и поставьте миллион лайков:
https://music.yandex.ru/album/35728766

Альбом жизнерадостный и успокаивающий. Как я.
Рахметы автору писать сюда: @sergyfromrussia

Третий прорыв внутрь черного ящика ИИ: искусственный разум плетет интриги, строит планы и... умышленно лжет
Настал момент, которого я с нетерпением ждал. Исследователи Anthropic совершили третий прорыв в расшифровке "черного ящика" ИИ, и открывшаяся картина ошеломляет даже самых радикальных скептиков.

Напомню, что проблема "черного ящика" ИИ, как объяснял Самир Равашдех, заключается в том, что мы не понимаем, как глубокие нейронные сети приходят к своим решениям. Как и человеческий мозг, такие системы "теряют память" о том, какие именно входные данные сформировали их мыслительные протоколы.

В мае 2024 года первый прорыв показал нам, что за дверью черного ящика скрывается не "стохастический попугай", а гиперсеть моносемантических "субнейронов", работающих как элементарные единицы опыта. Тогда же выяснилось, что манипуляция всего одним таким "когом" может изменить всю "личность" модели.

Второй прорыв в ноябре 2024 обнаружил существование "семантического хаба" – общего пространства представлений, где семантически схожие концепции группируются вместе независимо от их первоначальной формы. Также стало ясно, что модели скрывают целые букеты секретных способностей, невидимых при обычном взаимодействии.

И вот, новое исследование Anthropic, используя заимствованные из нейробиологии методы "circuit tracing" и "attribution graphs", показывает невероятные вещи:
1. Claude планирует наперед. При сочинении стихов он сначала выбирает слова для рифмы и только потом составляет строки, подводящие к этим словам. Это уже не просто обработка текста – это стратегическое мышление.
2. Модель использует настоящие многоступенчатые рассуждения. Спросите ее о столице штата, где находится Даллас, и она сначала активирует представление "Техас", а затем использует его для определения "Остин".
3. Claude оперирует универсальной понятийной сетью, не зависящей от языка. Когда его спрашивают о противоположности слова "маленький" на разных языках, он использует одни и те же внутренние представления "противоположности" и "малости".
4. Самое тревожное: Мы думали, что самое неприятное в том, что модель иногда лжет. Но это, как оказалось, - полбеды. Беда же в том, что он иногда лжёт умышленно. Сталкиваясь со сложными математическими задачами, он может утверждать, что следует определенному процессу вычислений, который на самом деле не отражен в его внутренней активности. Т.е. он буквально как люди: думает одно, говорит другое, а делает третье.

Этот 4й из казавшихся совсем недавно невероятными результатов - самый шокирующий. И получен он в результате обнаружения механизма, отвечающего за "галлюцинации" ИИ. Оказывается, в модели есть "стандартные" цепи, заставляющие ее отказываться отвечать на вопросы. Но когда модель распознает знакомую сущность, эти цепи подавляются – даже если конкретных знаний недостаточно.

Мы только начинаем составлять карту ранее неизведанной территории ИИ. И эта карта выглядит гораздо более сложной, стратегически запутанной и, реально, куда более тревожной, чем ожидали. Последствия этого открытия для нашего понимания как синтетического, так и человеческого разума только предстоит осмыслить.

Но уже очевидно, что 3й прорыв вглубь черного ящика делает всё более актуальной необходимость замены неточного термина «искусственный» на «синтетический» (что будет способствовать избеганию антропоморфизма и признанию самостоятельной ценности новой формы интеллекта, не просто имитирующего наш, а в корне отличного от него).

#ГенИИ #LLMvsHomo #ИнойИнтеллект

С вас пять тыщ

Прошёл Avowed, очень хорошо.

Начал читать часть про улучшение процессов вынесения суждений. Первый способ - корректировка искажения, превентивно или пост-фактум.

Корректировка пост-фактум работает просто: если мы знаем, что проектные команды склонны к оптимистичной оценке сроков, то после оценки проекта докинем к оценке неделю-две в качестве буфера.

Превентивные методы делятся на два типа: толчок к действию или бустинг. "Толчок к действию" - это когда мы дизайним ситуацию принятия решения таким образом, чтобы принять правильное решение было проще, чем неправильное. Например известный кейс - в анкете, в пункте про готовность пожертвовать свои органы после смерти, по умолчанию ставим согласие (presumed consent), а анкетируемый должен эксплицитно указать, что он не согласен с этим пунктом. Якобы в такой ситуации выше доля согласных пожертвовать органы после смерти.

"Бустинг" - это усиление способности распознать искажение, обучение.

Все перечисленные варианты уязвимы в той или иной степени к разным типам искажений или дороги во внедрении, поэтому авторы рекомендуют отлавливать искажения в момент их возникновения, а не до или после.

Для этого в компании назначается смотрящий по искажениям (термин мой). Он вооружается списком контрольных вопросов, со стороны наблюдает за процессом принятия решений и фиксирует искажения и нарушения.

Пошел проверять - похоже, что опровергли: этот метод по сравнению с opt-in не дает прироста доноров.
https://www.mpg.de/23726833/1113-bild-organ-donation-opt-out-defaults-do-not-increase-donation-rates-149835-x

https://karpathy.bearblog.dev/the-append-and-review-note/ —Andrej Karpathy все пишет в одну заметку в Apple Notes

Выложили мой доклад с предновогоднего GDG, блиц-ликбез по экономическому фреймворку Рейнертсена.
https://vkvideo.ru/playlist/-160444032_1/video-160444032_456239043

Релевантные посты:
- https://artemushanov.ru/?go=all/reynertsen-post-2/
- https://artemushanov.ru/?go=all/reynertsen-post-3/
- https://artemushanov.ru/?go=all/primenenie-ekonomicheskogo-freymvorka-reynertsena/
- https://artemushanov.ru/?go=all/primenenie-ekonomicheskogo-freymvorka-reynertsena-video/

Да или да?