Заметки по поводу грядущего обновления "Инженерии личности", и там немного про конкурентов на "развитие личности" от школ иррациональной мысли: поп-психологии, поп-духовности и их народных вариантов (впрочем, не-поп там не сильно лучше в плане рациональности). Пост на 27Кзнаков.
— Что надо менять в "Инженерии личности"
— Мастерство изменения себя и мастерство изменения мира
— Говорить о том, о чём людям говорить интересно: об их ощущениях "изнутри"
— Личное развитие как уход в эзотерику, религию и "народную духовность"
— Обучение даёт свободу!
— Что же делать с "необъяснимыми событиями"?
— Уйти от обсуждения "духовности" нельзя

https://ailev.livejournal.com/1753783.html

Ещё один текст в порядке подготовки обновления "Инженерии личности" (опять на 27Кзнаков):
— "Инженерия личности", "Личное развитие", "Системный менеджмент"
— Рассмотрение одной ситуации с трёх позиций минимум: изнутри личности, снаружи личности, снаружи сообщества личностей
— Выбор инженерной науки для инженерии личности
— Что с субъективным опытом? Как его объясняют в выбранных подходах? Иногда объясняют, а иногда просто демонстрируют эффективность подхода
— А кто будет инженерами личности? Сегодня -- ещё люди. Завтра -- вряд ли.

Картинка показывает "терапию" от "болезни" -- cognitive behavior therapy для прокрастинации. Это вы всё и так знаете, не правда ли? Все мы психотерапевты, когнитивные, поведенческие, особенно если с помощью AI-агента.

https://ailev.livejournal.com/1753981.html

22 февраля 2025 стартует курс "Рациональная работа", первый курс в программе "Организационное развитие", пойдёт по новому содержанию. Итоги моих обсуждений в чате Julia: AI copilots существенно сдвинули преимущества в использовании языков (ну, и разные языковые сообщества ориентированы, похоже, не на разные языки, а на разные классы задач). Теорема о бесплатном обеде: ходы на вынос reasoning вовне сетки, а LLM остаётся в интерфейсе. Наоборот: ходы в невынос reasoning за пределы нейросетки, но попытки улучшить его результаты (например, уход в latent space reasoning, обучение программированию на Prolog и выполнению кода прямо внутри сетки). Весёлая техника выключения людей из дискуссии — отправка в интроспекцию, в занятия философией, ответ на вечные вопросы "что ты сейчас делаешь, кто ты, зачем это всё тебе?", картинка как раз про такое.

https://ailev.livejournal.com/1754198.html (в посте 13Кзнаков)

Ещё один текст в порядке подготовки переписки "Инженерии личности", и какие-то идеи пойдут в качестве примеров в "Системную инженерию". 19Кзнаков:
— Науки обучения (learning sciences)
— От адаптивного обучения к персонализированному
— Перспективное в науке обучения
— Контрольные вопросы

Картинка к контрольным вопросам.

https://ailev.livejournal.com/1754580.html

Провожу эксперимент. Группа всего из 5 человек, после её набора регистрация будет закрыта.

Открыт набор на тренировку - Первый шаг системного мышления

Преподаватель: Анатолий Левенчук
Пререквизит: отсутствует (но максимальная польза будет у прошедших хотя бы начальные курсы программы "Организационное развитие")
Время: 27 февраля 2025, с 18:00 до 20:00 (UTC+3)
Место: онлайн телеграм (и очно в Москве - в офисе ШСМ на Таганке)
Стоимость: 10 000 ₽
Максимальный размер группы: 5 участников

Содержание тренировки: вам будет задан вопрос про систему вашего рабочего (не учебного! не личного!) проекта - и вы должны попробовать довести формулировку того, чем же занимается ваш проект до "лифтового теста" (уложиться в пару минут со всеми объяснениями для людей, которые впервые слышат, чем вы занимаетесь). Преподаватель будет контролировать выполнение основных правил системного мышления для первого шага "мантры системного мышления" из курса "Системное мышление": материальность системы, рассмотрение времени эксплуатации в системном окружении, функциональное именование, отношение к целевой системе, и т.д. Вы также будете пытаться помогать пройти тренировку другим членам группы, а они - вам.

Задача тренировки: превратить знание того, как описывать системы, в реальное умение описывать системы

Дополнительная информация и ссылка на оплату размещены в чате @SystemsSchool_bot (Даты старта ближайших курсов -> Хочу принять участие -> Тренировка - Первый шаг системного мышления -> Вход в чат -> Ссылка на оплату)

Всё, группа набрана, набор закрыт.

В "Системной инженерии" перешёл экватор, переписано 50%, вписал туда поколения инженерии и разные альтернативые названия роли прикладного методолога, даю короткий план продолжения разбирательств — аж два пункта. Набор в микрогруппу тренировки по первому шагу мантры системного мышления прошёл за пять часов, но по-хорошему когда-нибудь такие тренировки должен делать не я или другие люди, а нежить — и там есть нетривиальные усложнения постановки задачи. ШСМ, Karpathy, Grok и Musk об обучении агентности и сдвигу локуса контроля на внутренний. Даю подборку статей про этот самый локус контроля — и говорю, как мы в ШСМ меняем этот локус контроля. Рейтингованный список теорий, лежащих в основе evidence-based методов обучения агентности и сдвигу локуса контроля вовнутрь. Забавный побочный результат изучения связи агентности (способность действовать) и локуса контроля (восприятие места, которое рулит выдачей ништяков, это ж про подкрепление из reinforcement learning): 11 жизненных благ из модели хорошей жизни. Ещё одна работа Levin и Shmeleva про паразитов и их стратегии влияния на хостов (это всё к тому, как думать про security и safety).

Картинка из одного помянутого в посте (в нём 16Кзнаков) текста, угадайте, какого.

https://ailev.livejournal.com/1754858.html

Опубликована очередная версия "Системной инженерии", в ней переписан полностью раздел "3. Инженерный процесс" (тем самым переписано примерно 58% содержания). Провёл вчера первую двухчасовую тренировку на пять человек, там обсуждали производство корпусной мебели в длинной цепочке поставок, торговлю частями частного домовладения (типа кровли, которая не шумит от дождя, или навесного фасада, под которым нет плесени), потоки лекарств через аптеки (ERP), пожилых здоровых людей в медицинском страховании, потоки дров и досок (ERP) -- удивительно, рассуждение везде было одно и то же, а не хватало, как выразился один из участников в кулуарах, "не особых знаний из курсов, а мышления, и из лекций это трудно понять, можно понять только в таких разговорах о проектах". Мои недоумения по поводу GPT-4.5 и шесть ссылок на тему сочетания затрат времени на обучение и затрат времени на подумать (да, к нашим студентам это тоже относится — что они, не нейросетки в мозгу имеют?). Я думаю, что всё это закончится многослойными архитектурами (картинка такой архитектуры для робота Helix). Ссылка на видео работы такой многослойной архитектуры "умных медленных" и "поглупее, но итерирующих быстро" нейросетей, упакованных в антропоморфное тело.

https://ailev.livejournal.com/1755390.html (10Кзнаков)

Ещё один текст (17Кзнаков) про агентность — аргументы в пользу того, что агентность должна быть разумной, и ей можно научить, были evidence-based исследования.
— Разумная агентность
— Интеллект
— И уму-разуму, и агентности можно научить
— "Теории" андрагогики и корпоративного обучения вам не помогут

Картинка из курса "Методология".

https://ailev.livejournal.com/1755563.html

У меня во всех лентах обсуждается выход GPT-4.5, ибо и впрямь что-то странное: все характеристики очень похожи на характеристики предыдущего поколения, которое обучалось x10 меньше. Стало ли лучше? Маргинально: в каких-то задачах да, в каких-то -- нет. По сравнениям людей в большой статистике предпочтения ответа GPT-4.5 ответам других сеток очень незначительные, и даже галлюцинирует эта сетка меньше, но не меньше других моделей OpenAI. Сотрудники OpenAI туманно говорят, что "лучше в тех аспектах, которые трудно измерить", скажем, отсутствие галлюцинаций по фактическим знаниям о мире. От общего тона обсуждений остаётся впечатление, что "подняли гуманитарные способности, ответы чуть больше будут нравиться гуманитариям, а технарские способности ниже SoTA -- ожидаем, что там что-то будет в reasoning режиме". Но по тестам строгих рассуждений там ниже, чем DeepSeek V3, тоже "без ризонинга". Очень, очень странное событие -- выход этой модели с такими характеристиками. Сам я последнее время пользуюсь Gemini 2.0 Pro Experimental и Grok 3 -- а ответами ChatGPT я как-то чаще недоволен, чем доволен. Ну ладно, конкуренция -- великое дело, всё только начинается. Интересный вопрос про то, как добиться умности -- учить подольше исходную модель или дать побольше времени на рассуждения. Вот несколько свежих материалов об этом:
-- на русском из сиолошной: https://www.tg-me.com/seeallochnaya/2379: "условная o3, построенная на GPT-4o, может генерировать цепочки рассуждений в 50 раз длиннее, что условно равно увеличению мощностей на тренировку в 40 раз (цифры из головы). А поскольку GPT-4.5 тренировалась всего лишь в 15-20 раз больше, то получается, что ризонер на модели прошлого поколения как бы лучше
— однако эти цифры перемножаются, и ризонер на основе новой модели <должен быть> существенно лучше. Если модель ошибается реже на каждом шаге, то все мощности будут уходить в правильное русло, а не на исправление ошибок"
-- https://arxiv.org/abs/2502.15631, We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve.
-- https://arxiv.org/abs/2411.18071, тут попытка быстрой проверки гипотез: просят LLM оценить верность гипотезы (оценивает, точность низка), затем просят просимулировать феномен и сгенерировать табличку этого моделирования ("побольше порассуждать" что там происходит). По табличке с данными берут корреляцию -- и она оказывается точнее, чем просто ответ на вопрос о корреляции! Это явно не CoT, но явно удлинение времени размышления.

-- https://arxiv.org/abs/2502.20339, попытка загнать reasoning в mamba с её высокой эффективностью и низкой точностью, а затем дать побольше времени на reasoning, чтобы перегнать трансформер по точности на том же вычислительном бюджете: can models with lower complexity leverage their superior generation throughput to outperform similarly sized Transformers for a fixed computational budget? To address this question and overcome the lack of strong subquadratic reasoners, we distill pure and hybrid Mamba models from pretrained Transformers. Trained on only 8 billion tokens, our distilled models show strong performance and scaling on mathematical reasoning datasets while being much faster at inference for large batches and long sequences. Despite the zero-shot performance hit due to distillation, both pure and hybrid Mamba models can scale their coverage and accuracy performance past their Transformer teacher models under fixed time budgets, opening a new direction for scaling inference compute.
-- https://arxiv.org/abs/2502.16965, попытка загнать CoT в autoregression image generation, которая обычно хуже генерирует, чем диффузионные модели. И впрямь, CoT поднимает качество: autoregressive Image Generation with Thoughtful Reasoning (IGTR), Compared to the autoregressive method without prompts, our method shows outstanding performance and achieves an approximate improvement of 20%. Но если заглянуть внутрь — таки диффузию не догнали (сравнимые, даже чуть-чуть хуже, характеристики при вдвое большем числе параметров), но в авторегрессионных моделях они ого-го. Это подтверждает мысль, что исходной модели надо быть умной, глупой модели добавка reasoning помогает очень существенно, но не так сильно, чтобы перегнать более умную модель. Усидчивостью перегнать талантливых в общем случае не удастся. Если кошечка будет долго-долго думать, хоть и всю жизнь, она стишок не сочинит.
-- https://www.inceptionlabs.ai/news. Вот тут наоборот — диффузия для генерации кода, вдесятеро быстрее, но менее точна, чем чемпионы — https://www.inceptionlabs.ai/news.
-- ... тысячи этих работ, про test time compute против компьюта обучения не думает только ленивый. Вот даже я думаю. У меня ведь те же проблемы: учить студентов дольше, или просто заставлять их дольше думать в своих проектах (но ведь мы тоже хотим экономить test time compute -- за счёт того, что один раз потратим время на обучение, а потом много раз сэкономим на размышлениях)? Я обычно сильно удивляюсь, когда узнаю, сколько времени люди делают качественные продукты. Кажется, что хорошо обученные гении должны делать всё быстро -- но нет, у них test time compute тоже будь здоров! Жизнь показывает, что и учатся как можно лучше/дольше, и потом времени на подумать берут тоже побольше. И дальше лидируют в рейтингах.

Я думаю, всё это закончится многослойными архитектурами, вот статья теории про эту скорость-точность в управлении, "Towards a Theory of Control Architecture: A quantitative framework for layered multi-rate control", https://arxiv.org/abs/2401.15185, а картинку из этой работы я приводил в конце предыдущего поста (https://ailev.livejournal.com/1755013.html) -- пешком передвигаться можно точно к месту назначения, но медленно, на самолёте -- очень неточно, но очень быстро, автобус -- не так быстро как на самолёте, но быстрее чем пешком, но не так неточно, как на самолёте, но не так точно, как пешком. А как надо? Вот так и надо: многослойное действие (пешком-автобус-самолёт-автобус-пешком). Вот тут эта многослойность управления и две нейронки уже есть: — медленный слой работает на 7-9Hz, быстрый — 20Hz, архитектура разная (7B VLM и 80М transformer), https://www.figure.ai/news/helix. Такое должно не только в роботах появляться, но и везде во взаимодействии AI-систем с окружением, хоть и не физическими. Диалог — как раз пример такого взаимодействия. Вот картинка.

Как такая многослойная архитектура "умных медленных" и "поглупее, но итерирующих быстро" нейросетей, упакованных в антропоморфное тело выглядит в работе -- вот видео: https://www.youtube.com/watch?v=f6ChFc8eUuo). Армия клонов, ага.

Это я чисто в порядке эксперимента вдруг взял и поместил сюда кусочек (не весь!) моего вчерашнего поста. Просто поглядеть, что будет )))

Мокрые и сухие нейросетки показывают впечатляющие результаты в генерации чего бы то ни было, но испытывают трудности с нахождением ошибок. Они с трудом переключаются в режим осознанного логического мышления (S2 по Канеману), необходимого для анализа и отладки. Текущие бенчмарки показывают низкую способность LLM находить ошибки даже в собственных выводах, какие уж там инженерные обоснования. Хотя каждая новая модель LLM улучшает ситуацию, люди остаются на прежнем уровне — победить тут людей довольно просто, даже будучи относительно плохим неживым критиком. В тексте (11Кзнаков) много ссылок и небольшой план моих собственных действий.

https://ailev.livejournal.com/1755878.html

Некоторые мысли о том, как важно "мышление письмом" — это же культура, часть общей культуры создателей успешных систем. Привожу самых разных шесть аргументов в пользу этого, а затем показываю, что мало только писать и общаться асинхронно — передать культуру таким образом трудно, надо ещё и очно общаться. Текста много, 23Кзнака.
— Культура мышления письмом
— Надо ли иметь развитый экзокортекс, свой zettelkasten?
— Как привить культуру сильного мышления, где мышление письмом -- маленькая начальная часть?

https://ailev.livejournal.com/1756090.html

Немного новостей AI и моего к ним отношения:
— уволенные бенчмарки, их много
— новая архитектура нейросетки решает ARC-AGI на 20% вообще без обучения.
— вместо CoT делаем CoD (Chain-of-Draft), это занимает 7.6% токенов от CoT с теми же результатами reasoning
— дистилляция трансформера в мамбу (llamba) даёт не слишком хорошее качество, зато влезает в телефоны и требует только 0.1% данных для обучения.
— Cortical Labs выпустила очередной комп на человечьих нейронах, но интересней даже не это, а повтор их эксперимента с обучением нейронов играть в Pong на простом геле, безо всяких нейронов. Это всё reservoir computing.
— DeepSeek R1 слегка всех подорвали с 671B параметров (37B активных), а QwQ-32B с тем же качеством работает просто на 32B параметров, и цель у них — long horizon reasoning, и это open source, что особенно приятно читается, когда OpenAI планирует продавать long horizon reasoning за $20000 в месяц
— обсуждение AI-как-SkyNet перешло в обсуждение AI-как-атомная-бомба, появились лоббисты международного регулирования нераспространения, но с учётом того, что тут много чего уже в open source, требования к аппаратуре падают, по энергии намечается большой запас (помним о нейроморфных архитектурах, как пример), а также об отсутствии мирового правительства, которое справляется с распределёнными инициативами типа DeFi, тут поможет не лоббирование или антилоббирование, но слоган шифропанков: "не пишите законы, пишите код". Что и происходит.
— Про роботов не пишу, но там тоже всё более чем хорошо. И нормальные роботы уже стоят меньше $100000.

Картинка про Chain-of-Draft, а в посте 15Кзнаков.

https://ailev.livejournal.com/1756202.html

13 марта 2025 буду проводить очередную тренировку по первому шагу системной мантры, только полностью уже онлайн и с домашним заданием (надо будет изложить результаты письменно). Написал в "Системную инженерию" зубодробительный подраздел "Функциональное проектирование". Как тренировать причинно-следственное мышление — уходить от "понимания лестницы причинности в исследованиях" к использованию в рабочих проектах для debug/troubleshooting и инженерных обоснований. Прикидки операционной мантры (вдобавок к системной мантре и "распожаризации" как lean мантре). Особенности социальных сетей: лайки идут как "художественность", перепосты как "польза", и если судить по ним, то в моих постах спрос на материалы "личного развития", а усиление интеллекта, инженерия и менеджмент (правда, последний год я меньше писал про менеджмент) не так уж читателям и интересны, но всё одно про это буду писать, как и писал. Материалы, которые вроде бы про улучшение обучения AI, но помогают многое что понять и улучшить в обучении мокрых нейронных сеток: "Predictive Data Selection: The Data That Predicts Is the Data That Teaches" и "Cognitive Behaviors that Enable Self-Improving Reasoners, or, Four Habits of Highly Effective STaRs". Немного про политику: отношение к "переобуванию", стохастическое правое выправление левого коленвала, битьё левых с лозунгом "грабь награбленное", радость по поводу отъёма денег налогоплательщиков у просвещенцев и академиков США. Много видео антропоморфных роботов, вот это будут ягодки "достаточно разумных существ" 4E AI после цветочков в форме LLM (и помним про осьминогов, ведь "благо всех чувствующих существ"), для цивилизации это много круче, чем вечный маятник лево-право. Ещё одна политическая идея: глобальное потепление, но найдена причина ледниковых периодов, людей там не стояло, а силы буквально космических масштабов — и картинка из статьи в Science как раз про это, ледниковый период через 10тыс. лет вполне вероятен.

https://ailev.livejournal.com/1756659.html (19Кзнаков)

Открыт набор на тренировку - Первый шаг системного мышления

Преподаватель: Анатолий Левенчук
Пререквизит: отсутствует (но максимальная польза будет у прошедших хотя бы начальные курсы программы "Организационное развитие")
Время: 13 марта 2025, с 18:00 до 20:00 (UTC+3)
Место: онлайн телеграм
Стоимость: 10 000 ₽
Максимальный размер группы: 5 участников

Содержание тренировки: вам будет задан вопрос про систему вашего рабочего (не учебного! не личного!) проекта - и вы должны попробовать довести формулировку того, чем же занимается ваш проект до "лифтового теста" (уложиться в пару минут со всеми объяснениями для людей, которые впервые слышат, чем вы занимаетесь). Преподаватель будет контролировать выполнение основных правил системного мышления для первого шага "мантры системного мышления" из курса "Системное мышление": материальность системы, рассмотрение времени эксплуатации в системном окружении, функциональное именование, отношение к целевой системе, и т.д. Вы также будете пытаться помогать пройти тренировку другим членам группы, а они - вам.

Задача тренировки: превратить знание того, как описывать системы, в реальное умение описывать системы

Дополнительная информация и ссылка на оплату размещены в чате @SystemsSchool_bot (Даты старта ближайших курсов -> Хочу принять участие -> Тренировка - Первый шаг системного мышления -> Вход в чат -> Ссылка на оплату)

Приготовил слайды тренировок по организационному развитию (даю ссылку), а также даю кратенько упомянутые там мантры из наших курсов — системного мышления, операционную, распожаризации/lean, стратегирования.

https://ailev.livejournal.com/1756760.html (4.5Кзнаков)