Всю неделю писал "в посты и чаты", а не "в курс" — прикидываю, что с моей скоростью написания текстов примерно 20Кзнаков в день могу "Войну и мир" написать где-то за четыре с половиной месяца, было бы что писать. "Системное мышление 2024" удалось отдать в вёрстку, там всё медленно, заплатил примерно 33 тысячи рублей. Основная задача этой недели у меня была -- показать общность и практическую приложимость знания всей курсовой линейки "Организационного развития", ибо как это объяснять на входе -- проблема, как удерживать мотивацию студента (в вузах-то всё понятно, "так учился твой дед, и ты так учиться будешь") -- тоже проблема. Купил JBL! Xtreme 4, 2 килограмма 100 ватт и 24 часа может работать под дождём на одной зарядке, если не громко — идеально для опенэйров, на фото она вместе с прежней колонкой и моим ноутбуком (а ещё жалею, что кресла, которые за тобой бегают на своих ножках, ещё не сделали, но ждём-с).

https://ailev.livejournal.com/1724843.html

Обсуждаю вопрос эмерджентности в LLM, обращая вновь и вновь внимание на разницу чисто математического рассуждения и системного рассуждения. В LLM при обсуждении эмерджентности обсуждают не "появление новых свойств из ниоткуда по мере роста размера". Нет, обсуждают новые свойства, проявляемые появляющимися в составе однородной структуры сети новых структур, полученных в ходе обучения: структур пропущенных математиками системных уровней. Грубо говоря, внутри больших LLM зарождается виртуализация, "наложенные архитектуры". Чисто математические описания, в которых легко пролетают бесконечности — они в реальной жизни не работают, их надо применять, не забывая об эпистемологии. Редукционизм популярен, как и холизм (другая крайность), но избегайте их. Системное мышление даёт способ уйти от крайностей, даёт способ преодолеть противоречие между холистическими и редукционистскими объяснениями -- так что читайте курс "Системное мышление", я его сам писал. Пререквизит там есть: курс "Моделирование и собранность", где учат отличать описания (скажем, математические модели) от моделируемых объектов (например, нейронных сеток как софта на компьютере, а не бесплотного математического объекта, влёгкую оперирующего бесконечностями).

https://ailev.livejournal.com/1725090.html

Пишу "Методологию" и пытаюсь хоть как-то отследить прогресс в AI. Неожиданно для себя опять написал 20Кзнаков про искусственный интеллект, так и работает "мышление письмом".
— Можно ли отследить прогресс в AI?
— А зачем отслеживать, что там происходит с AI?
— Karl Friston и Yann LeCun как раньше шли против течения, так и сейчас продолжают
— Причём тут методология

https://ailev.livejournal.com/1725419.html

Привожу пример работ по выращиванию искусственных мозгов:
— компьютер на мокрой нейронной сетке, который научили играть в понг (из Cortical Labs)
— компьютер на мокрой нейронной сетке, который вы можете научить что-то делать прямо в облаке ("батарейка" из Матрицы), недорого от FinalSpark
— не компьютер, но просто забавно: кусок мозга человека выращивают не в пробирке, а прямо в мозгу крысы
— безмозглые подвижные роботы, выращиваются из клеток лёгких (без изменения генома!).

Картинка — для чего нужны "мокрые мозговые компьютеры": они в миллиард раз эффективней кремниевых. The human brain is a powerhouse, boasting 86 billion neurons and using only 20 watts of power for efficient computing. Replicating this kind of efficiency with silicon would require a whopping 10 megawatts of power,

https://ailev.livejournal.com/1725624.html

Опубликовано первое изменение курса "Методология". В ходе этой девятой переписки обновлено примерно 10% от объёма курса, такими темпами можно справиться к концу июня 2024. В курс внесена онтика методологии, которая уже объяснялась в курсе "Системное мышление", замечания о методологии в распределённых представлениях, место методологии в фундаментальных методах мышления, замечания о прикладной методологии. Добавлены два задания на моделирование. Основной синоним метода/практики/культуры работы теперь -- метод. Кроме этого добавлен раздел шестой про персональное и корпоративное стратегирование (раньше это был раздел "Теория стратегирования" курса "Системный менеджмент"), но в этот раздел изменения пока не вносились, текст идентичен тому тексту, который пока оставлен и в курсе "Системный менеджмент".

Привожу один из новых фрагментов, про место методологии в интеллект-стеке (и там новые отсылки: к семантике для распределённых представлений, что важно в связи с развитием современных AI-агентов и их идеям policy и plan, а также к рациональности, что важно для отсылок к теориям принятия решений).

Картинка для пояснения сегодняшней ситуации в семантике — кроме семиотического моделирования (знаками) есть ещё и моделирование распределёнными представлениями, в том числе так моделируются и методы — как паттернирование в работах.

https://ailev.livejournal.com/1725757.html

Необработанные тексты моих комментариев в чате по AI на темы опоры в тамошней теории и практике создания успешных систем AI на физику, а не психологию и философию. В тексте много ссылок на первоисточники, и составлен он по типу "ответов на часто встречающиеся вопросы" — но там 31Кзнак, это очень длинный текст. Затронуты темы нужности или ненужности человекоподобия для систем AI, важности или неважности психологических описаний, важности опоры на теории сознания из психологии или неважности, панпсихизма, квантовой физики и квантовоподобных вычислений, теорий эволюции и гармонизации идей самых разных групп исследователей. Случайно туда попало и моё мнение про ЛеКуна против Маска, но не стал его убирать.

Там у Филдса, Левина, Ванчурина, Фристона чуть разные онтики — но ряд общих тезисов. Я постарался их как-то гармонизировать в курсе "Интеллект-стек" и ещё в "Системном мышлении". Много страниц, однако. Тут главное, что для описания агентов разного уровня используем подходы физики (ибо агенты физичны) с учётом того, что системы неэргодичны, то есть с памятью, учитываем время эволюции и всякие геномы, а не только феномы взрослых особей, многоуровневость агентов разной степени живости и интеллектуальности (шкалы, а не бинарные классификаторы) выводит эти характеристики из разряда эмерджентных (меняется степень, но не появляются на каком-то системном уровне. При этом если шкалы — то можно измерять как-то, вводить метрики), эволюцию одного вида рассмотреть нельзя, только эволюцию всех видов в целом, и т.д.

Вот это потихоньку отражаем в курсах. Дальше оказывается, что не надо делать отдельного курса промптинга: нашим студентам говорим, что общайтесь с людьми, как с сухими нейросетками, а с сухими нейросетками как с людьми, они сильно удивляются — а потом приходят, и говорят, что общаться сильно лучше стали и с людьми, и с нейросетками ))) При всей ограниченности этого подхода. Помним, что все эти "укажи роль" из руководств по промптингу — это ж мы учили этому студентов для общения с людьми ещё до того, как слово "промптинг" вообще появилось.

Поэтому я эти идеи раскапываю все, но потихоньку — и в том объёме, который нужен для работы, а не по любимой линии философов — "как я читал Ленина, что вычитал" ("как я читал Филдса, что вычитал" — хи-хи, сам заход забавен, паттерны воспроизводятся). Нет, я не столько Фидлса пересказывать лучше буду, сколько свои мысли скажу, а пересказывать Филдса лучше пусть будет сам Филдс или его соавторы — у него ж ещё и толпа соавторов, и там каждый норовит со своими мыслями, всех не перескажешь.

https://ailev.livejournal.com/1726108.html

Мои необработанные заметки по подходам к методологии построения многоуровневых интеллектуальных агентов, это замечания последней пары дней в чате гонзо-обзоров. Читать много, 22Кзнака, форматировано в виде ответов на вопросы в чате, и даже нарисована картинка с примером функциональной декомпозиции/синтеза (зависит от традиции говорения) интеллектуальных систем текущего AI-мейнстрима. Ссылаюсь там и на идеи Gielingh, ибо надо обсуждать не столько "референсную архитектуру", сколько возможность выбора разложения функций на каждом уровне — то есть какие-нибудь "диаграммы гамбургера" из GARM тут были бы более уместны, хотя и там теория таких описаний слишком строга и не натягивается на реальность.

Фишка в том, что есть две идеи:
— безмасштабные описания, то есть описание каких-то агентов в общем безмасштабном языке (это ход по большому счёту на физику и физическое моделирование)
— эмерджентность, что заставляет для каждого системного уровня формулировать свою предметную область (инженер кирпичей из силиката — это не инженер строитель зданий, инженер-строитель зданий — это не девелопер городской застройки, они все говорят на разных языках. Ну, или разработчик чипов и разработчик компьютеров на основе этих чипов — они говорят на разных языках).

https://ailev.livejournal.com/1726364.html

Два часа наговорены про фундаментальное образование для подкаста МФТИ — слушать можно на большом количестве платформ. Разгораются страсти по энергетике, надувается энергетический пузырь, энергетический алармизм соответственно, и всё это из-за AI, я даю свои комменты и привожу ссылки. В агентских архитектурах много всего интересного, например, реактивные среды на базе active inference (даю ссылки на парочку проектов, оба на Julia). Увеличиваем автобусное число планеты по пилотируемым космическим кораблям, сейчас стартует Boeing, пожелаем им удачи.

https://ailev.livejournal.com/1726491.html

Продолжаю думать (а для меня это прежде всего — писать на эти темы) о курсе "Методология систем AI", мне очень хочется, чтобы Григорий Сапунов взял, да и написал такой курс, а я бы ему помог это сделать. Вот очередной кусочек текста, очередные несколько идей и ещё немного ссылок на литературу, 30Кзнаков:
— Прикладная методология на базе фундаментальной методологии.
— Прикладная методология искусственных нейронных сетей (ANN)
— Зачем нам нужен курс прикладной методологии систем AI?
— Три шага для начала работ над курсом "Методология систем AI"?
— Новое разделение труда в инженерии: различаем архитектора, методолога, проектировщика/designer
— Кто виноват -- это понятно, а делать-то что?

https://ailev.livejournal.com/1726875.html

Обсуждаю разные метафоры, которыми можно объяснять разложение метода: шкалы, спектры, стеки, цепочки-графы-программы. В посте семь картинок, в том числе четыре картинки разложений для культурного движения: капоэйра, плавание, картинг, танцы. Никакого особо прорыва нет, так что будем думать дальше. Но объяснять про методы работы умных агентов вроде как стало проще.

https://ailev.livejournal.com/1727162.html

Ровно год назад в июне я писал раздел "9. Алгоритмика" курса "Интеллект-стек", и получилось вроде хорошо. Но вот прошёл ещё год, и я пишу себе заметку о том, что надо бы в этом разделе подправить, ибо за год много чего интересного:
— Синонимичность теории (логики), объяснений (контрфактуальной логики) и алгоритма.
— Неформальное творчество и формальная критика: неформальные и формальные алгоритмы

Эта пара пунктов занимает 25Кзнаков, там очень много всего. Тем, что читал "Интеллект-стек" будет интересно, кто не читал — ну, если разбираетесь в современной алгоритмике и хотя бы немного понимаете, чем занимается методология и операционный менеджмент, то тоже можете заинтересоваться.

https://ailev.livejournal.com/1727440.html

В предыдущем посте "Алгоритмика-2024" мы смотрели на алгоритмику, уподобляя её методологии, а тут наоборот — смотрим на методологию, уподобляя её алгоритмике. Перечисляю четыре трудности, которые делают методологию плохо воспринимаемым предметом:
1. Онтологическая путаница — между объектом и его описанием, поведением и как-то ведущим себя агентом.
2. Это не простые алгоритмы, а алгоритмы действий в реальном мире — расширение идеи универсальности машины Тьюринга как универсального преобразователя информации на идею создателя как универсального преобразователя физического мира.
3. Разложение метода представляется как код — и это засада, ибо большинство людей плохо работают с функциональным, аспектным, объект-ориентированным, акторским и тому подобным программированием. А императивно разложение метода плохо описывать, рулят декларативные описания.
4. И это происходит в условиях сверхразнообразия, когда число известных методов в какой-то предметной области — десятки тысяч. Понятно, что справиться с таким разнообразием могут сейчас только системы AI, но никак не люди. И новые методы будут генерировать AI эволюционными алгоритмами. Но надо-то справляться людям, хотя бы чтобы программировать все эти AI!

В этом месте любой человек, разбирающийся с методологией вообще и методологией прикладной предметной области говорит "Ааааа!" и хватается за голову. Много легче жить, когда просто не знаешь о всех этих трудностях.

https://ailev.livejournal.com/1727532.html

Принял решение дополнить первый раздел "Методологии" материалами по разложению в спектр, доработал картинку разложения в спектр культуры социальных танцев — и обсуждаю ещё разные аспекты связи разложения метода и разделения труда, даже поминаю CYC в связи с этим. Кстати, CYC вполне живёт, приложения его работают в 200+ госпиталях — и цитирую работу Douglas Lenat, совместную с Gary Markus, там приводится чуть больше подробностей про архитектуру CYC. Обсуждения систем AI главным образом одноуровневое, разложение методов и потом разделение труда мало обсуждается, мультиагентные архитектуры начали только-только обсуждать, и я не верю в мальтузианские расчёты "обучения одной модели за миллиард баксов, ах, электричества и чипов на планете не хватит", нужен не всеохватный ум, а множество специализированных умов и хорошая коммуникация между ними, Шмитхубер приводит идею "принципиальной схемы" для мультиагентной архитектуры в весьма общих формулировках — и делает это чуть ли не как патентную заявку оформляет. VERSES выступила с продуктом, но основных результатов надо ждать только в начале следующего года — а пока печаль, большое расстройство, "деньги есть, результатов — нет". Обсуждение Sonnet 3.5 против Opus 3 надо вести не по линии "результаты примерно одинаковы, может быть у Opus 3 лучше, хотя бенчмарки говорят иное", а по линии "зато в пять раз дешевле" — цена имеет значение! Штатно работаю на микрофоне RDM-160, но пришлось вытащить из шкафа ещё один микшер с фантомным питанием 48 вольт, теперь у меня и входной микшер, и выходной микшер, оборудование рабочего места можно только начать, закончить его нельзя.

https://ailev.livejournal.com/1727840.html

Вношу наработки последней недели в "Методологию", в частности, про описание разложения метода в стеки/шкалы, деревья, графы и программы с алгоритмами разной степени формальности (естественный язык, псевдокод, программный код). Как мы доказываем, что мы не "инфобизнес": никак, наши материалы открыты, клиенты сами разбираются. Как замеряем эффект обучения: у нас в зачёт идёт только какая-то работа по нашим методам уже после окончания учебной программы, а не в порядке выполнения учебных или экзаменационных заданий. и оценка эта встроена в учебный процесс. Основная идея по подъёму КПД обучения — это поиск ограничений на пути знаний в голову, а затем снятие этих ограничений, частая корректировка курсов. Как же мы работаем, если у меня предубеждение по поводу психологов и прочих гуманитариев, ибо мы ж должны учитывать их интересы в маркетинге, но всё просто — интересы работодателей, студентов, общества в обучении принципиально новому отсутствуют, поэтому университеты и Школа учат, исходя из собственного стратегирования, включают по полной роль культуртрегера. И всё-таки гуманитариев часто присылают к нам на курсы, а иногда они даже и сами приходят — и мы их берём не как гуманитариев или психологов, а как хороших людей, а дальше игнорируем в его личности мастерство психолога, а работаем со всем остальным — и в его личности появляется кусочек инженера. То, что большинство людей думает иначе, и гуманитарное образование процветает, я осведомлён, об этой проблеме у меня было много текстов в 2013-2016 годах, дальше это было как-то переосмыслено, и сейчас мы учим полному интеллект-стеку. Ещё один вопрос про отсутствие ответов на животрепещущие вопросы типа "трудной проблемы сознания" — так мы сознательно не отвечаем на такие вопросы, они схоластичны, не требуют ответов, как и вопрос про количество чертей на кончике иглы, не надо в такое нас втягивать. Подмена понятий у психологов обычно незаметна, галлюцинации ведь и у S1 и у LLM очень правдоподобны, в качестве примера привожу картинку "работа психолога" — но почему это не работа логика, семантика или даже инженера сельскохозяйственного машиностроения, которых всех учили распутывать клубки мыслей, но именно работа психолога, которых специально логике не учат — думайте сами.

https://ailev.livejournal.com/1728068.html

Сегодня стартует открытый поток "Системного мышления и методологии", я сам пока не планирую вести эту серию курсов, а также ожидаю нехватку преподавателей — у нас намечается много корпоративных клиентов на осень и с предложением новых открытых потоков могут быть проблемы. Новая группа пойдёт по уже переписанному курсу "Методология", я туда прямо сейчас вставляю результаты исследований, которые вёл последний месяц и публиковал в блоге. Когда чуток разобрался в методологии, становятся понятней, как говорить о текущих трендах в литературе по системам AI/AGI — и я даю несколько таких трендов сегодняшнего дня. В сентябре еду на мультиданс-фестиваль Q-fest, где проведу серию семинаров по методологии социальных танцев. Картинка — разложение культуры социальных танцев в культурный спектр.

https://ailev.livejournal.com/1728307.html

Опубликована новая версия первого раздела курса "Методология" (девятая переписка), объём текста увеличен там вдвое и добавлены новые задания. В опубликованной версии приведено множество форм представления разложения метода в спектр и других видов функциональных описаний для разных видов систем -- стеки, деревья, графы (принципиальные схемы), алгоритмические языки. Добавлен пример описания методов работы систем AI. Вот содержание первого раздела:

1. Методология как фундаментальный метод мышления
— О чём будет, и о чём не будет рассказано в курсе «Методология».
— Моделирование: онтика методологии из курса системного мышления
— Что такое методология
— Понятие метода
— Зачем изучать методологию
— Методология в интеллект-стеке
— Моделирование: выбор метода
— Метафора разложения метода в спектр, стеки методов
— Моделирование: разложение культурного движения в спектр
— Представление разложения метода деревом
— «Схемотехника»: представление метода работы графом потоков
— Виды физического системного моделирования: функциональные диаграммы есть, но вместо них может быть компьютерный код
— Задания: принципиальные схемы
— Пример: методы создания систем AI
— Представление метода работы как алгоритма: методология как алгоритмика-на-стероидах
— Задание: разложение метода вашей работы

Всего переписано 20% общего объёма курса. Курс доступен бесплатно после регистрации тут: https://aisystant.system-school.ru/lk/#/course/methodology/2024-06-28T1531/35599 (откроется на том месте, где вы его открывали в прошлый раз, если проходили старую версию, будет предложено её обновить).

Переписано уже 25% курса методологии, из "пособия по чеклистам" (хотя про чеклисты там всё остаётся) текст становится настоящей фундаментальной "Методологией", назиданием для прикладных методологов — и речь идёт не только о методах работы людей, но и вообще методах работы разных систем. Стартовала группа второго семестра — и я не успеваю писать комменты к постам в клубе по тематике системного мышления, там сейчас очень интересное чтиво. Приняли решение переименовывать "Моделирование и собранность" в "Рациональную работу" прямо с 10 июля 2024, содержание курса уже сильно поменялось, и будет меняться и дальше. Огромный тред в Gonzo-обзорах про засилье любителей индуизма, ламаизма, буддизма и прочих традиций самонаблюдения, только в AI — и увы, моей реплики про методологию систем AI там не заметили, смыло этим флудом. Регулярно хожу плясать в Сокольники, на фото один из моментов — это было вчера.

https://ailev.livejournal.com/1728663.html

Продолжаю переписывать "Методологию", готово 28%, перерисовал картинку про роли в инженерной разработке — добавил прикладного методолога. Встретил замечание в нескольких местах, что на этих днях в AI ничего не происходит, но я считаю, что это не так — и привожу 4 темы, за которыми надо следить. Обнаружил английские субтитры к своему зимнему вебинару, и подумал, что надо бы наладить машинные переводы своих постов в X и LinkedIn — и тут же раздумал.

https://ailev.livejournal.com/1728952.html

Прочёл лекцию в МФТИ по инженерным и менеджерским ролям, публикую слайды. Устаю отвечать на вопрос "как узнать, что надо перепройти в курсах": ответ простой — всё надо перепройти, нет таких "отдельных переписанных мест", переписка там была тотальной, а проходить надо прямо по порядку, курсы даже пронумерованы для удобства. Для чего нужны преподы на курсе: чтобы давать студентам справки по отсылкам вперёд, если студент делает ошибку, которая будет разъясняться через пару сотен страниц — например, в следующем курсе. Вышла статья в Nature, где говорится о том, что мышление не привязано к языку, я поясняю почему это не отменяет тезиса "не пишешь — не думаешь" (формализация для удобства поиска ошибок, разговор с самим собой, особые нотации для мышления, а ещё внешняя память). Мне прислали на выбор три аватарки для фестиваля Q-fest, и там везде я, просто фото были из разных периодов моей жизни.

https://ailev.livejournal.com/1729034.html

Как я описываю мир "естественно": как объекты, функциональный взгляд воспитуемый, причём трудновоспитуемый. Как учить несколько разных рассмотрений: ввести понятия типов, затем поставить датчик (научить читать чужие тексты, размечая типы), затем заставлять писать свои тексты, но отдавать только после того, как они проверены разметкой типов. В чате gonzo-обзоров я думал, что обсуждаются именно они — методы создания AI систем, а выяснилось, что там флуд на темы сознания, тысячи (sic!) реплик, я после того, как на это поглядел думаю, что надо как-то убирать из наших текстов термин "сознание", он порождает флуд не хуже политики — все ведь разбираются в сознании, футболе и воспитании детей. Удивлён, что люди путают универсальность алгоритма в математическом смысле (машина Тьюринга, создатель/constructor) и универсальность по эффективности из no free lunch theorem — первая универсальность обычно бесполезна, вторая недостижима, жизнь трудна. Картинка про мощь научного подхода, заодно иллюстрирует как можно подбирать условия под задачу изменения правильного ответа, если проект фантазийный — всегда можно придумать дополнительные условия, которые изменят ответ.

https://ailev.livejournal.com/1729514.html