Плюсы и минусы model-free и model-based

У каждого из двух подходов есть свои выгоды и издержки. Как и в архитектурной практике: иногда мы идём по пути быстрых экспериментов, иногда — строим сложные симуляции.

Model-free — сила простоты

➕ Плюсы:

- Простота: не нужно заранее описывать законы среды или пытаться встроить их в вычислительную модель.
- Универсальность: работает там, где сама среда настолько сложна, что её невозможно точно смоделировать.
- Лёгкость прототипирования: можно быстро запускать эксперименты и проверять идеи.

➖Минусы:

- Долгое обучение: агент учится медленно, методом множества проб и ошибок.
- Ошибки стоят дорого: агент может делать много неудачных шагов, прежде чем выработает успешную стратегию.

📌 Именно эти плюсы во многом предопределили мой выбор PPO в своём исследовании. Этот алгоритм хорошо подходит для прототипирования: можно строить среду и сразу запускать обучение, не задумываясь, как аккуратно переносить её законы в отдельную модель. Хотя минусы тоже на лицо — алгоритм может учиться многие часы.

Model-based — сила предсказаний

➕ Плюсы:

- Сложность: нужно построить модель среды, а это трудоёмко и не всегда возможно.
- Хотя существуют алгоритмы, где модель учится автоматически из данных, это тоже требует ресурсов и не гарантирует точности.
- Риск ошибок: если модель неточна, агент будет уверенно действовать «не туда».

➖Минусы:

- Сложность: нужно построить модель среды или прикрутить , а это трудоёмко и не всегда возможно.
- Риск ошибок: если модель неточна, агент будет уверенно действовать «не туда».

📐 Для архитекторов это похоже на работу с тем же Kangaroo Physics: ты можешь сразу просматривать сценарии и принимать решения осознанно, но перед этим нужно вложиться в построение модели, а ошибки симулятора могут ввести в заблуждение.

🤝Подходы можно комбинировать: использовать простоту model-free, чтобы набрать базовый опыт, и когда стабилизировалась понимание среды, то можно перейти к model-based для точности, ускорения финального обучение и улучшения планирования.

Q-learning

Q-learning — самый простой алгоритм, который можно реализовать на чистом Python без специальных библиотек. Он помогает на практике понять ключевые элементы:

state — состояние среды,

action — возможные действия агента,

transition — переходы и результат этих действий,

а также саму идею Q-таблицы, где агент хранит «ценность» действий в разных состояниях.

Мой первый эксперимент был простой задачкой вроде Пакмана: агент должен был найти оптимальный путь, где одновременно есть поощрение за сбор «вкусняшек» и штраф за слишком длинный маршрут. Постепенно агент учился находить баланс между кратчайшей дорогой и максимальными наградами.

Тут «ручками» прописывалось уравнение Беллмана, которое лежит в основе обучения с подкреплением. В нем базовая идея: ценность текущего действия зависит не только от награды сейчас, но и от ожидаемых будущих наград.

Q-learning наглядный: видишь как агент пробует разные варианты, запоминает результат и шаг за шагом улучшает стратегию.

Хореография на графе: усложнённый Q-learning

Следующим шагом я попробовал более сложную задачу — оптимизацию путей на графе. Теперь агенту нужно было управлять сразу двумя акторами — красным и синим. Они стартуют из случайных позиций (отмечены кругами) и должны прийти к выходу (центральный узел графа).

Условия задачи сделали её гораздо интереснее:

- акторы не могут находиться одновременно в одной вершине,

- разные рёбра графа приносят разные вознаграждения,

- за промедление по-прежнему полагается штраф,

- есть запретные ходы, исключающие столкновения.

Здесь среда стала на порядок сложнее.
Теперь состояние (state) описывает позиции двух акторов сразу, и пространство состояний заранее не известно. Действия тоже не ограничивается простыми «влево/вправо/вверх/вниз» — оно зависит от текущей структуры графа.

В итоге алгоритм должен был учиться находить согласованную стратегию для двух агентов одновременно, балансируя между кратчайшими путями, вознаграждениями рёбер и ограничениями на совместные ходы.

Circulation, Routing и RL в реальных задачах

Задача с двумя акторами на графе — это пример более общей категории задач circulation или routing: организация движения по неоднородной сети с ограничениями. Подобные постановки широко встречаются в транспортных системах, логистике и конечно в городском планировании.

Сегодня многие исследования применяют RL для:

- поиска и оценки оптимальных маршрутов,

- балансировки между разными целями (скорость, стоимость, безопасность),

- и конечно для оптимизации процесса принятия дизайн-решений в архитектуре и урбанистике.

RL-агенты имитирующие поведение детей для проектирования игровой среды 1/4

Некоторое время назад наткнулся на исследование c довольно необычном применение обучения с подкрепления для усиления архитектурного проектирования, в частности детской игровой среды. Исследователи из Университета Инха в Южной Кореи разработали модель игровых поведений детей с помощью агентов на основе обучения с подкреплением (RL).

А затем они изучали как такие агенты влияют на процесс проектирования архитекторов, особенно в части компромиссов между требованиями: физическое развитие, социальные взаимодействия и безопасность.

Их задача была понять как использование RL-агентов помогает архитекторам вырабатывать новые проектные цели, корректировать стратегии и оптимизировать планировочные решения.

2/4
Для этого они построили полноценную симуляцию в Unity 3D, подключив ML-Agents Toolkit и алгоритм обучения с подкреплением PPO. Внутри неё были созданы виртуальные «дети»-агенты в возрасте 3–6 лет, каждый из которых обладал параметрами физического развития (сила, скорость, моторика, координация) и социальными характеристиками (зрение, способность реагировать на других агентов, склонность к совместной игре).

Агент учился двигаться и взаимодействовать с окружением не по заранее заданным траекториям, а методом проб и ошибок, постепенно осваивая разные типы поведения. В результате в симуляции появлялись реалистичные игровые сценарии: ходьба по поверхности с разными уклонами, лазание по наклонным конструкциям, скольжение и ползание, а также социальные формы взаимодействия — от параллельной игры и имитации действий сверстников до кооперативных игр с мячом или совместного сидения и наблюдения.

3/4
Это позволило исследователям не просто воспроизводить стандартные движения, а моделировать непредсказуемые и живые реакции детей на архитектурные элементы и поведение других участников.

Затем провели эксперимент: 14 архитекторов (опытные и начинающие) решали задачу проектирования дошкольного пространства сначала традиционными методами, а затем с использованием RL-модели.

Оказалось, что эксперты после симуляции добавляли новые цели (например, стимулирование социального взаимодействия), упрощали и оптимизировали планировочные решения.

Новички же, напротив, изначально выдвигали амбициозные, но размытые идеи, а симуляция сместила их внимание на вопросы безопасности и практической организации пространства.

📖 В открытом доступе появилась книга "Architectural Intelligence in the Age of Artificial Intelligence"

1/2
Это сборник, в котором архитекторы, философы и исследователи анализируют, как ИИ влияет на дисциплину. Структура книги построена в четыре части. В первой формулируются различия между человеческим и машинным интеллектом: от философских размышлений о креативности (Дитер Мерш, Кристиан Георг Мартин) до анализа того, как физическое присутствие делает человеческое мышление уникальным. Во второй части — интервью: историк Марио Карпо сравнивает работу ИИ с классической традицией копирования, а художник Филипп Шаэрер показывает, что без идеи и концепции автора алгоритмы остаются пустыми инструментами.

2/2
Третья и четвертая части объединяют практиков и педагогов. Здесь — опыт внедрения AI-Unit в бюро Penzel Valier, позиция архитекторов Zaha Hadid Architects о потенциале и ограничениях генеративного ИИ, а также критика цифровых «теневых городов» и проблема «данных-колоний».

Отдельный блок посвящён образованию: от экспериментов в студиях с «креативной странностью» ИИ до концепта «Codeless Studio». Авторы показывают не только возможности, но и риски — от упрощения архитектурной практики до угрозы утраты человеческого измерения.

В итоге книга становится инструментом для выработки критической позиции: использовать ИИ как расширение архитектурного воображения, а не замену.

Автоматизация поиска искусственной жизни с помощью фундаментальных моделей.

1/4
Любителям эмерджентности, возникающей из генеративных алгоритмов, невозможно пройти мимо этого свежего исследования ASAL (Automating the Search for Artificial Life with Foundation Models), выполненного совместно исследователями из MIT, Sakana AI, IDSIA и OpenAI. Цель работы — избавиться от ручного подбора правил и параметров и переложить задачу поиска «жизнеподобных» симуляций на фундаментальные модели.

Вместо того чтобы вручную исследовать миры вроде Boids, Particle Life, Game of Life, Lenia или нейронных клеточных автоматов (расширенной версии «Игры в жизнь», где правила обновления обучаются нейросетью), ASAL автоматически перебирает параметры и начальные условия этих систем: коэффициенты взаимодействия, правила рождения и смерти клеток, силу притяжения и отталкивания агентов, расположение и плотность исходных конфигураций.

2/4
Каждое сгенерированное поведение затем оценивается фундаментальными визуально-языковыми моделями, которые способны распознать и охарактеризовать динамику — «это напоминает клетку», «это стая», «здесь заметна открытая динамика».

Что такое фундаментальные модели?

Фундаментальные модели (foundation models) — это крупные универсальные модели, обученные на огромных массивах данных и способные решать множество задач без отдельного переобучения. Они не «заточены» под одну узкую область, а выступают как общие платформы — например, языковые модели (LLM) или визуально-языковые модели (vision-language FM), которые понимают и текст, и изображение.

В ASAL именно такие модели — визуально-языковая CLIP и визуальная DINOv2 — позволяют системе «смотреть» на симуляции, описывать их словами и соотносить с представлениями о «жизни» или «эмерджентных паттернах».

3/4
Что получилось?

ASAL реализует три ключевых метода поиска интересных симуляций:

• Целевой поиск по текстовому описанию. Система варьирует правила и начальные условия генеративных миров и находит конфигурации, чьи визуальные состояния максимально совпадают с заданным текстовым запросом.

• Поиск систем, открытых к новизне. Исследователи ввели метрику новизны, основанную на фундаментальной модели, которая оценивает, насколько эволюция мира способна порождать новые формы и оставаться «занимательной» для человеческого наблюдателя.

• Иллюминация — создание атласа разнообразия. Генерация наборов симуляций с максимально различающимися паттернами, включая новые клеткоподобные и бактериальные структуры в Lenia и необычные стаи в Boids (например, змейка, кольцевание и другие экзотические формы).

4/4
В итоге.

Важно, что система не просто классифицирует наблюдаемые феномены, а количественно измеряет свойства открытости и разнообразия — то, что раньше оставалось в области субъективной оценки. Благодаря этому исследователи могут глубже понять, почему и как различные конфигурации приводят к появлению определённых форм поведения. А на 2D атласы из кластеризованных результатов, как на видео, можно наблюдать очень долго ища в них закономерности и градиенты свойств.

Подход ASAL открывает возможность превратить поиск искусственной жизни из трудоёмкого и часто случайного процесса в систематическую и масштабируемую процедуру. Его можно расширять на новые среды и применять для исследований сложных систем, искусственной эволюции и биологических аналогий.