Telegram Web Link
Какой вывод? HR превосходит RH.

Exploring Influence Factors on LLM Suitability for No-Code Development of End User IoT Applications https://arxiv.org/abs/2505.04710

Исследование факторов влияния на пригодность больших языковых моделей (LLM) для бескодовой разработки приложений Интернета вещей (IoT) конечными пользователями
Какой-то просто бум “интернета вещей” - кажется, что тема с созданием умных вещей, позволит перезапустить целые индустриальные отрасли - умные ручки, умные микроволновки, умные игрушки - но возникает вопрос, как с программированием умных устройств будут справлятся пользователи непрограммисты?
Такие платформы всё ещё требуют определённого уровня технических знаний для структурирования процессов или определения отношений «событие-действие»

Давали популярным ЛЛМ задание написать код для умного дома - выключи свет, закрой комнату, открой или закрой. Проблема вот в чем - качество кода, удобство, число итераций разное. Промты писали и на английском и на китайском.


UX-aware Rate Allocation for Real-Time Media https://arxiv.org/abs/2505.04114
Модель пользовательского опыта (UX) в статье основана на потоковой передаче видео в реальном времени для сервисов расширенной реальности (XR) с жесткими требованиями к задержке. Она включает два основных аспекта качества: временное качество, определяемое плавностью воспроизведения видео и измеряемое метриками, такими как максимальная длительность остановки (MSD) и частота остановок, и пространственное качество, описывающее ухудшение изображения из-за сложности сцены и артефактов… вообще эта статья пример традиционного смешения качества опыта пользователя - Quality Experience и собственно UX.
Словарь юного HCI. Список Фиттса.

Список и термин, который встречается в статьях и публикациях все чаще и привлекает все больше внимания, особенно в связи с ростом ЛЛМ: Фиттс, тот самый, который открыл закон Фиттса и сделал большой вклад в авиационную психологию. Список призван быть эвристикой для автоматизации - в первую очередь, речь идет об аллокации функций систем
Список, иногда называемый HABA-MABA («Люди лучше в этом, машины лучше в том»), состоит из 11 утверждений, описывающих, в каких задачах превосходят люди, а в каких — машины, чтобы оптимизировать производительность системы. Оригинальный список Фиттса на картинке из Human Engineering for an Effective Air Navigation and Traffic Control System, National Academy of Sciences, Washington, D.C., 1951.

Люди превосходят машины в следующем:
Обнаружение
Восприятие
Суждение
Индукция
Импровизация
Долговременная память
Способность обнаруживать небольшие количества визуальной или акустической энергии.
Способность воспринимать образцы света или звука.
Способность импровизировать и использовать гибкие процедуры.
Способность хранить очень большие объёмы информации в течение длительного времени и вспоминать нужные факты в подходящий момент.
Способность рассуждать индуктивно.
Способность выносить суждения.

Машины превосходят людей в следующем:
Скорость
Мощность
Вычисления
Повторение
Одновременные операции
Кратковременная память
Способность быстро реагировать на управляющие сигналы и применять большую силу плавно и точно.
Способность выполнять повторяющиеся, рутинные задачи.
Способность кратковременно хранить информацию, а затем полностью её стирать.
Способность дедуктивно рассуждать, включая вычислительные способности.
Способность выполнять сложные операции, то есть делать много разных вещей одновременно.


Сильные стороны человека: Люди лучше справляются с задачами, требующими творчества, импровизации, суждений, восприятия и адаптации к неожиданным ситуациям. Например, люди превосходят в распознавании образов в сложных или неоднозначных контекстах и принятии решений в условиях неопределенности. А вот ЛЛМ уже могут справляться с некоторыми задачами памяти, суждения, индукции
Сильные стороны машин: Машины лучше подходят для повторяющихся задач, точных вычислений, обработки больших объемов данных, работы в опасных условиях (например, при экстремальных температурах) и выполнения задач с высокой скоростью и стабильностью.

Скорее всего распознание образов уже скоро перейдет от человека к машине, да и вообще список Фиттса будет пересмотрен, но, полагаю, что совсем не фундаментальным образом.
Итальянское Возрождение, театр памяти и HCI

В XVI веке мало кто мог сравняться известностью с Джулио Камилло (его полное имя – Джулио Камилло Дельминио). Он был из тех, за кем современники с благоговением признавали необъятные возможности. О его Театре говорили не только во всей Италии, но и во Франции; прямо-таки мистическая его слава, казалось, растет год от года. Но что же он собой представлял? Деревянный Театр, населенный различными образами, самим Камилло был представлен в Венеции одному из корреспондентов Эразма Роттердамского; чуть позже нечто подобное предстало перед глазами парижан. Тайну этого строения назначено было узнать только одному человеку во всем мире – королю Франции. Неудивительно, что последующие поколения забыли того, кого современники именовали "божественный Камилло". В XVIII веке о нем еще вспоминали, но уже, скорее, свысока, а позже его имя и вовсе исчезло, и только совсем недавно некоторые исследователи вновь заговорили о Джулио Камилло.

Этими строками начинается книга оксфордского историка Френсиса Йейтса “Искусство памяти” о мнемотехнике и практиках эпохи Ренессанса. https://psylib.org.ua/books/yates02/txt06.htm

Можно ли рассматривать театр памяти Джулио Камилло как предшественника современных интерфейсов взаимодействия человека с компьютером? Это предположение может показаться на первый взгляд натянутым, поскольку цифровые технологии и искусство памяти эпохи Возрождения, кажется, принадлежат к совершенно разным мирам. Однако, если рассмотреть их с точки зрения медиаархеологии, можно обнаружить удивительные параллели. Театр Камилло, описанный в его посмертно опубликованной книге L’idea del theatro (1550), был задуман как инструмент для организации и доступа к универсальному знанию посредством пространственной структуры, которая вовлекала зрителя в активное взаимодействие с информацией. Эта концепция имеет поразительное сходство с современными интерфейсами, которые стремятся облегчить доступ к данным через интерактивные и иммерсивные среды.

Итак, о чем речь?
Джулио Камилло (ок. 1480–1544) был итальянским ученым и философом, чья работа находилась на стыке неоплатонизма, герметизма и риторики. Его L’idea del theatro описывает воображаемый деревянный амфитеатр, предназначенный для хранения и систематизации всего человеческого знания. Этот театр не был традиционной сценой для представлений, а скорее мнемонической машиной, которая позволяла пользователю (или зрителю) вызывать информацию, физически перемещаясь по структуре, организованной в соответствии с космологическими и символическими принципами.

Современники
От театра Камилло ничего не осталось, хотя, как сообщается, он «завершил» его первую версию во время пребывания в вилле Себастьяно Саури близ Генуи в 1525 году. Даже отчёты современников о нём — его собственные и тех немногих посетителей, которым было позволено его увидеть, — остаются на удивление расплывчатыми. Если он действительно уже завершил проект, почему он провёл остаток своей жизни в поисках покровителей для его финансирования? Убедив Франциска I выделить ему щедрую сумму в 500 дукатов, Камилло часто объяснял свою секретность относительно внутреннего устройства театра тем, что король предоставил поддержку при условии, что Камилло не будет говорить о проекте никому другому. Это заявление усиливало ауру таинственности среди его почитателей, которые даже называли его «божественным», но вызывало скептицизм у других. На стороне Камилло твёрдо стояли такие художники, как Тициан и Франческо Сальвиати, которые должны были внести свой вклад в создание картин для театра, тогда как учёные разделились в своих оценках. Например, Жан Кальвин симпатизировали Камилло; Паоло Джовио, Этьен Доле и другие считали его «шарлатаном и притворщиком». Соответственно, они выражали подозрения, что соглашение Камилло с королём было «аферой». Эразм, поначалу дружелюбно относившийся к Камилло, позже стал относиться к нему с осторожностью, когда понял, что Камилло выступает против его Ciceronianus.
Искусство памяти
С зарождением в Древней Греции учение о риторике в эллинистический период было разделено на пять категорий, или канонов: inventio, dispositio, elocutio или pronuntiatio, memoria и actio. Знание этих канонов стало обязательным для каждого студента как основная часть trivium, нижнего раздела septem artes liberales. Стандартными книгами, через которые это преподавалось, были De Oratore Цицерона, псевдо-цицероновская Rhetorica ad Herennium и Institutionis Oratoriae Квинтилиана. Все три начинают объяснение «искусства памяти» с легенды о греческом лирике Симониде, который, предположительно, был единственным выжившим на банкете в дворце, рухнувшем; он смог опознать тела, потому что помнил, кто где находился. Современные отчёты о театре Камилло содержат некоторые намёки на то, что он функционировал как такой дворец памяти.

Театр
На титульной странице L’idea del theatro изображена символическая схема, которая намекает на эту структуру, хотя сам театр никогда не был полностью построен. Реконструкция, предложенная Лу Бери Веннекер в 1970 году, дает представление о том, как могла выглядеть эта мнемоническая машина. Театр Камилло был попыткой воплотить неоплатоническую идею о том, что человеческий разум может отражать божественный порядок вселенной, систематизируя знание в пространственной форме.
Театр Камилло состоял из семи ярусов, каждый из которых был связан с одной из семи планет классической астрологии (Солнце, Луна, Меркурий, Венера, Марс, Юпитер, Сатурн). Эти ярусы были разделены на семь секций, представляющих различные категории знания, такие как мифология, философия, религия и естественные науки. Каждая секция содержала образы, символы и тексты, которые служили мнемоническими подсказками. Пользователь, стоя в центре театра, мог "читать" эти образы, двигаясь по структуре, чтобы восстановить связи между различными областями знания. Таким образом, театр был не только хранилищем информации, но и интерактивным интерфейсом, который требовал активного участия для создания смысла. Итак, круг из семи ярусов для зрителей, каждый из которых, в свою очередь, разделён на семь секций и на каждом из этих 49 мест размещены изображения. В этом отношении театр соответствует требованиям римского искусства памяти (ars memoriae), которое основано на принципе loci et imagines — то есть размещении изображений в хорошо структурированном здании как напоминаний о вещах, которые нужно запомнить.

Интерфейсы и проекты XX века
В 1980ые годы медиа-художник Роберт Эдгар смог реализовать свой Memory Theatre One, интерактивную 3D-компьютерную программу, выпущенную на компьютере Apple II и запрограммированную на GraForth, с «Koala Pad», ранним предшественником сенсорного экрана, в качестве управляющего устройства . Это была самая первая попытка реализовать с помощью цифровых средств то, что Камилло оставил будущему для исследования.Эдгар и его коллеги являются предвестниками новой, ориентированной на познание парадигмы HCI, которая стала доступной с Apple Macintosh в 1984 году и Microsoft Windows в 1985 году. Эта новая парадигма HCI следовала когнитивно-психологической модели, которая была «организована вокруг центральной метафоры разума и компьютера как симметричных, связанных процессоров информации». Вместо общения с машиной через набранные команды, которые должны были следовать её алгоритмической структуре, пользователь теперь имел под рукой иконки, которые были интуитивно понятны и, таким образом, функционировали как «пограничные объекты» между загадочными операциями компьютера и способами восприятия и мышления пользователя. Анимированные иконки выполняют роль мнемонических loci, хотя и с меньшей «энергией» по сравнению с эмблемами Камилло.

https://www.narrabase.net/Robert_Edgar.html
Театр Памяти
Проблемы производительности труда. Кейсы с ИИ от IBM от Wall Street Journal

Генеральный директор IBM Арвинд Кришна заявил, что технологический гигант использовал искусственный интеллект, и в частности ИИ-агентов, чтобы заменить работу нескольких сотен сотрудников отдела кадров. В результате компания наняла больше программистов и специалистов по продажам.
https://www.wsj.com/articles/ibm-ceo-says-ai-has-replaced-hundreds-of-workers-but-created-new-programming-sales-jobs-54ea6b58

«Хотя мы проделали огромную работу внутри IBM по использованию ИИ и автоматизации в определённых корпоративных процессах, общее количество сотрудников у нас фактически увеличилось, потому что это позволяет инвестировать больше в другие области», — сказал Кришна.

Экономические исследования?
Некоторые работники в ЕС отметили небольшой рост производительности, в то время как другие обнаружили, что у них появилась новая работа, что частично нивелировало небольшие улучшения производительности. https://arstechnica.com/ai/2025/05/time-saved-by-ai-offset-by-new-work-created-study-suggests/
В своей статье «Большие языковые модели, незначительное влияние на рынок труда» экономисты Андерс Хумлум и Эмили Вестергаард сосредоточились на влиянии чат-ботов с искусственным интеллектом на 11 профессий, часто считающихся уязвимыми для автоматизации, включая бухгалтеров, разработчиков программного обеспечения и специалистов по поддержке клиентов. Их анализ охватывал данные о 25 000 работников и 7 000 рабочих мест в Дании.

Несмотря на широкое распространение этих инструментов, часто поощряемое работодателями, исследование пришло к выводу, что «чат-боты с ИИ не оказали значительного влияния на заработки или зарегистрированные рабочие часы в любой из профессий» за изучаемый период. Доверительные интервалы в их статистическом анализе исключили средние эффекты, превышающие 1 процент.
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5219933
«Принятие этих чат-ботов происходило поразительно быстро», — рассказал Хумлум изданию The Register о исследовании. «Большинство работников в уязвимых профессиях теперь используют эти чат-боты... Но когда мы смотрим на экономические результаты, это действительно не изменило ситуацию».

Теперь генеральный директор IBM говорит нечто похожее. Кажется, чтобы измерить внедрение ИИ-агентов нам нужны другие метрики, отличающиеся от традиционной производительности труда - например, поиск новых решений, уменьшение времени на поиск данных, метрик креативности?
Nintendo Block Crater, 1969 год
Одна из ранних игрушек Нинтендо, игровая механика прыжков над кратерами для созданной в конструкторе модели
Мельников Л. Особенности художественно-образного построения светоколористических динамических программ — № 10 1970

Вообще в СССР сильно развивалась рациональная окраска, часто в работах по эргономике диспетчерских пультов и операторских описывается важность именно цветового и светового окружения. Автор из института медико-биологических проблем показывал практики использования цветов для создания программы восприятия цветов. Грубо говоря, создается эмоциональная программа, она при помощи экранов изменяется и создает динамику.

В качестве примеров таких динамически освещаемых комнат указывают разные помещения социальнй изоляции (пилоты? подводники? космонавты? Последнее особенно актуально учитывая академическую афеляцию автора, проект Сириус по изоляции)
Квантовый фандом: знание и власть в контексте контркультуры

Несколько дней назад мне выпала удача присутствовать на историко-методологическом семинаре в стенах института математики Стеклова при РАН: что само по себе является в известной степени междисциплинарным вызовом. Речь шла о природе создания независимых научных организаций в истории математики и математической физики в стиле фандома комиксов и научной фантастики в 1950ые годы, а также способах институлизации квантовой эзотерики, существовавшей в виде различных кружков - не только Eranos, но и религиозные организации кибернетиков.

https://www.mathnet.ru/php/seminars.phtml?presentid=46401&option_lang=rus

Автор - Антон Русинов - интересен и тем, что весьма точно отмечал влияние Венского кружка в лице Нейрата на развитие и становление научных практик первой половины XX века. С чем-то я не согласен, о чем-то эта лекция заставляет задуматься, например, вдумчивый читатель с жилкой методолога может вспомнить «невидимый колледж»

Подобные мысли можно встретить и у Гастона Башляра, кстати.
https://www.tg-me.com/hyperhistory - рекомендую и канал автора
Cognitive Task Analysis: часть VI. Эксперты

Основной методов когнитивного анализа задач является выделение экспертов и манипуляций со знаниями экспертов в доменной области. Обычно это военные, пожарные, пилоты с большим опытом работы - но это могут быть и тиктокеры (На вскидку - продавцы тряпок в сторис, менеджеры звезд, шипперы- эксперты по созданию псевдолюбовных отношений, типа шипперить, специалисты по накрутке ботов, танцоры, жители тикток-хаусов, липсинкеры и т.д.) и, что гораздо мне ближе корпоративный сектор. С одним и тем же интерфейсом бизнес-процесса могут работать специалисты в области управления проектами (акцент на времени и ресурсах), продуктовые менеджеры (акцент на координации с юзер-сторями), скрам и канбан мастера, системные администраторы, разные виды аналитиков (фокус на документацию и на движение задачи), архитекторы(координация систем)

Как методологический подход, CTA ориентирован на три фазы исследования: 1. выявление знаний; 2. анализ данных и 3. создание таблиц требований. На практике эти три компонента можно понимать как: 1. интервьюирование или наблюдение за экспертом для разбиения шагов, необходимых для выполнения конкретной сложной задачи; 2.выявление и извлечение когнитивных процессов, применяемых экспертом во время выполнения задачи; 3. анализ и картирование требований к знаниям, сигналов, стратегий и навыков, используемых экспертом во время выполнения задачи. Что это значит? Эксперт обладает уникальными знаниями относительно того, что пошло не так. Офицер понимает, что отряд попал в засаду по приметам, водитель с большим опытом понимает, что автомобиль ведет себя странно и надо остановится, менеджер с большим опытом понимает, что разработка не успеет к дедлайну и будут проблемы с заказчиком. Надо выявить лучшие практики, описать их, занести в продукт или в процесс обучения - и метрики вздрогнут.

CTA был разработан для выявления когнитивных процессов в сложных и крайне неопределенных средах задач, в которых контекстные требования делают принятие решений особенно трудным. Мы определяем сложный контекст как тот, который характеризуется высокой степенью неопределенности, в котором цели плохо структурированы и/или плохо определены, и где требуется принятие решений в реальном времени и многозадачность, и где необходимы значительные знания, опыт и навыки для управления и сдерживания конкурирующих или взаимозависимых требований и целей. CTA также становится все более актуальным для понимания когниции в более традиционных управленческих контекстах.

Так кто такие эти эксперты?

В простых терминах эксперт может быть определен как индивид, который «выделяется по скорости, точности и автоматичности выполнения», но ситуация несколько сложнее. Откроем статью How Can Expertise be Defined? от Robert R. Hoffman

В когнитивной психологии экспериментальное изучение экспертизы предполагает использование концепций и методов из различных областей, таких как решение проблем, обучение и эргономика. В некоторых областях существуют «золотые стандарты» — документация, полностью охватывающая знания в данной области, — или старшие эксперты, которые устанавливают стандарты и процедуры, используемые другими практиками. В некоторых проектах экспертных систем кандидаты на роль экспертов выбирались на основе простого субъективного опросника об их опыте. В определенных областях профессиональная лицензия служила достаточным критерием для идентификации экспертов. В других случаях психологи полагались на «продвинутых юзеры» в конкретной области. Например, в исследовании классификации динозавров «экспертами» были дети — увлеченные любители динозавров, чьи знания демонстрировали некоторые черты экспертизы, такие как глубина понимания, проявляющаяся в их дифференциальной классификации хищников и травоядных. (Я так понимаю, что детям предлагали заполнить опросник с динозаврами)

Проблема в том, что мнения экспертов могут фундаментально различаться, особенно по серьезным проблемам. Если «эксперты» являются экспертами, почему они расходятся во мнениях?
2025/06/30 06:59:10
Back to Top
HTML Embed Code: