а) Развитие
С точки зрения развития, экспертиза не то же самое, что интеллект. Традиционные тесты интеллекта предназначены для оценки и прогнозирования производительности в определенном контексте — школах. Конкретный эксперт может обладать низким общим интеллектом или низкими способностями вне своей области экспертизы. Сеси и Лайкер (1986) изучали общий интеллект экспертов-«гандикаперов» — людей, которые очень хорошо предсказывают итоговые коэффициенты на скачках. В эксперименте эксперты прогнозировали коэффициенты для серии гипотетических скачек, основанных на архивных данных, чтобы охватить диапазоны соответствующих переменных, таких как скорость лошадей и цены клиринга. Результаты показали, что рассуждения гандикаперов сложны, но не коррелируют с общим IQ — они используют навыки, которые, по-видимому, в значительной степени или полностью отличаются от тех, что измеряют стандартные тесты интеллекта.
Развитие экспертизы предполагает прогрессию от поверхностного и буквального понимания проблем (качественный признак познания новичков) к артикулированному, концептуальному и принципиальному пониманию (качественный признак познания экспертов). Накопление навыков на основе опыта и практики является ключевым фактором, а не процессы созревания или время само по себе. Вкратце, суждения становятся «интуициями», поскольку человек может быстро и без усилий ассоциировать опыты, принимать решения или выполнять действия.

б) Знания
Знания экспертов отличаются от знаний новичков не только по объему, но и по организации. Концепции взаимосвязаны значимым образом, а воспоминания организованы по концепциям, контексту и содержанию). Эксперты также опираются на концептуальные категории, которые являются принципиальными (или более «абстрактными»), и они знают, что концептуально разные типы проблем могут проявляться одинаковыми признаками. Гроен и Патель (1988) просили экспертных медицинских диагностов и студентов-медиков читать и воспроизводить описания клинических случаев. Результаты показали, что эксперты склонны запоминать не дословные случаи, а их «суть» или смысл, включая собственные выводы. Это явление имеет аналогию в нормальной памяти о коротких историях (Бартлетт, 1932). Многочисленные недавние исследования памяти экспертов показали этот эффект, а также то, что эксперты в различных областях лучше способны реорганизовать и осмыслить перемешанную информацию. Часть знаний экспертов представлена в виде «ментальных моделей» — динамических, основанных на концепциях образных представлений сущностей, событий, свойств и отношений. Трансформации или изменения в ментальной модели отражают причинно-следственные или принципиальные отношения между моделируемыми объектами или событиями.

в) Рассуждения
Эксперты очень искусны в своих обычных или знакомых задачах. Результаты ряда исследований по решению задач физики показали, что эксперты и новички рассуждают по-разному. То есть основные операции или стратегии рассуждения применяются в разном порядке и с разным акцентом. На начальных этапах решения задач эксперты тратят пропорционально больше времени, чем новички, на формирование концептуального понимания проблемы. Более того, как я указал, эксперты создают представления, которые концептуально богаче и организованнее, чем у новичков. Новички склонны использовать поспешно сформированные «конкретные» (то есть поверхностные) представления проблем, тогда как эксперты используют «абстрактные» представления, которые опираются на «глубокие знания», то есть образное и концептуальное понимание функциональных отношений и физических принципов, связывающих концепции

г) Истории
Эксперты часто ссылаются на иллюстративные или прототипические примеры прошлых случаев, когда их просят обосновать или объяснить свои решения или действия. Им нравится «рассказывать истории». Иногда кажется, что большая часть знаний эксперта хранится в виде ранее встреченных случаев. Поэтому разработчикам экспертных систем удалось извлечь знания экспертов, представляя им специально подготовленные «тестовые случаи»

д) Неявные знания
Одна из потенциальных проблем идентификации экспертов связана с основной природой знаний и навыков: когда навык (например, чтение, езда на велосипеде) высоко отработан, знания, которые изначально преподавались явно, становятся неявными или «автоматическими». Это приводит к потенциальному парадоксу: по мере того как эксперты узнают больше, они теряют осознание того, что знают, и знания, которые им нужно показать, чтобы доказать, что они эксперты (или чтобы построить экспертную систему), — это именно те знания, которые эксперт наименее способен описать или обсудить!

CTA принимает во внимание множество уровней экспертизы - проблемы разных знаний, памяти, ментальных моделей - в первую очередь это набор когнитивный свойств, которые раскрываются в контексте задачи, которая стоит перед исследователем

Советский UX: Проект Старт и транспортные системы

В СССР мнемосхемы для проектирования общественного транспорта появляются во второй половине 1970ых: в эти годы советские проектировщики впервые сталкиваются с ростом автомобилей на руках у населения и городских улицах. Запланированная в 1973 году система “Старт” должна была стать решением этой проблемы. Впервые для представления операторам информации о состоянии системы предусмотрена установка мнемосхемы дорожно-транспортной сети, видеоконтрольные устройства (ВКУ) системы телевизионного обзора улиц и перекрестков, знакогенерирующие электронно-лучевые индикаторы (дисплеи), устройства диспетчерской связи. Для ВНИИТЭ проект “Старт” был в большей степени экспериментальным пилотным проектом под руководством Венды, автора мнемосхем для ТЭЦ и одного из лидеров эргономики в те годы. Любопытным аспектом использование этих мнемосхем стало использование телевизионных инструментов.

В комплекс органов управления и командных средств, предусмотренных на рабочем месте каждого оператора, входят телефонный коммутатор на 40 номеров, пульт управления, включающий панели управления телевизионными каналами и дисплеем, а также панель связи с управляющим вычислительным комплексом (УВК) системы. Посредством панели связи с УВК оператор может изменять длительность и соотношение светофорных тактов на отдельных перекрестках, менять программу автоматического управления перекрестками района или переводить их на местное управление, управлять специальными оперативными указателями, сменными знаками, визуальными дорожными знаками.

Предполагалось, что операторы диспетчерских узлов обладают большими полномочиями при управлением транспортом. Как описывают авторы ВНИИТЭ: “Работа операторов организована таким образом, что каждый из них имеет возможность управлять светофорами и сменными знаками на любом перекрестке или контролируемом пункте своего района, любым из 24 телевизионных ВКУ системы обзора, через телефонный коммутатор он может связаться с местными постами. В свою очередь, каждый ответственный дежурный может включить видеомагнитофон, просмотреть изображение любого телевизионного канала и связаться через коммутатор с операторами или местными постами.”

Основным источником общей информации о работе системы является мнемосхема дорожно-транспортной сети района, на которой представлены вызывные номера перекрестков и световые сигналы об их состоянии (затор движения — красный сигнал, отказ автоматики — желтый, перевод на местное управление — зеленый). При поступлении сигнала о возникновении непредвиденной ситуации (затор, сбой в работе автоматики) на мнемосхеме загорается соответствующий мигающий световой сигнал. После нажатия на пульте клавиши квитирования сигнал отключается от пульсирующего напряжения и переводится в режим постоянного свечения. С наиболее важных и загруженных перекрестков, которые условно отнесены к объектам первого ранга, на мнемосхему через УВК поступают сигналы о заторе движения, неисправности автоматического оборудования, переводе на местное управление. С объектов второго ранга — перекрестков, не связанных с УВК, местных пунктов управления реверсивной полосой, указателями и знаками, пунктов контроля негабаритного груза — передаются сигналы только о неисправности оборудования автоматического управления.

На панели управления осуществляются индикация номера выбранного телевизионного канала и сигнализация о его состоянии: «сеть» — подключен к внешней электрической сети; «дежурный режим» — канал готов к работе; «канал занят» — выбран другим оператором. Для получения телевизионной информации с интересующего перекрестка оператор должен набрать номер группы перекрестков клавишами «выбор группы», затем нажать соответствующую клавишу «выбор телекамеры».
В отличие от многих других проектов ВНИИТЭ проект Старт был в итоге реализован и просуществовал аж до 2010ых годов. 12 октября 1983 года был создан Центр телеавтоматического управления движением транспорта г. Москвы– подразделение, обеспечивающее внедрение, эксплуатацию и последующее развитие системы «Старт». Есть даже юбилейная запись на сайте московского подразделения транспорта https://transport.mos.ru/mostrans/all_news/17187

Web3, the Metaverse, and the Lack of Useful Innovation

Статья старого периода хайпа вокруг метаверса обращает наше внимание на изменение природы инноваций и открытий на конкретных рынках США. Наиболее интересный здесь отрывок о природе знания в последние годы и, внезапно, идея междисциплинарных исследований как источник для типа инноваций. Это, конечно, звучит актуально для ситуации бума больших языковых моделей

https://americanaffairsjournal.org/2022/11/web3-the-metaverse-and-the-lack-of-useful-innovation/

Изменения в фундаментальных и прикладных исследованиях

Хотя венчурные капиталисты отчасти виноваты, система фундаментальных и прикладных исследований в Америке также претерпела значительные изменения с первых лет успеха Кремниевой долины, что, вероятно, привело к появлению меньшего числа подлинных научно-обоснованных возможностей для коммерциализации. Кремниевая долина получила своё название благодаря полупроводникам на основе кремния — одному из видов научно-обоснованных технологий, которые обеспечили значительную часть инноваций Америки во второй половине двадцатого века. Другие важные технологии, возникшие в результате научных исследований середины двадцатого века, включают полимеры (например, пластмассы), ядерную энергию, лазеры, реактивные двигатели, радары, светодиоды и стекловолокно, многие из которых принесли своим разработчикам Нобелевские премии.

Самое значительное изменение с той эпохи — это сокращение фундаментальных и прикладных исследований в компаниях. До 1970-х годов большая часть таких исследований проводилась в корпоративных лабораториях, таких как Bell Labs, RCA и DuPont, что привело как к Нобелевским премиям, так и к реальным продуктам и услугам, таким как транзисторы, интегральные схемы, пластмассы и радары. Эта доминирующая роль начала меняться в 1960-х годах по многим причинам, одной из которых стало увеличение финансирования университетов. Рост финансирования привёл к тому, что количество ежегодно присуждаемых докторских степеней в США увеличилось более чем в восемь раз с 1950 года. В некоторых социальных кругах теперь считается гораздо престижнее работать в университете, чем в корпоративной лаборатории. Университеты готовят аспирантов для работы в академической среде, а не в коммерческой. Они учатся проводить обзоры литературы и писать статьи, в то время как коммерциализация продуктов в значительной степени игнорируется. Университеты гордятся своими аспирантами, которые становятся профессорами; корпоративные исследования считаются второсортными.

Однако превращение высшего образования в основной центр фундаментальных и прикладных исследований, а значит, и главный источник новых идей для коммерциализации, связано с множеством проблем. Во-первых, слишком много внимания уделяется публикации статей и недостаточно — разработке новых технологий до той стадии, когда компании могут их коммерциализировать. Существует даже слишком много статей, чтобы исследователи могли их читать, из-за чего количество публикаций или сомнительные индексы, такие как h-индекс, становятся практически бесполезными. Подсчёт количества публикаций или вычисление h-индекса создали среду, где приоритет отдаётся количеству, а не качеству, и статус автора часто определяет результат. Статьи с более чем сотней авторов — не редкость. По некоторым оценкам, половина всех рецензируемых статей не читается никем, кроме автора, редактора журнала и рецензентов.

Эта культура «публикуй или умри также побуждает исследователей манипулировать системой, что подрывает полезность подсчёта публикаций и цитирований. Это пример закона Гудхарта: «Когда мера становится целью, она перестаёт быть хорошей мерой». Для науки и исследований, проводимых в университетах, список публикаций определяет каждое назначение, заявку на грант, продвижение по службе и пересмотр зарплаты, и тысячи современных профессоров имеют гораздо более высокие h-индексы, чем Альберт Эйнштейн или Ричард Фейнман.

Аналогичный процесс рутинизации преобразовал другие части научного ландшафта. Заявки на гранты стали более строго структурированными, сложными и полными преувеличений, как и запросы на исследовательское время в крупных обсерваториях или национальных лабораториях. Любая работа с человеческими субъектами или отправка инструментов в космос связана с огромным количеством бумажной работы. В целом, объём бумажной работы, которую должны выполнять университетские исследователи, значительно увеличился. Эти тенденции к профессионализации являются почти неизбежным следствием взрывного роста современной науки. Стандартизация упрощает управление большим количеством статей, заявок и людей. Но много непродуктивных усилий уходит на преодоление бюрократических барьеров, и посторонним приходится сталкиваться с препятствиями на каждом шагу. Неудивительно, что наука и инновации замедлились.

Один учёный в журнале Nature утверждал, что учёным следует публиковать меньше, иначе хорошие исследования будут поглощены постоянно растущим объёмом низкокачественной работы. Недавнее исследование показало, что большее количество статей препятствует появлению новых идей. Ещё одна проблема в том, что научные лидеры всё чаще признают, что значительная часть опубликованных исследований ненадёжна почти во всех областях, включая исследования рака, но статьи, которые не проходят проверку на воспроизводимость, часто цитируются больше, чем те, что проходят, потому что они делают более смелые заявления. За этой ненадёжностью стоит разрушительный цикл обратной связи между производством низкокачественной науки, обязанностью цитировать предыдущие работы и принуждением к публикации.

Ещё одним результатом одержимости статьями стало увеличение числа журналов. Если нужно больше статей, требуется больше журналов, и в результате их действительно стало больше. Количество исследователей, журналов и журнальных статей по всему миру выросло примерно на 60% за тринадцать лет между 1982 и 1995 годами, а затем число журналов увеличилось ещё на 20% между 2002 и 2014 годами. И речь идёт не только о журналах низкого уровня — число высокоуровневых журналов также растёт. Ассоциация вычислительной техники издаёт 59 журналов, Американское химическое общество — 39, Общество инженеров-механиков — 35, Физическое общество — 15, а Медицинская ассоциация — 13. Институт инженеров электротехники и электроники издаёт более двухсот транзакций, журналов и магазинов, а журнал Nature издаёт 157 журналов (по сравнению с одним пятьдесят лет назад), каждый из которых представляет отдельную специальность.

Университеты поощряют эту гиперспециализацию. Одно недавнее исследование проанализировало решения по оценке более чем сорока тысяч академиков. Оно показало, что учёные наказываются в своей карьере, потому что стражи научных дисциплин могут рассматривать мультидисциплинарных учёных как угрозу уникальности и области знаний отдельных дисциплин. Интересно, что самые высокопроизводительные мультидисциплинарные кандидаты наказываются больше всего. Те, кто выдающиеся, также могут принести разрушение в дисциплину и, следовательно, наказываются сильнее, чем те, у кого средние показатели. Можно ли ожидать, что гиперспециализированные исследователи создадут что-то полезное для общества? Для этого требуется интеграция множества различных типов информации, и когда она распределена по стольким журналам, кто способен это сделать? Даже если оставить в стороне более прозаические задачи производства, маркетинга и бухгалтерии, поиск новой концепции сложен для гиперспециализированных исследователей.

Настало лето, принял экзамен по UX в МФТИ, все круто
Надо еще и одно выступление анонсировать

Шестого сентября буду рассказывать про когнитивный анализ в юзабилити и UX, как использовать методы военных и военной эргономики для проектирования задач и процессов таск-трекинга. В докладе представлю обзор метода ACTA, включая его ключевые этапы: сбор данных через интервью с экспертами, аудит знаний и идентификацию узких мест в принятии решений. Особое внимание уделю практическим примерам применения ACTA в области проектирования бизнес-процессов.

Почему я думаю, что это важно? Неявные знания это интересный источник вдохновения для языковых моделей и источник инноваций для автоматизации и гиперавтоматизации. Легко автоматизировать легко формализируемые области и, вероятно, гораздо сложнее области, где знания и навыки трудноуловимы, прогнозы строятся на приметах, а обучение носит цеховой характер с тайнами мастерства.

https://biasconf.ru/talks/955d60dc159c461db5bb3b8ad236e30c/?referer=%2Ftalks%2F81ae6e1ad9bb4378b37147a1dc124e5a%2F

Надо поменять фото, уж лет 5 прошло

В 50е годы очередной окулограф для отслеживания движений глаз построил советский ученый Альфред Ярбус. В этом устройстве на зрачке крепилось маленькое зеркальце, отблеск от которого попадал на фотобумагу. Большой объем исследований и широкий спектр изученных им проблем внес огромный вклад в науку. В 1965 в своей книге «Роль движений глаз в процессе зрения» он изложил основные результаты своих исследований. В 1967 году книга вышла за рубежом под названием Eye Movements and Vision.

Опять про Legal UX

Одной из важных тем, которые я отслеживаю - является Legal UX, правовые аспекты и статусы технологий в судебной и юридической практике, защита прав потребителей и последствия при использовании того или иного проектировочного решения.

На русском не так много каналов и материалов - раньше были Законы Мура в телеге про юристов в области ИИ и цифры, но они спят, есть еще и не менее важный https://www.tg-me.com/pattern_ai/2

Вот, например, GDPR и законы о персухе сейчас переживают странные времена: например, выходят исследования о том, как ЛЛМ генерят темные паттерны.
https://www.tg-me.com/pattern_ai/32

На русском такого мало - есть еще дайджест от коллег из ИРИ, но они Смуту делают и сериалы снимают, и только иногда про темные паттерны отчеты пишут. Но вообще показательно, как собирают правовую базы про игры и иски к Геншину
https://xn--h1aax.xn--p1ai/reports/

Пушкинский день и взаимодействия машин и людей. Кратценштейн, Пушкин и автоматоны

В 1779 году Петербургская академия наук объявила ежегодную премию за создание механического устройства, способного издавать пять долгих гласных звуков: а, э, и, о, у. Победителем стал датский профессор механики Христиан Готлиб Кратценштейн (Christian Gottlieb Kratzenstein), который в то время читал лекции в университетах Петербурга. Датский инженер разработал систему акустических резонаторов, порождавшую гласные при помощи пульсирующего воздушного потока. Этот поток создавали вибрирующие металлические язычки, играющие роль голосовых связок человека. Принципы работы своей системы Кратценштейн описал в книге «Tentamen Resolvendi Problema». Изыскания ученого оказали серьезное влияние как на развитие синтезаторов речи, так и музыкальных инструментов. Свободно проскакивающие металлические язычки, которые профессор использовал для возбуждения резонаторов, впоследствии стали центральной частью губных гармоник и баянов.
После презентации в Петербурге прототип системы Кратценштейна был утрачен. Сам трактат тут https://archive.org/details/b2237274x

Вне всяких сомнений этот популярный эпизод развития технологий отражает общий ход развития практик и отношения эпохи Просвещения к машинам и автоматонам (самыми известными из которых были автоматоны Вакансона): не нужно забывать, что анализ диковинок, необычных изобретений или инноваций был одним из способов интеллектуальной аргументации того времени. Наличие или отсутствие диковинки или артефакта в реальности могло быть доказательством истинности или ложности теории. Краеугольным камнем таких воззрений является еще старая картезианская мысль о том, что речь человека и его речевое поведение аналогична работе существующих на тот момент механизмов. Споря с картезианскими установками, Иммануил Кант сравнивает мышление человека и поведение автоматона, чтобы ввести в обоснование трансцендентальные основания такого поведения. Также сохранились и многочисленные свидетельства той роли, которую отводили анализу диковинок и механизмов как жизненной практике, необходимой не только в интеллектуальной деятельности, но и в повседневности в Российской Империи тех лет. Так, Плетнев в письме Пушкину пишет “Смерть их сделала из меня какого-то автомата” уже в 1831 году. Аналогично в 1841 году выходит роман “Автомат” Ивана Калашникова с критикой механицизма эпохи просвещения.

(Безусловно, это еще дань моде на часы как на предмет моды, смотри например «По всем углам торчали фарфоровые пастушки, столовые часы работы славного Leroy, коробочки, рулетки, веера и разные дамские игрушки, изобретенные в конце минувшего столетия вместе с Монгольфьеровым шаром и Месмеровым магнетизмом» в Пиковой даме. Leroy — это Пьер Леруа, академик и механик часов, автор классических работ по часовому делу во Франции)

Наконец, эпоха автоматонов и умных игрушек-диковинок отражается и в «Золотом петушке», становясь практикой дидактического воспитания молодежи. Существующие импортные автоматоны в России тех лет были изготовлены в 1772 году англичанином Джеймсом Коксом, известным производителем часовых автоматов. Они прибыли в Россию в 1797 году и, по одной из версий, некоторое время принадлежали князю Григорию Потемкину, фавориту Екатерины Великой. С XVIII века часы восхищают посетителей Малого Эрмитажа видом птиц: совы, павлина и петуха. Конечно, Пушкин знал о такого рода диковинках, которые к его времени стали общим местом.

Роботы, машины, механизмы и экзотические диковинки это часть интеллектуального пейзажа эпохи и иногда носят характер "руководства к повседневной жизни", метафорой, которая объясняет поведение людей привычками и рутинами.

Феномен "новой духовности" чата-гпт является, конечно, чем-то новым. Все еще думаю, что дело в статистической оптимизации: модель стремится максимизировать вероятность положительной оценки.

Но есть и более глубокая проблема - это проблема восприятия связей, которую ложно подкрепляет языковая модель. Апофения — переживание, заключающееся в способности видеть структуру или взаимосвязи в случайных или бессмысленных данных. Термин был введён в 1958 году немецким неврологом и психиатром Клаусом Конрадом, который определил его как «немотивированное ви́дение взаимосвязей», сопровождающееся «характерным чувством неадекватной важности» (анормальное сознание значения).

"По моему мнению, вполне вероятно, что этот когнитивный диссонанс может подпитывать бред у людей с повышенной склонностью к психозу", — написал Сёрен Динесен Остергаард, возглавляющий исследовательское подразделение в отделении аффективных расстройств в психиатрической больнице Орхусского университета, в статье, опубликованной в Schizophrenia Bulletin под названием «Будут ли генеративные чат-боты на основе искусственного интеллекта вызывать бред у лиц, склонных к психозу?»

Кстати, тоже кое-что показал на Форуме Будущего-2050 в плановом заседании, но пока это небольшой секрет :)

Лавров, отец Илона Маска - Эррол Маск, Джеффри Сакс и ваш покорный слуга (но не одновременно, конечно)

Ждем пост-релиза, друзья

Ирония автоматизации - ирония больших языковых моделей. Немного о Development Experience

Пока ждем новостей с форума Царьграда - несколько кратких мыслей относительно автоматизации труда и его ироничности, на сленге специалистов по human factors. Что за ирония? Я писал о ней тут https://www.tg-me.com/gulagdigital/3091 Феномен иронии удостоился даже статьи в википедии, да и вероятно, что есть несколько ироний. Основной смысл в том, что при автоматизации процесса оператору-человеку дается задача, которая выполнима только теми операторами, кто находится в режиме ручного управления, могут выполнить автоматизированную работу руками. Более того: чем более продвинута автоматизированная система, тем более важным может быть человеческий фактор. Статья Ironies of Generative AI: Understanding and Mitigating Productivity Loss in Human-AI Interaction от лаборатории Майкрософт пытается выявить иронии при внедрении языковых моделей в повседневные рабочие задачи работников. https://www.microsoft.com/en-us/research/wp-content/uploads/2024/10/2024-Ironies_of_Generative_AI-IJHCI.pdf

Отзывы пользователей Copilot, а также исследования удобства использования инструментов программирования на базе GenAI показывают, что в некоторых случаях использование поддержки GenAI может, напротив, приводить к снижению продуктивности. Например, инженеры-программисты и начинающие программисты сталкиваются с трудностями в эффективном создании запросов к системам, отладке сгенерированного кода, теряют состояние потока при прерывании длинными предложениями кода и застревают в неэффективных практиках, таких как просмотр, редактирование и последующее удаление предложений . Аналогичные наблюдения появляются в творческих областях, где графические и промышленные дизайнеры сталкиваются с трудностями в создании запросов и других аспектах взаимодействия с GenAI

1. Мониторинг или наблюдения. Десятилетия назад внедрение автоматизации переместило многие задачи ручного управления на задачи
мониторинга, оставив людям надзор за автоматизацией. Однако мониторинг (или бдительность) утомителен и требует внимания, и, следовательно, парадоксально может накладывать значительную нагрузку на людей. В программировании с поддержкой ИИ пользователи проводят длительное время, просматривая и проверяя предложения кода - код ревью. Ну и что?
2. Сниженная ситуационная осведомлённость. Это было выявлено впервые у авиадиспетчеров в 90ые, потому что отсматривать выводы сложнее, потому что, это не их типичные ошибки. Доказательства показывают, что пользователи систем GenAI аналогично испытывают снижение ситуационной осведомлённости. Например, участники экспериментов сообщили, что их отладка сгенерированного ИИ кода затруднялась, потому что они не могли использовать свою интуицию о том, где может быть ошибка, и вместо этого в конечном итоге перерабатывали или полностью отказывались от кода. Это подтверждается участниками в другом эксперименте, которые говорят, например: «Я не вижу ошибку сразу, и, к сожалению, поскольку это сгенерировано, я не понимаю это так хорошо, как, мне кажется, я бы понял, если бы написал это сам».
3.Слишком мощная автоматизация. Мониторинг автоматизации — в данном случае оценка результатов GenAI — парадоксально усложняется высокой мощностью автоматизации, что затрудняет понимание и предвидение поведения системы. Например, когда трейдеры на цифровой фондовой бирже сменили роли с исполнения на мониторинг сделок, они показали худшие результаты, поскольку не могли эффективно контролировать сделки в реальном времени. Таким образом, они прибегали к мониторингу на более высоком уровне абстракции и требовали дополнительных ресурсов для обработки этой информации, тем самым пропуская больше сделок, которые выполнялись в это время. Аналогично, GenAI отличается высокой мощностью в создании контента, такого как целые документы или программное обеспечение, или множественные одновременные предложения

4. Дополнительно затрудняется сложностью и непрозрачностью (т.е. плохой объяснимостью) автоматизированных систем, что может снижать ситуационную осведомлённость. Большее количество функций и режимов создаёт больше возможных взаимодействий между компонентами системы и соответствующее снижение предсказуемости системы, поскольку система всё больше учитывает множество факторов или состояний компонентов). Это может приводить к незнакомым и редким состояниям системы, что добавляет сложности в понимание работы систем.
5. Ну и классика галлюцинаций. Системы GenAI могут вводить тонкие или неинтуитивные ошибки в результаты, особенно в длинных выводах, таких как многострочные предложения кода). Woodruff et al. (2023) обнаружили, что работники интеллектуального труда в разных областях подавляюще ссылались на недостаток надёжности как на ключевую причину необходимости проверки результатов GenAI людьми. Примеры проблем варьировались от нарушения стандартов бренда и авторских прав в сгенерированном контенте до неточностей в юридических документах

Увеличение самоуспокоенности и чрезмерной зависимости, связанное с оценкой результатов, наблюдалось в исследованиях пользователей GenAI. Например, при проверке правильности сгенерированного ИИ кода некоторые программисты сообщили, что просматривали результаты поверхностно, а не читали и оценивали код тщательно. Это особенно распространено среди менее опытных пользователей, таких как программисты-любители) или новички. В некоторых случаях это приводило к ошибкам, которые пользователи либо пропускали, либо тратили время на последующую отладку. Примечательно, что в рекламе копирайтеры как эксперты, так и неэксперты-писатели проявляли излишнюю уверенность в качестве черновиков, сгенерированных ИИ, не пересматривая их тщательно

Автоматизация может реструктурировать рабочие процессы неудачным образом, вводя новые сложные задачи, нарушая знакомые последовательности задач и удаляя информативную обратную связь. Это меняет стратегии, используемые операторами, их восприятие информации и действия в конкретном контексте, потенциально приводя к неэффективному использованию освободившегося времени и когнитивных ресурсов. Таким образом, вместо сокращения того, над чем они работают, когда все или часть задач автоматизированы, люди вместо этого полагаются на разные стратегии для работы над этой задачей. Например, врачи, использующие средства автоматизации, научились манипулировать мониторами, отображающими физиологические данные, чтобы соответствовать их рабочим стратегиям. Однако, поскольку эта манипуляция была дополнительной задачей, которую врачи должны были выполнять, они избегали использования системы в ситуациях с высокой нагрузкой (Cork et al., 1998). Более того, когда автоматизация изменяет знакомую последовательность задачи, например, удаляя шаг, операторы допускают ошибки и повторяют свои действия. Например, врачи могут забыть записать дозу лекарства в журнал и ошибочно повторить процедуру

Новый тип задач труда - промтинг
Центральная роль создания запросов в системах GenAI — один из основных способов, которым такие системы реструктурируют рабочие процессы. Исследования показывают, что пользователи с трудом справляются с созданием запросов, посвящая этому значительное время и усилия. В Xu et al. (2022) программисты, использующие плагин для генерации кода, вкладывали значительные усилия в эксперименты с запросами, чтобы понять, как лучше всего работают их запросы. Исследователи разработали различные стратегии для борьбы с сбоями модели, например, переформулируя запросы, уменьшая объём запроса или ища альтернативные формулировки. Попытка адаптировать запросы — когнитивно требовательная задача, поскольку участники должны сформировать ментальную модель того, с чем модель может работать. Помимо того, что это требовательно, создание запросов может мешать другим аспектам рабочих процессов

Потеря обратной связи - в малых задачах. Очень многие элементы связанные с тем, что при создании задач есть шанс получить данные об ошибках, проблемах или получить сигналы - при мощной автоматизации не видны. По сравнению с инструментами поиска в интернете, такими как Stack Overflow, Copilot не хватало дополнительной информации, такой как обсуждения, объяснения и сравнения решений кода.
Поляризация сложности задач. Объяснение состоит в том, что простые задачи легче автоматизировать, и поэтому более сложные задачи, как правило, остаются под ручным управлением, хотя и наряду с дополнительной задачей мониторинга автоматизации и в рамках теперь более фрагментированного рабочего процесса (Lee & Seppelt, 2009). Например, автоматизация показала снижение ментальной нагрузки пилотов, когда она уже была низкой во время простых задач, как когда самолёт находится на автопилоте во время прямого полёта. Однако автоматизация увеличивала ментальную нагрузку пилотов, когда нагрузка, связанная с полётом, уже была высокой, например, во время посадки, поскольку им тогда приходилось одновременно перепрограммировать систему, управляющую автопилотом, активировать процедуры посадки и управлять коммуникацией

Какие могут быть выводы?
ExAi - Explainable AI. Непрерывная обратная связь и объяснимость. Обратная связь о поведении системы является ключевой стратегией для сохранения вовлечённости пользователей и их осведомлённости о производительности системы GenAI. На стадиях мониторинга получение непрерывной обратной связи имеет решающее значение для того, чтобы оператор оставался в курсе и распознавал моменты, когда требуется прерывание и ввод. Обратная связь необходима, чтобы помочь операторам знать, были ли их запросы получены, выполняются ли действия системы автоматизации должным образом и происходят ли какие-либо ошибки. Для систем GenAI это включает знание того, какие аспекты ввода служат запросами, как они интерпретируются системой, как вывод соответствует им и есть ли какие-либо ошибки. Обратная связь связана с тщательно разработанными функциями объяснимости. Она должна помогать пользователям знать, почему система реагирует определённым образом, и позволять им строить ментальные модели поведения системы, как она с ними взаимодействует и где они могут ожидать сбоев (т.е. причинно-следственные связи).