FireTail обнаружил уязвимость в ИИ: скрытые команды меняют смысл запросов

Исследователи компании FireTail выявили уязвимость в нескольких крупных системах искусственного интеллекта, связанную с техникой «ASCII-smuggling» – скрытым внедрением управляющих символов в текст. Эти невидимые символы позволяют добавлять в запросы к ИИ дополнительные инструкции, которые не отображаются пользователю, но воспринимаются моделью как команды.

Злоумышленник таким образом может подменить смысл сообщения, инициировать рассылку ложных данных или использовать систему для подмены личности, в то время как пользователь видит лишь безобидный текст.

Выявление такой уязвимости – хорошее дело. Тем более, что многие большие языковые модели, такие, в частности, как Gemini или DeepSeek, попадают в опасную зону. Так что, предупрежден – значит вооружен. Опасный изъян выявлен. Осталось исправить ошибку, и дело с концом. В конце концов, любую систему характеризует не столько просчеты, сколько реакция на них, способность их устранить.

FireTail сообщила об обнаруженной уязвимости Google, однако компания отказалась предпринимать меры.
Однако реакция Google на известие о проблеме оказалась странной: компания отказалась что-либо делать. Это, по-моему, весьма прискорбная информация. Нет нужды объяснять, если запросы к ИИ могут быть целенаправленно изменены, то это компрометирует всю работу с машинами.

Получается, что, ставя перед системой какую-либо, даже самую рутинную задачу, нельзя быть уверенным в её результате, в том, что ИИ исполнит указания, поскольку может получиться так, что ИИ будет делать что-то совершенно иное, возможно вредное для заказчика и его партнеров.

Фактическое уклонение от соблюдения необходимых мер безопасности Google создает опасный прецедент. Срочное принятие эффективного решения для устранения уязвимости крайне необходимо. Как известно, все инструкции по безопасности пишутся на основе болезненного и часто печального опыта. Будем надеяться, что проблема будет решена прежде, чем произойдет что-то непоправимое.

👩‍💻 Подписывайтесь и будьте в курсе событий

Креативность всегда нуждается в чем-то материально фундаментальном. Как художникам нужна краска, а писателям - алфавит. Впрочем и краски, и алфавит изначально гениальные изобретения.

Недавно я участвовал в дискуссии о том, а кто, собственно, работает в креативных индустриях. Все ли они творцы?

Понятно, что не все они и как не все, что они делают - творческое. В музее есть рабочий, который забивает гвозди для того, чтобы повесить картину. А ведь писание живописи, создание выставки, работа куратора, бесспорно, творческое дело. Но что с ударами молотком рабочего?

Или, для той же выставки и сохранности картин нужно тепло. Но едва ли работу котельной стоит считать из-за этого креативной? Хотя учет расхода топлива в котельной может быть более чем изобретательным.

Так или иначе, но собственно креативные профессии погружены в море рутинного. Как заметила Анна Ахматова:

Когда б вы знали, из какого сора Растут стихи, не ведая стыда, Как жёлтый одуванчик у забора, Как лопухи и лебеда.

Но возвращаясь к прозе повседневности, я хотел бы заметить, что успех креативной экономики прямо связан с двумя обстоятельствами:

1️⃣ Без сопутствующих индустрий и сервисов собственно креативная экономика невозможна. Они должны быть поддержаны так же, как и сама креативная сфера.

2️⃣ Нам всем необходимо пересмотреть наш - уже устаревший - взгляд на иерархию и престиж профессий. В современной экономике прямолинейное разделение на творческих и нетворческих людей устарело. Просто роли в создании нового продукта у разных людей будут отличаться.

Как ни странно, в самом начале истории, творческое начало было сравнительно ровно распределено среди всех. Кто-то лучше рисовал охрой магического мамонта, кто-то лучше устраивал охоту, кто-то лучше собирал съедобные коренья, а кто-то мог умело помочь роженице. Потом наступили времена массового труда, когда человек исполнял рутинную механическую работу.

Но, похоже, у нас есть шанс вновь обрести свободное пространство для творчества. Или - творческое пространство для свободы.

В общем, что хотим, то и делаем. Или хотя бы пишем!

👩‍💻 Подписывайтесь и будьте в курсе событий