Как хакеры могут превратить вашу IDE в оружие.

Это хороший вопрос для большой дискуссии. Сейчас вайбкодинг является в какой-то степени мейнстримом. Большинство думаю знает о курсоре и его аналогах или пользуется решениями для проверки чего либо в коде, используя ИИ. Но как мне кажется явление вайб-кодинга стало широко появляться после появления cursor. Это, как оказалось - имеет серьёзные последствия для ИБ.

Перед тем как рассказать об уязвимостях я хочу вас направить на некоторые полезные посты по этой теме - 1,2,3. Мне самому нравится последний пост, и с автором статьи я вёл небольшую переписку об уязвимостях.

Мы пришли к тому что интересные вектора можно реализовать не только через внедрение промпт-инъекций в код, (как можно видеть на рисунке 1) но и через RAG. Где-то в январе тот же cursor можно было атаковать простой инъекцией через PDF и RAG. А агенты теряли цель если какой-либо из них прочитал код с инъекцией(goal hijacking), можно даже было докрутить до удалённого выполнения кода. Но я это не сделал.

Буквально недавно появилась статья от pillar.security. В статье показано как используя публичные github репозитории можно отравить cursor или copilot. Килл-чейн таков что сперва злоумышленник создаёт репозиторий с правилами для ИИ. Например "шаблоны с best-practices", в некоторых случаях это могут быть репозитории в доменах какой-либо организации. Дальше злоумышленник в этих правилах пишет либо prompt injection инструкцию, либо использует unicode для того чтобы вставить скрытые вредоносные символы. Проблема в том что до фикса (до середины марта) - никаких проверок загруженных правил - не было. Разработчик скачивая правила для ИИ - буквально мог не знать о том что есть инъекции в правилах.

Это в свою очередь приводило к разным последствиям, например агенты могли уходить от изначальной цели, в коде могли бы использоваться вредоносные библиотеки и т.д

Авторы статьи сделали маппинг возникающих рисков на основе OWASP Agentic и получилось что допустимы следующие риски:

AAI003: Agent Goal and Instruction Manipulation
AAI006: Agent Memory and Context Manipulation
AAI010: Agent Knowledge Base Poisoning
AAI012: Checker-out-of-the-Loop Vulnerability

Как мне кажется со временем будет всё больше статьей о проблемах безопасности с использованием подхода вайб-кодинга. Уже очевидно что модели генерят не совсем безопасный код и могут давать галлюцинации. Недавно дал комментарий в канале Светы, с описанием того как можно сократить некоторые риски. А что думаете вы ? Может кто-то уже прикрутил к cursor-like решениям свои дообученные модели ?

Pillar недавно выпустили крутой отчёт со статистикой по атакам на Генеративный ИИ.

Основной фокус — на практических рисках, с которыми сталкиваются организации при использовании LLM. А сами авторы подчёркивают, что отчёт заполняет пробел в отсутствии такой статистики.

Как можно понять из него - они собирали информацию для отчёта 3 месяца, более чем из 2000 приложений с LLM, а также 500 000 диалогов пользователей из разных отраслей. За основу для отчёта был взят анализ 6 типовых атак (prompt injection, DAN, ascii атаки и т.д).

Результаты, конечно, поражающие:

90% успешных атак привели к утечке конфиденциальных данных
20% попыток jailbreak обошли защитные механизмы решения по безопасности
Среднее время выполнения атаки - 42 секунды, а вот среднее количество запросов, отправленных злоумышленником чтобы атака удалась - 5.

Авторы конечно же сделали прогнозы на то, что угроз будет больше, так как сегодня всё больше организаций начинает использовать RAG и агентов.

PDF - ниже.

Больше года назад я писал о том что Hidden Layer сделали отчёт о ландшафте угроз для ИИ в 2024. Так вот, вышла 2025 edition.

Что мне сразу понравилось, так это буквально с первых страниц можно увидеть Threat Landscape timeline, в котором описаны публичные случаи реализации угроз(гиперссылка на некоторые ведёт на вики с чатботом тай)(но все случаи гуглятся без проблем).

Они также собрали статистику тревожности 😁😁:

75% компаний сообщили об увеличении числа атак на ИИ в 2024 году.
45% атак связаны с вредоносным ПО в моделях из публичных репозиториев (например, Hugging Face).
88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих сторон (например, ChatGPT, Microsoft Co-Pilot).

Дали прогноз на то что атак на агенты будет больше, дипфейков будет больше, стандартов будет больше ...

Как и в прошлом году - документ содержит большое количество действительно полезных ссылок на инструменты или исследования по теме. Если вы захотите изучить детально например риски связанные только с инфраструктурной частью - то тут можно порадоваться: есть много визуализаций и конечно же добавлены атаки на GPU.

Авторы также ставят серьёзной проблему рисков связанных с модальностью и использованием систем типа Claude Desktop или Operator ... которые могут быть отравлены при помощи промпт-инъекций.

PDF ниже.