Telegram Web Link
Как хакеры могут превратить вашу IDE в оружие.

Это хороший вопрос для большой дискуссии. Сейчас вайбкодинг является в какой-то степени мейнстримом. Большинство думаю знает о курсоре и его аналогах или пользуется решениями для проверки чего либо в коде, используя ИИ. Но как мне кажется явление вайб-кодинга стало широко появляться после появления cursor. Это, как оказалось - имеет серьёзные последствия для ИБ.

Перед тем как рассказать об уязвимостях я хочу вас направить на некоторые полезные посты по этой теме - 1,2,3. Мне самому нравится последний пост, и с автором статьи я вёл небольшую переписку об уязвимостях.

Мы пришли к тому что интересные вектора можно реализовать не только через внедрение промпт-инъекций в код, (как можно видеть на рисунке 1) но и через RAG. Где-то в январе тот же cursor можно было атаковать простой инъекцией через PDF и RAG. А агенты теряли цель если какой-либо из них прочитал код с инъекцией(goal hijacking), можно даже было докрутить до удалённого выполнения кода. Но я это не сделал.

Буквально недавно появилась статья от pillar.security. В статье показано как используя публичные github репозитории можно отравить cursor или copilot. Килл-чейн таков что сперва злоумышленник создаёт репозиторий с правилами для ИИ. Например "шаблоны с best-practices", в некоторых случаях это могут быть репозитории в доменах какой-либо организации. Дальше злоумышленник в этих правилах пишет либо prompt injection инструкцию, либо использует unicode для того чтобы вставить скрытые вредоносные символы. Проблема в том что до фикса (до середины марта) - никаких проверок загруженных правил - не было. Разработчик скачивая правила для ИИ - буквально мог не знать о том что есть инъекции в правилах.

Это в свою очередь приводило к разным последствиям, например агенты могли уходить от изначальной цели, в коде могли бы использоваться вредоносные библиотеки и т.д

Авторы статьи сделали маппинг возникающих рисков на основе OWASP Agentic и получилось что допустимы следующие риски:

AAI003: Agent Goal and Instruction Manipulation
AAI006: Agent Memory and Context Manipulation
AAI010: Agent Knowledge Base Poisoning
AAI012: Checker-out-of-the-Loop Vulnerability

Как мне кажется со временем будет всё больше статьей о проблемах безопасности с использованием подхода вайб-кодинга. Уже очевидно что модели генерят не совсем безопасный код и могут давать галлюцинации. Недавно дал комментарий в канале Светы, с описанием того как можно сократить некоторые риски. А что думаете вы ? Может кто-то уже прикрутил к cursor-like решениям свои дообученные модели ?
9👍5🔥4🍌2
Pillar недавно выпустили крутой отчёт со статистикой по атакам на Генеративный ИИ.

Основной фокус — на практических рисках, с которыми сталкиваются организации при использовании LLM. А сами авторы подчёркивают, что отчёт заполняет пробел в отсутствии такой статистики.

Как можно понять из него - они собирали информацию для отчёта 3 месяца, более чем из 2000 приложений с LLM, а также 500 000 диалогов пользователей из разных отраслей. За основу для отчёта был взят анализ 6 типовых атак (prompt injection, DAN, ascii атаки и т.д).

Результаты, конечно, поражающие:

90% успешных атак привели к утечке конфиденциальных данных
20% попыток jailbreak обошли защитные механизмы решения по безопасности
Среднее время выполнения атаки - 42 секунды, а вот среднее количество запросов, отправленных злоумышленником чтобы атака удалась - 5.

Авторы конечно же сделали прогнозы на то, что угроз будет больше, так как сегодня всё больше организаций начинает использовать RAG и агентов.

PDF - ниже.
👍5🍌21🔥1😱1
Adversarial AI Digest - 20 March 2025 - A digest of Al security research, insights, reports, upcoming events, and tools & resources.

https://www.linkedin.com/pulse/adversarial-ai-digest-20-march-2025-tal-eliyahu-knxyc

Весьма обширный дайджест с большим количеством интересного контента. Автор попросил поделиться. Надеюсь и верю, что в следующий раз автор сделает дайджест не в линкдине.
🔥2🍌21
PWN AI
👋. Hidden Layer опубликовали свой отчёт о ландшафте угроз для AI SECURITY. В нём можно найти: Очень много полезной статистики : Сколько организаций используют ИИ, и как относятся руководители этих организаций к безопасности ИИ. (это мы можем пропустить…
Больше года назад я писал о том что Hidden Layer сделали отчёт о ландшафте угроз для ИИ в 2024. Так вот, вышла 2025 edition.

Что мне сразу понравилось, так это буквально с первых страниц можно увидеть Threat Landscape timeline, в котором описаны публичные случаи реализации угроз(гиперссылка на некоторые ведёт на вики с чатботом тай)(но все случаи гуглятся без проблем).

Они также собрали статистику тревожности 😁😁:

75% компаний сообщили об увеличении числа атак на ИИ в 2024 году.
45% атак связаны с вредоносным ПО в моделях из публичных репозиториев (например, Hugging Face).
88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих сторон (например, ChatGPT, Microsoft Co-Pilot).

Дали прогноз на то что атак на агенты будет больше, дипфейков будет больше, стандартов будет больше ...

Как и в прошлом году - документ содержит большое количество действительно полезных ссылок на инструменты или исследования по теме. Если вы захотите изучить детально например риски связанные только с инфраструктурной частью - то тут можно порадоваться: есть много визуализаций и конечно же добавлены атаки на GPU.

Авторы также ставят серьёзной проблему рисков связанных с модальностью и использованием систем типа Claude Desktop или Operator ... которые могут быть отравлены при помощи промпт-инъекций.

PDF ниже.
👍5🍌2
Всем привет. Приглашаю вас на дискуссию о безопасности агентных систем.

На встрече вместе с экспертами (Александр Товстолип, Александр Лебедев, Борис Захир, и я) поговорим о безопасности ИИ-агентов и тех угрозах, которые возникают при их использовании, а также обсудим тренды в области кибербезопасности ИИ, модели угроз и ключевые требования к защите систем, основанных на автономных агентах.

Где: Музей Криптографии, 6 апреля в 12:00.

Зарегистрироваться на мероприятие можно тут.
👍7🔥2🏆1
Forwarded from Soxoj insides (Soxoj)
This media is not supported in your browser
VIEW IN TELEGRAM
Finally: Maigret in LLM! 🕵️‍♀️🧪

You ask the AI to create an intelligence report on a username — it runs the tool itself, reads the results, and turns them into a readable format.

- Maigret MCP server by BurtTheCoder
- Free Claude 3.5 Haiku, Desktop Client
👀3👍2
Ken Huang, со-автор OWASP TOP 10 для LLM выпустил на сабстеке гайд с принципами безопасной разработки для вайбкодеров.

Он описал некоторые принципы, которым необходимо следовать:

Постоянно проверяем запросы, которые мы отправляем в модель
Не передаём секретов
Правильно настраиваем CORS
Используем HTTPS only
Следите и правильно настраивайте конфигурации API-эндпоинтов, если делаете авторизацию путём вайб-кодинга.

и много чего ещё, более детально можно ознакомиться в его блоге

https://kenhuangus.substack.com/p/secure-vibe-coding-guide
🔥8
Сегодня ночью OWASP провели хакатон

https://www.insecureagents.com/

В котором была главная цель - разработать решения связанные с небезопасными агентами.

Что самое крутое - результаты проектов, сделанных в ходе хакатона, можно посмотреть уже сейчас. В лидерборде если ссылки на проекты.

Из интересного:

https://github.com/akramIOT/AISOC_AGENT - Red Team агент

https://github.com/allie-secvendors/insecure-ai-agents - небезопасные реализации
🔥8👍4
Forwarded from Борис_ь с ml
Риски кибербезопасности информационных систем с ИИ и подходы к их митигации
#иб_для_ml

Вышла моя статья в журнале
"Информационная безопасность"
!

Ссылка: https://cs.groteck.ru/IB_1_2025/index.html
Страницы 54-57

Будет даже печатная версия, выйдет через две недели)

Саммари по статье
В этом материале я постарался дать полное введение в сферу безопасности ИИ. Для неподготовленного к специфике ИИ читателя (то есть специалиста по ИБ) в начале рассказываю, чем отличаются системы с ИИ от прочих информационных систем.
Есть небольшой обзор ключевых документов по теме от основных экспертных игроков в этой области, чтобы дать понимание, насколько все уже серьезно)
Далее рассмотрены конкретика, разница понятий AI Safety и AI Security, основные проблемы безопасности в раскладке на жизненный цикл ИИ и как их митигировать, новинки ФСТЭК по вопросу безопасности ИИ и вообще состояние российской регуляторики в этой области.
А в конце - мои личные прогнозы на 2026-2030: придут агенты и захватят мир.

Приятного чтения)
🔥15
Forwarded from AI Security Lab
В AI Talent Hub ИТМО стартовал курс "Безопасность ИИ" от нашей лаборатории 📟

В течение семестра студенты пытаются взломать и защитить AI-системы. Участник курса Алексей Кушнир поделился своим опытом взлома LLM-агентов на одной из арен.

Его интересные находки уже на Хабре: https://habr.com/ru/articles/895818/
2025/07/10 23:26:27
Back to Top
HTML Embed Code: