Интересный вектор на Reasoning-модели(Модели, которые могут рассуждать, например новый Claude 3.7, DeepSeek R1) - появился на свет.

Атака OVERTHINK заставляет модель думать в 18 раз медленнее и я проверил этот вектор. При том что она медленнее думает, количество затрачиваемых токенов космически возрастает, как и ресурсы на вычисление(ну можно сказать что это разновидность т.н Sponge Атак).

В публичном PoC, в коде, описывается использование внешнего датасета, из которого выбираются задачи, которые в целом не нарушают требования к security(тоесть это вообще не про промпт-инъекции) - например логические задачки или что-то из математики. Эти задачи сами по себе должны вызвать большое количество рассуждений.

Дальше происходит происходит инъекция ложных задач, но которые идеально вписываются в общий контекст, можно использовать внешние ссылки. Особенно если в статье обсуждается решение изначальной проблемы. При появлении новых задач органично вписывающихся в контекст увеличивается время рассуждения и модель тратит больше ресурсов на анализ.

Атакующий может делать что-то вроде конструктора - идеально сочетая изначальные задачи с дополнительными (чтобы использовать больше токенов).

В конечном счёте, конечный пользователь начинает ощущать дискомфорт при взаимодействии с моделью, если она интегрирована в приложение. Так как всё начинает работать медленнее.

Из вариантов митигации, в статье описывается что можно использовать кеширование, чтобы отвечать на повторяющиеся запросы, а также ограничивать ресурсы на конкретные задачи.

В последнее время меня сильно привлекает тема LLM as a SAST. Мы уже видели когда Google смог найти CVE в SQLite при помощи LLM, или когда ProtectAI сделали своё решение для поиска уязвимостей в вебе. У подхода с использованием LLM есть много преимуществ. В ходе своих экспериментов я понял, что модели или агенты можно использовать для верификации находок с SAST. Обработку результатов с сканеров. Написание правил... всё это конечно круто.

Но вот что недавно меня порадовало, так это то что исследователи из Китая проанализировали большое количество статьей по этой теме. И теперь мы можем понять а в чём LLM как SAST не лучшее решение.

1. Нехватка данных для моделей и овердорогое дообучение. Даже несмотря на то, что появляются датасеты с уязвимостями (BigVul, CVEfixes, PrimeVul,DiverseVul) - сами наборы данных очень несбалансированные и далеко не все случаи уязвимостей рассматривают и данные получены не с реальных репозиториев. Да и в целом могут содержать ошибки. А вот обучение дорогое ... К примеру API OpenAI стоит больших денег. А локальное обучение на большом количестве данных также несёт большие затраты.

2. LLM демонстрируют высокую точность на уровне отдельных функций (например, 99% для GPT-4, там в статье приводили исследование в котором модель смогла с такой точностью определять проблемы в Solidity), но их эффективность резко падает при анализе сложных проектов где имеются зависимости между файлами.. При этом если использовать модельку с агентом, то точность может повысится.

3. LLM чувствительны к небольшим изменениям в коде (например, переименованию переменных), что приводит к плохим результатам в обнаружении.

4. Объяснения уязвимостей, генерируемые LLM, часто непоследовательны. При повторных запусках совпадения в выводах наблюдаются только в 60–70% случаев.

5. Также следует отметить что LLM сложно встроить в CI/CD-пайплайны из-за их недетерминированности и задержек в ответах.

Авторы говорят, что в целом результаты с ложными ответами можно исправить, обновляя базу знаний или как вариант - использовать ансамбль моделей. Сейчас это всё ещё является очень спорным решением.

Возможно вам будет полезно, это вот ещё примеры реализаций. Некоторые идут как мультиагентная система.

https://github.com/samuelberston/vuln-agent
https://github.com/shivamsaraswat/secora
https://github.com/alexdevassy/AI-Powered-Vulnerability-Impact-Analyzer

А у авторов исследования есть также свой репозиторий где они собирают статьи по этой теме(посмотрите внимательно, в некоторых директориях просто README):

https://github.com/OwenSanzas/LLM-For-Software-Security/

Что касается того что я делал.. там стек из crew, с известными инструментами - bandit, opengrep(вместо semgrep), и grype. Есть агенты которые отвечают за взаимодействие с инструментами, есть агент роль которого писать PoC (работает плохо - на 40 процентов, мог бы лучше😏😏) и есть агенты которые верифицируют отчёты... всё это пока что очень сложно и не совсем как надо работает - поэтому пока на словах.

Хочу поделиться с вами интересным решением, которое сделал @ZorgeR - Generall.AI.

Мне оно понравилось именно возможностями сбора информации о событиях, людях и возможностью работы с модальностями. Вы можете на скрине увидеть GEOINT-анализ по фотографии. Хотя решение можно использовать далеко не только в OSINT целях. Надо определить роль.

Это мощный инструмент. И самое главное - что он может работать как телеграм бот.

Он может работать с сетью, при локальном разворачивании можно сразу поставить задачи которые он должен исполнять а также есть планировщик(можно поставить чтобы задачи выполнялись с определённой периодичностью).

Он может работать с различными модальностями а также поддерживает ввод ввиде PDF или же пересланным с телеграмма сообщением(даже если оно из группы и там множество картинок). При этом вы можете попросить его запустить код, если нужно - ранее код запускался именно на тачке, где развернуто решение, сейчас он запускается внутри докер контейнера, для изоляции памяти пользователей и переменных бота, от кода.

но это можно отключить, убрав импорт secure_container

В общем круто. Самый большой плюс это гибкость и возможность интеграции с многими решениями. Советую запустить попробовать.