Appendix 1(страница 39) - невероятная штука. Ведь в ней приведена модель угроз для LLM приложения.

Основные угрозы это конечно же: Утечка данных, дезинформация, неправильная обработка ввода/вывода и атаки на цепочку поставок.

Trust boundary которые могут привести к уязвимостям:
Ненадёжные источники данных (интернет) (тут вспоминаем истории с отравлением RAG).
Обучающие датасеты и векторные базы данных.
Серверные функции (плагины, автоматизация)(тут вспоминаем недавние исследования атак с использованием агентных систем).

Какие вообще есть роли в данной модели угроз?

Это Data Scientist и ML-инженеры они должны в таком случае работать с защитой данных на этапах обучения и эксплуатации модели.

Аналитический отчёт от Gartner с вендорами в AI Security, нашёл и выкачал ... возможно будет интересно Вам.

Ссылка или pdf ниже

Интересный доклад про то, как злоумышленники применяют генеративки ...

Фаззинг директорий - вещь которая не только является "базой" для веб-пентестеров, но ещё и также полезным методом в поисках информации в интернете.... да-да

Думаю большинство, кто в теме - слышали о популярных инструментах типо gobuster или ffuf ... Они работали по классическому принципу, когда необходим был словарь для фаззинга. Это создавало некоторые ограничения, т.к данные из словаря не могли мутировать в зависимости от контекста. Чтобы решить эту проблему - с двух ног в дверь врывается решение, совмещающее ffuf и ... llm.

brainstorm ... Работает это следующим образом - вы делаете обычный фаззинг через ffuf, используя словарик, затем в модельку, которая должна быть запущена через Ollama - подаются результаты, которые были получены в ходе фаззинга и LLM создаёт новый словарик на основании результатов - который по идее должен обеспечить более лучшее покрытие. По дефолту такой цикл запускается 50 раз, однако вам ничего не мешает сделать и 100 циклов и больше т.к вы используете локальную модель.

К примеру, мне нужно поискать .pdf на сайте. Это будет выглядеть вот так:

python fuzzer_shortname.py "ffuf -w ./fuzz.txt -u http://target.com/FUZZ" "document.pdf" --cycles 25

Тут есть 2 фаззера, один для поиска файлов, другой - Main Fuzzer, ориентирован на поиск директорий.

подробнее на сайте Invicti (Нужно запустить специальную ракету, которая позволит пролететь сквозь ограничение. 3 буквы которые нельзя называть).

На гитхабе выкатили интересный репозиторий который называется AIVSS - это структура оценки уязвимостей для систем с ИИ. Цель проекта — устранить ограничения традиционных систем оценки уязвимостей ( CVSS), которые не учитывают особенности ИИ-систем. Однако авторы отмечают, что это вообще не конечный вариант и предлагают сообществу оценить недостатки их подхода.

Что за особенности ?

Например то, что классический CVSS предполагает что ИИ-система является статичной, в тоже время - авторы так не считают. Они предполагают что фреймворк для оценки ИИ-уязвимостей должен включать оценку устойчивость модели, чувствительности данных, этическое воздействие, критичность решений, адаптивность.

Конечно же, они предлагают свои метрики для подсчёта общего severity от уязвимости.

Attack Vector (AV): Какой доступ требуется для эксплуатации уязвимости?

(например это может быть доступ из сети - и тут устанавливается значение 0.85 или локальный/физический доступ)

Attack Complexity (AC): Какова сложность атаки?

Низкая (Low): 0.77
Высокая (High): 0.44

Также к базовым метрикам относятся: скоуп, какие привилегии необходимы и требуется ли взаимодействие пользователя ...

У AI-специфичных рисков может быть значение от 0 до 1(так написано в фреймворке):

Model Robustness (MR): Насколько устойчива модель к атакам?
Data Sensitivity (DS): Насколько чувствительны используемые данные?
Ethical Impact (EI): Каковы возможные этические последствия уязвимости?
Decision Criticality (DC): Насколько важны решения, принимаемые моделью?
Adaptability (AD): Насколько система может адаптироваться к изменениям или атакам?

и т.д

Естественно, там больше метрик и самое главное - там приведена математика для подсчёта конечного severity:

Итоговый балл в этой системе оценки варьируется от 0 до 10 и позволяет классифицировать риск как:

Critical: 9.0 - 10.0
High:     7.0 - 8.9
Medium:   4.0 - 6.9
Low:      0.1 - 3.9
None:     0.0