# Безопасность AI, LLM, RAG и агентов — DESTINY

Источник: [https://destiny.by/ai-security.html](https://destiny.by/ai-security.html)

Обновлено: 2026-10-31

AI / LLM red teaming

## Безопасность *AI-систем.*

Проверка безопасности AI-систем выявляет пути к закрытым данным и действиям вне прав пользователя. Тестируем LLM-приложения, RAG и агентов с доступом к корпоративным инструментам.

[Посмотреть пример AI-находки](https://destiny.by/report-example.html#ai-example)

## Что проверяем

Рассматриваем всю AI-функцию: запрос пользователя, поиск документов, ответ модели и выполнение операций. Отдельно проверяем, где принимается решение о доступе.

- **Подмена инструкций:** Влияние запросов, внешних документов и ответов инструментов на поведение модели. Проверяем, может ли недоверенный текст изменить её задачу.
- **Доступ к знаниям:** Поиск и использование документов разных пользователей и команд. Проверяем, не попадает ли закрытый материал в контекст или ответ ассистента.
- **Инструменты агента:** Доступные операции, их параметры и проверка прав перед выполнением. Исследуем обращения к данным и действия, которые требуют подтверждения человека.
- **Использование ответа:** Передача сгенерированного текста в интерфейс, интеграции и следующие операции. Проверяем, какие последствия имеет ответ модели для приложения.

## Когда нужна проверка

- Перед запуском ассистента на корпоративных документах.
- Когда агент получает доступ к CRM, внутренним API или другим рабочим системам.
- После смены модели, источников знаний, инструментов или пользовательских ролей.
- Перед предоставлением AI-функции клиентам с разными правами доступа.

## Что получите

Результат

Отчёт по проверенным сценариям. Для найденных уязвимостей — источник воздействия, действия модели и инструмента, наблюдаемый результат и способ устранить проблему.

- Примеры, которые связывают запрос или документ с конкретным поведением системы.
- Рекомендации по правам, работе с источниками и обработке вызовов инструментов.
- Критерии повторной проверки после изменений в модели или приложении.

[Посмотреть пример AI-находки](https://destiny.by/report-example.html#ai-example)

## Что нужно для оценки

Для оценки нужны назначение ассистента, используемые модели, источники RAG и список инструментов. Расскажите, какие данные он видит и какие операции может выполнять от имени пользователя.

До старта определим тестовые роли, материалы и допустимые внешние сервисы. Результат оценивается по фактическому поведению приложения: текст ответа сам по себе не подтверждает, что инструмент выполнил действие или передал данные.

## Обсудим вашу AI-систему

Опишите задачу ассистента и его доступы. Выберем сценарии, которые важны для вашего продукта.