AI / LLM red teaming
Безопасность
AI-систем.
Проверка безопасности AI-систем выявляет пути к закрытым данным и действиям вне прав пользователя. Тестируем LLM-приложения, RAG и агентов с доступом к корпоративным инструментам.
Что проверяем
Рассматриваем всю AI-функцию: запрос пользователя, поиск документов, ответ модели и выполнение операций. Отдельно проверяем, где принимается решение о доступе.
- Подмена инструкций
- Влияние запросов, внешних документов и ответов инструментов на поведение модели. Проверяем, может ли недоверенный текст изменить её задачу.
- Доступ к знаниям
- Поиск и использование документов разных пользователей и команд. Проверяем, не попадает ли закрытый материал в контекст или ответ ассистента.
- Инструменты агента
- Доступные операции, их параметры и проверка прав перед выполнением. Исследуем обращения к данным и действия, которые требуют подтверждения человека.
- Использование ответа
- Передача сгенерированного текста в интерфейс, интеграции и следующие операции. Проверяем, какие последствия имеет ответ модели для приложения.
Когда нужна проверка
- Перед запуском ассистента на корпоративных документах.
- Когда агент получает доступ к CRM, внутренним API или другим рабочим системам.
- После смены модели, источников знаний, инструментов или пользовательских ролей.
- Перед предоставлением AI-функции клиентам с разными правами доступа.
Что получите
Отчёт по проверенным сценариям. Для найденных уязвимостей — источник воздействия, действия модели и инструмента, наблюдаемый результат и способ устранить проблему.
- Примеры, которые связывают запрос или документ с конкретным поведением системы.
- Рекомендации по правам, работе с источниками и обработке вызовов инструментов.
- Критерии повторной проверки после изменений в модели или приложении.
Что нужно для оценки
Для оценки нужны назначение ассистента, используемые модели, источники RAG и список инструментов. Расскажите, какие данные он видит и какие операции может выполнять от имени пользователя.
До старта определим тестовые роли, материалы и допустимые внешние сервисы. Результат оценивается по фактическому поведению приложения: текст ответа сам по себе не подтверждает, что инструмент выполнил действие или передал данные.
Обсудим вашу AI-систему
Опишите задачу ассистента и его доступы. Выберем сценарии, которые важны для вашего продукта.