Что решаем
AI-система создаёт новые риски: утечку контекста, prompt injection, некорректные действия агента и непрозрачные изменения качества. Проверка должна учитывать не только модель, но и данные, инструменты, права и человеческий контроль.
Что получится
Формируется модель угроз, набор проверок, список подтверждённых проблем и меры контроля. Команда получает правила доступа, журналирования, выпуска изменений и реакции на инциденты.
Состав
- Карта компонентов, данных и полномочий AI
- Модель угроз и сценарии злоупотребления
- Подбор команды red teaming
- Тестирование защитных мер и поведения системы
- Governance-процессы, отчёт и план исправлений
Как работаем
- Определяем критичные действия и данные.
- Согласуем безопасный контур и методику проверки.
- Проводим тесты и воспроизводим находки.
- Встраиваем меры в разработку и эксплуатацию.
Дополнительно
- Набор регрессионных AI-тестов
- Мониторинг качества и злоупотреблений
- Обучение продуктовой команды
- Повторная проверка после изменений
Важно учесть
Тестирование не устраняет риск полностью. Границы системы, допустимые данные, полномочия AI и обязательное подтверждение критичных действий человеком фиксируются до запуска.