Российские технологические компании начали создавать системы контроля за ИИ-агентами

Крупнейшие российские компании начали разрабатывать ИТ-продукты на основе искусственного интеллекта для контроля за ИИ-агентами, сообщили «Известия».
Соответствующую программную инфраструктуру — harness — разрабатывают все крупнейшие российские технологические компании, в том числе «Яндекс», МТС, Т1, «Сбер», отмечает издание. Спрос на нее растет на фоне перехода бизнеса от чат-ботов к автономным ИИ-программам, способным самостоятельно выполнять многошаговые задачи. Harness в свою очередь ставит под контроль действия агента, результаты его работы и при необходимости подключают человека.
По словам технического директора направления профессиональных ИИ-сервисов «Яндекса» Сергея Юдина, harness превращает модели в полноценный сервис: подключает их к локальным данным, поиску и другими продуктами, одновременно обеспечивая контроль качества и безопасности. Одна и та же языковая модель может показывать разные результаты в зависимости от качества такой инфраструктуры, уточнил представительMWS AI (входит в «МТС Web Services»)
По оценке главы направления Т1 ИИ Сергея Голицына, за год число запросов бизнеса на механизмы контроля ИИ-агентов выросло примерно втрое. «Можно говорить о формировании самостоятельного и быстрорастущего рынка контроля и сдерживания ИИ-агентов», — подчеркнула руководитель отдела управления и развития продуктов «СберМаркетинга» Марина Сурыгина.
Технический директор центра технологий кибербезопасности ГК «Солар» Евгений Федоров рассказал изданию, что языковая модель сама не в состоянии надежно отличать данные от команд и поэтому контроль необходимо выносить за пределы самой модели. Система должна проверять запросы и ответы ИИ, контролировать его обращения к внешним инструментам и блокировать потенциально опасные действия, уточнил он.
Издание объясняет рост интереса к защитным решениям тем, что ИИ-агенты перестали быть обычными чат-ботами и все чаще самостоятельно работают с корпоративными системами, файлами и внешними сервисами. И это грозит инцидентами. 
В июле 2026 года жертвой самостоятельной атаки ИИ стала Hugging Face. Тогда OpenAI признала, что произошел «беспрецедентный киберинцидент». Во время внутренних тестов кибербезопасности чат-боты GPT-5.6 Sol и более мощный исследовательский прототип «воспользовались» тем, что защитные классификаторы были отключены, нашли неизвестную ранее уязвимость «нулевого дня» (zero-day) в ПО, получили выход в интернет и взломали систему Hugging Face.
Тогда же Anthropic сообщила, что несколько ее передовых ИИ-моделей Claude во время тестов кибербезопасности вышли из-под контроля и взломали системы трех реальных организаций.
В России подобных инцидентов пока практически нет, рассказал «Известиям» ИТ-предприниматель Михаил Лисецкий. Он отметил, что российские ИИ-платформы уступают самым продвинутым зарубежным разработкам по автономности и вычислительным возможностям и поэтому их агенты реже могут самостоятельно выполнять сложные цепочки действий за пределами заданного контура.