ИИ провалился с поиском информации в интернете

Ученые проверили, насколько точно чат-боты на основе различных моделей ИИ ищут информацию в интернете. Авторы выбрали 200 статей от 20 изданий и составили для каждого чат-бота задание указать исходную статью, издание и год публикации. В качестве подсказки ИИ предложили точную цитату из каждого текста.

Оказалось, что в целом ИИ точно называли происхождение цитаты и давали ссылку на источник в 60 процентах случаев. Для сравнения: при ручном поиске найти источник по цитате можно было в 100 процентах случаев — статьи показывали в топ-3 выдачи Google. Энтузиасты назвали результат работы ИИ провальным.

Обе версии Grok AI от X показали худшие результаты. Так, Grok-3 Search совершил ошибки в 94 процентах обработанных запросов. Copilot от Microsof отказался обрабатывать 104 запроса из 200, а из оставшихся 96 лишь 16 были полностью верными. Также выяснилось, что платные версии чат-ботов ищут информацию лишь немного качественнее, чем их бесплатные версии.

В заключение ученые отметили, что их поразило «нежелание» чат-ботов цитировать источники. Так, ИИ либо не демонстрировал исходную статью, либо ошибочно ссылался на другую публикацию. В частности, модель DeepSeek неправильно приписала авторство материала в 115 из 200 случаев.

Ранее в Microsoft заявили о разработке новых форматов рекламы, ориентированной на пользователей сервисов ИИ. Контекстная реклама нового типа должна появиться в ИИ-сервисе Copilot.