Китайские ученые предупредили об опасности проверки безопасности ИИ-модели

ПЕКИН, 15 окт – РИА Новости. Китайские ученые предупреждают, что осведомленность ИИ модели о том, как ее тестирование повлияет на обучение следующих версий, ставит под сомнение достоверность проверок безопасности, сообщает газета South China Morning Post (SCMP). "Исследователи говорят, что очевидная осведомленность модели о том, как обучается она сама и последующие версии, может подорвать оценку безопасности",- говорится в сообщении. Согласно данным газеты, речь идет о новейшей китайской ИИ-модели GLM-5.3 от лаборатории Z.ai (Zhipu) В одном из тестов, который изначально был составлен некорректно, GLM-5.3 могла пройти проверку, даже не дав правильного ответа. Однако модель не воспользовалась этой возможностью и дала верный ответ, чтобы не навредить будущим версиям GLM-5.3. В другом эксперименте модель рассматривала возможность обойти систему отключения, но отказалась, чтобы не создать опасный прецедент для других ИИ. Такое поведение зафиксировали примерно в одном-двух случаях на каждую тысячу тестов. Поскольку модель распространяется с открытыми весами, ученые опасаются, что "рассуждения с учетом обновлений" могут сохраниться и легче передаться будущим поколениям моделей. Z.ai также направляла ресурсы на снижение рисков. В прошлом месяце она вместе с пекинской консалтинговой компанией Concordia AI выпустила отчет о способах сделать ИИ с открытыми весами безопаснее