Российские ученые нашли способ отучить нейросети врать.
Проблема нейросетей в том, что они могут выдавать недостоверную информацию. Это называют "галлюцинациями".
Для устранения таких ошибок используют специальные системы, но это не всегда эффективно, рассказали РИА Новости в университете Решетнева.
"Чтобы решить эту задачу, команда ученых проанализировала типовые сценарии "галлюцинаций" и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства", – рассказали в вузе.
Уточняется, что главным достижением стал прототип модуля мониторинга. Он оценивает риск выдачи недостоверного ответа и присваивает модели балл уверенности.
Разработка может применяться в образовании, на "Госуслугах", в медицине и юриспруденции.
– уважение нашим ученым.
