Эксперты ВТБ рассказали, как снизить риски ИИгаллюцинаций
Эксперты ВТБ рассказали, как снизить риски ИИгаллюцинаций
Специалисты ВТБ назвали ключевые способы борьбы с галлюцинациями нейросетей генерацией текста, который выглядит правдоподобно, но содержит вымышленные факты, неточные данные или ссылки на несуществующие источники. Подобные ошибки способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса.
Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых, на самом деле, нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому такие ошибки выглядят правдоподобно, но вводят в заблуждение. В первую очередь снизить количество галлюцинаций можно за счет четко сформулированных запросов. Чем точнее и понятнее формулировка, тем меньше вероятность, что модель начнет фантазировать. Но все же самый надежный способ контроля это внимательная проверка результата человеком, сообщил Лев Меркушов, руководитель направления разработки ИИ-решений ВТБ.
Как отметил лидер команды по разработке моделей Алексей Пустынников, для предотвращения искажений информации со стороны ИИ важно понимать и учитывать и характер самих ошибок. Языковые модели не понимают смысл информации и не проверяют ее достоверность в реальном времени, поэтому сбои проявляются поразному. В одних случаях система искажает проверяемые данные, в других формирует вымышленные сведения или неправильно следует заданным инструкциям.
Галлюцинации в работе языковых моделей можно условно разделить на несколько типов. Есть фактические галлюцинации, когда модель выдает проверяемую информацию с ошибками. Например, указывает неправильное имя изобретателя или дату события, либо создает несуществующую связь между объектами. Есть фабрикация фактов, когда нейросеть просто придумывает данные, которые невозможно подтвердить, либо преувеличивает их значение. И отдельная группа галлюцинации при следовании инструкциям: модель может выполнить другую операцию вместо заданной, не учесть контекст или допустить логические ошибки, например, утверждать, что дважды два равно шести, сказал Алексей Пустынников.
Причины возникновения ИИгаллюцинаций связаны с особенностями обучения и работы языковых моделей. Они формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, поэтому при нехватке или противоречивости информации стремятся додумать ответ. Дополнительную роль играют ограничения обучающей выборки: модели не обладают сведениями о событиях, произошедших после окончания сбора данных, не имеют доступа к проверке фактов в реальном времени. В результате ошибки могут возникать как изза недостатка знаний в редких областях, так и изза неточностей или искажений, изначально содержащихся в используемых данных.