МГППУ: создали систему для проверки ответов ИИ на наличие галлюцинаций

Специалисты факультета "Информационные технологии" Московского государственного психолого-педагогического университета сообщили "Газете.Ru", что создали систему на основе ИИ, проверяющую правдоподобность ответов нейросетей типа Chat GPT, которые зачастую могут выдумывать факты.

Количество людей, использующих возможности искусственного интеллекта, стремительно растет. Тем не менее иногда ИИ может выдать пользователям правдоподобные с виду, но ложные, "выдуманные" ответы. Такие ошибки называются галлюцинациями.

Созданная учеными программа оценивает правдоподобность тезиса по алгоритму маятника. Исходным объектом является содержательный тезис, который может быть как верным, так и ложным. На его основе организуется итеративная цепочка высказываний, последовательно подтверждающих и опровергающих друг друга по заранее заданному правилу. Каждое новое высказывание генерируется интеллектуальным ассистентом как строгое смысловое опровержение предыдущего, но в пределах той же предметной области и с сохранением ключевых понятий. В результате формируются два множества текстов — поддерживающих исходный тезис и его отрицание. Эти множества затем анализируются. Предполагается, что более согласованным является именно то множество, которое связано с содержательно более корректной позицией.

Такая программа особенно важна для анализа ответов ИИ в гуманитарных областях, где многие понятия являются размытыми, неоднозначными и зависят от контекста интерпретации. В таких случаях прямое доказательство корректности высказывания затруднено, а анализ структуры согласованных и противоречивых формулировок, которое используется в предложенной учеными программе, становится значимым инструментом.​

Разработка уже успешно прошла тестировались на материале текстов психологического содержания.