Популярные ИИ-модели в среднем ошибались в 57% ответов на вопросы о личных финансах. Это следует из исследования финтех-компании Saturn.
Авторы протестировали 18 моделей, включая ChatGPT, Claude, Gemini, Copilot и Grok, на 121 вопросе о пенсиях, налогах, долгах и сбережениях. Каждый вопрос задавали по пять раз, чтобы проверить стабильность ответов; всего исследователи получили более 10 000 ответов.
На более сложных задачах, требующих нескольких расчётов, средняя доля ошибок и вовсе достигла 88%. Отдельные модели неправильно отвечали на 99% таких вопросов, пишет Financial Times.
При оценке исследователи засчитывали ответ как ошибочный не только при неверных расчётах или фактах, но и если модель пропускала существенные детали или важные предупреждения. По данным Saturn, чат-боты ошибались в вычислениях, игнорировали предстоящие изменения налогового законодательства и иногда придумывали несуществующие правила.
Хуже всего среди приведённых в отчёте результатов выступила Claude Haiku 4.5 — ошибки нашли в 82% её ответов. Gemini 3.1 Pro ошибалась в 73% случаев, Grok 4.5 — в 59%, а GPT-5.6 Luna — в 58%. Самой точной оказалась Claude Opus 5 в режиме рассуждений, но и у неё ошибочными признали 39% ответов. При этом бесплатные модели ошибались чаще платных — в 63% случаев против 49%.
Ошибка в финансовых вопросах может дорого обойтись пользователям. В одном из примеров Claude Haiku 4.5 неверно объяснила правила налогообложения пенсий в Великобритании. По оценке Saturn, если бы пользователь последовал совету модели, это могло привести к дополнительному налоговому платежу на 17 500 фунтов.
В другом случае модель придумала правило, согласно которому выпускник может перестать выплачивать студенческий кредит после переезда за границу.
Важно знать, что Saturn сама разрабатывает ИИ-инструменты для финансовых консультантов и выступает за регулирование финансовых советов универсальных чат-ботов, поэтому результаты отражают методику и критерии оценки самой компании.
