Найпопулярніші ШІ-моделі можуть давати неправильні відповіді на фінансові запити у більш ніж половині випадків, а на складних завданнях із кількома етапами розрахунків частота помилок зростає ще сильніше. Використання таких відповідей без перевірки може призвести до серйозних фінансових втрат.
Про це пише Financial Times із посиланням на дослідження технологічної компанії Saturn. У межах тестування понад 10 тисяч фінансових запитань перевірили на 18 ШІ-моделях, зокрема ChatGPT, Claude, Copilot, Grok і Gemini.
У середньому моделі давали неправильні відповіді у 57% випадків. Для складніших запитань, які вимагали кількох розрахунків або послідовних кроків, частка помилок сягала 88%, а окремі моделі помилялися до 99% таких завдань.
Серед типових проблем дослідники зафіксували неправильні обчислення, ігнорування змін у податкових правилах та навіть вигадування неіснуючих фінансових норм. В одному з випадків помилкова відповідь Claude Haiku 4.5 могла призвести до податкового штрафу для користувача на £17,5 тис.
Новіші та платні моделі загалом показували кращі результати. Найточнішою в тесті стала Claude Opus 5 у режимі посиленого міркування, однак навіть вона давала неправильні відповіді приблизно у 39% випадків.
Експерти застерігають, що ШІ може бути корисним для базового планування бюджету або пошуку загальної фінансової інформації, але його відповіді не варто використовувати як єдину основу для рішень щодо податків, пенсій, інвестицій чи кредитів без додаткової перевірки.
