Meşhur emeli aň modelleri şahsy maliýe baradaky soraglara beren jogaplarynyň ortaça 57 göteriminde ýalňyşlyk goýberdi. Bu barada Saturn finteh-kompaniýasynyň geçiren synagynyň netijelerinde aýdylýar.
Hünärmenler ChatGPT, Claude, Gemini, Copilot we Grok ýaly 18 sany modeli pensiýalar, salgytlar, karzlar hem-de tygşytlanan pul serişdesi baradaky 121 sorag boýunça synagdan geçirdi. Jogaplaryň durnuklylygyny barlamak üçin her bir sorag bäş gezek gaýtalandy, hünärmenler jemi 10 000-den gowrak jogap aldy.
Birnäçe hasaplamalary talap edýän has çylşyrymly meselelerde bolsa säwlikleriň ortaça paýy 88 göterime deň boldy. Käbir modeller şeýle soraglaryň 99 göterimine nätakyk jogap berdi diýip, «Financial Times» gazeti ýazýar.
Baha berlen mahalynda, model tarapyndan wajyp jikme-jiklikleriň we möhüm duýduryşlaryň gözden gaçyrylmagy hem, edil nädogry hasaplamalar ýa-da faktlar ýaly, jogabyň ýalňyş hökmünde kabul edilmegine sebäp boldy. Saturn kompaniýasynyň maglumatlaryna görä, çat-botlar hasaplamalarda ýalňyşdy, salgyt kanunçylygynyň öňde duran üýtgeşmelerini ret etdi we käte ýok düzgünleri hem oýlap tapdy.
Hasabatda getirilen netijeleriň arasynda iň pes görkezijini Claude Haiku 4.5 görkezdi — onuň jogaplarynyň 82 göteriminde ýalňyşlyk tapyldy. Gemini 3.1 Pro 73 göterim, Grok 4.5 — 59 göterim, GPT-5.6 Luna bolsa 58 göterim ýagdaýda ýalňyşlyk goýberdi. Iň takyk model pikirlenmek düzgüninde işlän Claude Opus 5 boldy, ýöne onuň hem jogaplarynyň 39 göterimi ýalňyş diýlip ykrar edildi. Şunlukda, mugt modeller tölegli modellerden has köp ýalňyşlyk goýberdi — 49 göterime garşy 63 göterim ýagdaýda.
Maliýe meselelerindäki ýalňyşlyk ulanyjylara gymmata düşüp biler. Meseleleriň birinde Claude Haiku 4.5 Beýik Britaniýadaky pensiýalara salgyt salmagyň düzgünlerini ýalňyş düşündirdi. Saturn kompaniýasynyň baha bermegine görä, eger ulanyjy modeliň maslahatyna eýeren bolsa, bu 17 500 funt sterling möçberinde goşmaça salgyt tölegine getirip bilerdi.
Başga bir ýagdaýda model uçurymyň daşary ýurda göçüp gidenden soň talyp karzyny tölemegini bes edip biljekdigi barada asla ýok düzgüni oýlap tapdy.
Bellemeli ýeri, Saturn kompaniýasynyň özi maliýe geňeşçileri üçin emeli aň gurallaryny işläp düzýär we köp ugurly çat-botlaryň maliýe maslahatlaryny düzgünleşdirmegiň tarapdary hökmünde çykyş edýär, şol sebäpli alnan netijeler diňe kompaniýanyň öz usulyýetini we baha beriş ölçeglerini görkezýär.
