Tehisintellekt on dokumentidest kokkuvõtete tegemisel igas mõttes kehvem kui inimesed ja võib inimestele pigem lisatööd tekitada. See järeldus selgus Austraalia valitsuse läbiviidud tehisintellekti tehnoloogia katsetustest.
Amazon viis käesoleva aasta alguses Austraalia börsiettevõtteid reguleeriva väärtpaberi- ja investeerimiskomisjoni (ASIC) tellimusel läbi katse, kasutades komisjoni poolt uuringule esitatud andmeid.
Austraalia väärtpaberi ja investeerimiskomisjoni tellitud katse kätkes erinevate genereerivate tehisintellekti mudelite testimist, enne kui valiti parim, mis neelas pärast valituks osutumist endasse analüüsimiseks viis audiitor- ja konsultatsioonifirmade poolt esitatud raportit.
Kõige võimekamaks osutunud (Meta avatud lähtekoodiga Llama2-70B tüüpi) tehisintellekti mudelil, kästi testi käigus teha kokkuvõtteid sisestatud raportitest, eesmärgiga keskenduda nendes Austraalia väärtpaberi- ja investeerimiskomisjoni esitatud soovitustele koos taustaks vajaliku konteksti loomisega.
Kümnele ASICi töötajale anti aga paralleelselt sama ülesanne sarnaste eesmärkidega.
Seejärel hindas rühm hindajaid nii inimeste kui tehisintellekti koostatud kokkuvõtteid, klassifitseerides neid kooskõlalisuse, pikkuse, ASICi viidete, regulatsiooniviidete ning soovituste tuvastamise osas. Oluline on märkida ka asjaolu, et hindajate rühm ei olnud teadlik, et nende hindamise subjektide seas oli ka tehisintellekt.
Testis osalenud hindajad leidsid, et inimeste poolt koostatud kokkuvõtted nendele esitatud materjalidest ületasid tehisintellekti poolt koostatud tööd kõikide parameetrite alusel, kusjuures inimeste poolt koostatud kokkuvõtete keskmiseks hindeks sai 81%, tehisintellekti kesise 47% vastu.
Hindajad olid seisukohal, et tehisintellekti kokkuvõtted jätsid sageli tähelepanuta rõhuasetused, nüansid ja konteksti ning sisaldasid ka omajagu palju ebaõiget ja ebaolulist teavet. Mis on eriti markantne, on aga asjaolu, et kolm hindajat viiest arvasid tehissintellekti poolt kokku pandud tekste analüüsides, et tegemist on masina poolt kokku pandud tekstiga, kuigi nende teadmist mööda olid kõik hinnatavad subjektid inimesed.
Tehisintellekti testi kandvaks mõtteks oli aga tõdemus, et masina genereeritud tekstid ei ole mitte üksnes oluliselt vähem kvaliteetsed, vaid võivad inimeste töökoorma vähendamise asemel seda hoopiski juurde tekitada, seoses täiendava kohustusega kontrollida masina tekitatud vigu ning praaki.
Toimetas Adrian Bachmann