Sotsiaalvõrgu Facebook emaettevõtte Meta palgal olev küberneetikute meeskond mõtles välja uudse tehisaru mudelite, nagu seda on näiteks OpenAI GPT-4 suur keelemudel, hindamise süsteemi.
Arvutiteadlaste rühm, kelle hulgas on üks "tehisaru ristiisasid" ja Meta juhtivteadlane Yann LeCun, panid kokku GAIA nimelise tehisaru jõudlustesti. GAIA koosneb 466 küsimusest, millele vastamine on inimeste jaoks süsteemselt lihtne, kuid ka kõige võimsamate tehisaru mudelite jaoks kujutab tõsist väljakutset, vahendab Futurism.
Testi tulemused on kõnekad. Uuringus osalenud inimesed oskasid keskmiselt õigesti vastata 92-protsendile küsimustest, samas GPT-4, millele olid lisatud mõned talitlust parandavad pistikprogrammid, suutis leida õige vastuse vaid 15 protsendile küsimustest. OpenAI hiljuti valminud GPT4 Turbo suure keelemudeli (large language model; LLM) tulemus jäi alla 10 protsendi.
Kuna uuringus vaadeldi ainult OpenAI suuri keelemudeleid, siis pole teada, millised võiksid olla Meta enda Llama 2-e või Google'i Bardi saavutused.
Uuring osutab, et suure tõenäosusega on tehisaru arendajate üks pühadest graalidest, nõndanimetatud tehislik üldaru (artificial general intelligence; AGI), veel päris kaugel. AGI on kujuteldav tehisaru vorm, mis ületab inimeste intellektuaalset võimekust.
Küberneetikud kirjutavad uuringus: "Osutatud märkimisväärsed võimete ebavõrdsused on vastuolus viimase aja arengutega, mis näitavad, nagu tehisaru ületaks inimesi teatud erialastes valdkondades, nagu näiteks juura ja keemia."
Jaanuaris teatas tehisaru arendaja Anthropic, et selle Claude'i nimeline juturobot läbis George Masoni Ülikooli juura- ja majandusteaduse eksami. Osutatud eksameid hinnati õppejõudude poolt "pimedalt" ehk nad ei teadnud, kes on vastaja. Claude suutis õigesti vastata minimaalsele arvule eksami läbimiseks vajalikest küsimustest.
OpenAI väidab GPT-4 tehnilises ülevaates, et mudel suudab "talitleda erinevates erialastes ja teaduslikes jõudlustestides inimese tasemel". Juuraeksami suutis GPT-4 OpenAI sõnul läbida 10 protsendi parimate vastajate hulgas.
Tehisaru maailma mõistmine on piiratud
LeCun on üks jõulisematest tulevikunägemuse, nagu ära pööranud AGI võiks kujutada ohtu inimeste olemasolule, kriitikutest
"LLM-idel on ilmselgelt *teatud* mõistmine, mida nad loevad ja loovad. Kuid see mõistmine on väga piiratud ja pinnapealne. Kui see nii poleks, siis need ei esitaks nii palju väljamõeldisi ja ei teeks terve mõistuse vastu käivaid vigu," kirjutas ta sotsiaalmeedias.
Kui uskuda kuulujutte, siis OpenAI ehitab uue põlvkonna Q* nimelist LLM-i, mida hääldatatakse Q-täht (Q-Star), mis oskab teatud tasemel deduktiivselt arutleda ja tegevusi "ette planeerida".
Toimetas Karol Kallas