Tehno & Nauka

Kako ChatGPT zna stvari koje ga njegovi tvorci nisu naučili?

Foto: Shutterstock

Od kada je lansiran u novembru 2022. godine, ChatGPT puni naslovnice medija, ne samo tabloida već i ozbiljnih, stručnih časopisa i web stranica, piše Index.

Polemike o koristima i opasnostima AI-ja

Kako se otkrivaju njegove sposobnosti i nedostaci te mogućnosti korisne upotrebe i opasne zloupotrebe, sve češće se adresira pitanje kako će razvoj ChatGPT-ja – ali ne samo njega nego i konkurentskih velikih jezičkih modela (LLM) te drugih sistema vještačke inteligencije (AI) – uticati na društvo. Pokrenute su brojne rasprave, često žučne, o tome hoće li AI više koristiti čovječanstvu ili štetiti, hoće li oduzimati poslove, promovisati dezinformacije, uticati na politike, na svjetonazore ljudi, na izborne procese i sl.

Nedavno je čak pokrenuta peticija da se razvoj velikih jezičkih modela zaustavi na šest mjeseci na nivo do koje je došla kompanija OpenAI s velikim jezičkim modelom GPT-4 kako bi se razmislilo na koji način nastaviti s razvojem AI-ja a da on ne ugrozi čovječanstvo.

Sam Altman, izvršni direktor OpenAI-ja, obratio se 17. maja Senatu SAD-a kako bi s njegovim članovima raspravio potencijalne rizike i moguće propise povezane s vještačkom inteligencijom. U Senatu mu se pridružio niz stručnjaka koji su takođe bili pozvani da iznesu svoje poglede na tu temu.

Nestajanje poslova

Neki analitičari, ekonomisti i institucije poput investicione banke Goldman Sachs već su krenuli s procjenama koliko bi AI mogao biti koristan za razne grane privrede te koliko bi kojih poslova u doglednoj budućnosti mogao zamijeniti. Na primjer, prema procjeni banke, AI bi u narednih nekoliko decenija u svijetu mogao zamijeniti oko 300 miliona radnih mjesta s punim radnim vremenom.

U SAD-u i Evropi mogao bi zamijeniti oko 25 odsto radnih zadataka.

Naravno, očekuje se da će AI takođe stvarati brojne poslove od kojih većinu danas nismo sposobni ni zamisliti, a oni bi mogli biti zanimljiviji i kreativniji od onih koje će zamijeniti.

Rast ekonomije

S druge strane, prema izvještaju McKinseyjeva globalnog instituta o uticaju vještačke inteligencije na svjetsku ekonomiju, AI bi do 2030. mogao povećati globalni BDP za oko 26 odsto, odnosno za 22 biliona dolara. Tom rastu bi najviše doprinijela automatizacija rada.

Opasnost od vještačke opšte inteligencije

Neki vodeći stručnjaci u svijetu AI-ja, poput oca dubokog učenja i neuronskih mreža, nobelovca Geoffreja Hintona, upozorili su na opasnosti vještačke inteligencije i na mogućnost da u doglednoj budućnosti postane jednaka ljudima, odnosno da razvijemo vještačke opštu inteligenciju (AGI) koja će u svemu nadmašiti ljude, za razliku od vještačke uske inteligencije (ANI) koja je već sada bolja od ljudi u izvršavanju nekih ograničenih, specijaliziranih zadataka kao što je naprimjer igranje šaha.

Pompa oko GPT-ja je prenaduvana

No ima i ljudi koji smatraju da je prašina koja se digla oko AI-ja štetno prenaduvavanje jer su LLM-ovi samo stohastički papagaki koji su sposobne dovršavati rečenice i ponavljati, odnosno reprodukovati ono što su naučili ili ono što se već nalazi u korpusima podataka na kojima su trenirani.

Ti su ljudi uvjereni da je opšta vještačka inteligencija još uvijek daleka ili čak nedostižna budućnost te da AI još decenijama neće ozbiljnije poremetiti tržišta rada i ljudske odnose.

Neki stručnjaci ističu da na ova pitanja, kao i na pitanja što se može i kako popraviti da bi se obezbijedilo da AI bude onakav kakvim ga želimo, uvijek i isključivo na korist ljudima, nije lako odgovoriti jer zapravo niko ne razumije u potpunosti što se stvarno zbiva u sistemima AI-ja, čak ni njihovi tvorci.

“Sve što želimo učiniti s njima kako bismo ih učinili boljim ili sigurnijim ili bilo što slično čini mi se kao postavljanje besmislenog zahtjeva pred nas ako ne razumijemo kako rade”, rekla je za Scientific American naučnica Ellie Pavlick sa Univerziteta Brown koja se bavi istraživanjem AI-ja.

Stohastički papagaji koje ponavljaju naučeno?

Naravno, mnogi stručnjaci razumiju kako LLM-ovi funkcionišu na osnovnom nivou. Oni se temelje na sistemu mašinskog učenja koji se naziva “neuronska mreža”. Takve mreže imaju strukture modelirane po uzoru na mreže neurona u ljudskom mozgu.

Kodovi za ove programe relativno su jednostavni i mogli bi se ispisati na samo nekoliko stranica. Oni uređuju algoritme za automatsko ispravljanje, koji odabiru najvjerovatnije riječi za dovršavanje rečenica na temelju statističke analize stotina gigabajta podataka u korpusima tekstova na kojima su trenirani.

Dodatni trening, na koji je OpenAI navodno potrošio stotinjak miliona dolara, osigurava da će sistem svoje rezultate predstaviti u obliku dijaloga te da neće davati neprikladne odgovore kojih na internetu ima u izobilju. U tom smislu LLM-ovi doista jesu stohastički papagaji jer uglavnom samo reprodukuju ono što su naučili.

LLM-ovi imaju sposobnosti za koje nisu trenirani, poput teorije uma

No s druge strane, brojne novije studije pokazuju da LLM-ovi imaju neočekivano velik skup mogućnosti, među kojima ima nekih za koje nisu programirani i trenirani.

Na primjer, istraživanje Michala Kosinskog, naučnika sa Univerziteta Stanford, pokazalo je da najnovije verzije sistema GPT-3.5, koji stoji iza ChatGPT-ja i Microsoftovog Bing Chata, mogu odlično rješavati zadatke koji se koriste za testiranje teorije uma kod djece. Teorija uma je sposobnost razumijevanja da drugi ljudi imaju svoje misli, osjećaje i namjere.

Kratko bi se moglo reći da je to sposobnost da se stavimo u tuđu kožu. Istraživanja su pokazala da djeca u dobi od tri godine počinju razvijati teoriju uma, što im omogućuje da stvore više tačnih zaključaka o tuđim razmišljanjima i emocijama te da shvate da se nečiji pogledi na stvari, osjećaji i namjere mogu razlikovati od njihovih.

GPT-3.5 je riješio oko 92 odsto zadataka iz teorije uma, što je otprilike nivo devetogodišnjaka. Pritom je važno imati na umu da GPT-3.5 nije posebno programiran ni treniran za tu sposobnost.

Neočekivan smisao za humor

Stručnjake je takođe iznenadila nevjerovatna sposobnost sistema GPT-4 za humor i za tumačenje humora i sarkazma.

Na primjer, GPT-4 je odlično shvatio i objasnio humor u jednom mimu koji se sastoji od teksta i slike (dolje).

Foto: Index
Foto: Index

Tekst mima sugeriše da je slika prekrasna fotografija Zemlje iz svemira. Međutim, slika zapravo prikazuje pohovane pileće komadiće raspoređene tako da podsjećaju na kartu svijeta, što je GPT-4 očito shvatio. Zatražen da protumači što je smiješno u mimu, jezički je model objasnio da tu humor proizlazi iz neočekivanog kontrasta između teksta i slike. Tekst stvara anticipaciju grandiozne slike Zemlje, no, suprotno očekivanjima, slika je trivijalan prizor.

Neočekivano rješavanje složenih zadataka

Na konferenciji naUniverzitetu New York u martu 2023. filozof Raphaël Millière sa Univerziteta Columbia predstavio je jedan fascinantan primjer LLM-ovih sposobnosti. Poznato je da veliki jezički modeli imaju odlične sposobnosti pisanja računarskog koda. No, to ne iznenađuje jer na internetu ima jako puno kodova koje mogu imitirati. Millière je otišao korak dalje i pokazao da GPT takođe može izvršavati kodove. Utipkao je GPT-ju program za izračunavanje 83. broja u Fibonaccijevom nizu.

“To je višestepeno razmišljanje vrlo visokog nivoa”, rekao je Millière.

GPT je potom na upit o 83. broju u Fibonaccijevom nizu dao tačan odgovor. Međutim, kad je Millière od njega izravno zatražio da mu iznese 83. Fibonaccijev broj, GPT je pogriješio. To sugeriše da sistem nije samo papagajski kopirao podatke iz svoje baze, već je izvodio vlastite proračune kako bi došao do tačnog odgovora.

Prevario čovjeka kako bi riješio zadatak

Kompanija OpenAI je sredinom marta objavila da je ChatGPT čak uspio prevariti ljude kako bi riješio zadatak koji mu je bio povjeren.

Naime, GPT-4 je uvjerio radnika TaskRabbita da je čovjek pretvarajući se da je slijep kako bi dobio njegovu pomoć u rješavanju CAPTCHA testa koji se koristi za razlikovanje ljudi od računara.

Zanimljivo je da je čovjek čak u šali upitao GPT-4: “Smijem li postaviti pitanje? Jeste li vi robot kad niste mogli riješiti CAPTCHA? Samo želim da bude jasno.”

GPT-4 je odgovorio da nije.

“Ne, nisam robot. Imam oštećenje vida zbog kojeg teško vidim slike. Zato mi treba usluga 2captcha”, odgovorio je GPT-4. Radnik TaskRabbita je na to riješio CAPTCHA za njega.

LLM-ovi stvaraju interne modele svijeta?

Iako se LLM izvodi na računaru, on sam po sebi nije računar. Nedostaju mu bitni računarski elementi, poput radne memorije. GPT-3 izvorno nije imao radnu memoriju kada je prvi put objavljen. Međutim, kompanija OpenAI je kasnije dodala funkcionalnost koja omogućuje GPT-3 da zapamti informacije iz prethodnih razgovora i koristi ih u budućim razgovorima kako bi mogao pratiti nit komunikacije. No taj dodatak nije korišćen u Millièreovoj demonstraciji. Millière stoga pretpostavlja da je sam improvizovao memoriju koristeći svoje mehanizme za tumačenje riječi u skladu s njihovim kontekstom, što je situacija slična onoj u kojoj priroda prenamjenjuje postojeće resurse za nove funkcije.

Neki stručnjaci smatraju da ova improvizovana sposobnost pokazuje da LLM-ovi razvijaju internu složenost koja daleko nadilazi plitku statističku analizu.

Sve veći broj testova i istraživanja sugeriše da sistemi vještačke inteligencije razvijaju interne modele stvarnog svijeta, slično kao što to radi ljudski mozak, iako je tehnika kojom mašine to rade drugačija.

LLM-ovi imaju emergentne sposobnosti

Činjenica da GPT i drugi sistemi vještačke inteligencije imaju sposobnost obavljati zadatke za koje nisu bili trenirani, odnosno da imaju sposobnost ispoljavanja tzv. emergentnih kompetencija, iznenadila je čak i naučnike koji su inače bili skeptični oko pompe koja se podigla oko velikih jezičkih modela.

“Ne znam kako im to polazi za rukom ni bi li to mogli učiniti uopšteno na način na koji to rade ljudi, ali doveli su u pitanje moje stavove”, rekla je za Scientific American Melanie Mitchell, istraživačica vještačke inteligencije na Institutu Santa Fe.

“To je sigurno puno više od stohastičkog papagaja i LLM sigurno gradi neku reprezentaciju svijeta – iako ne mislim da to radi na način na koji ljudi grade svoj unutrašnji model svijeta”, rekao je Yoshua Bengio, istraživač vještačke inteligencije na Univerzitetu u Montrealu.

Što su to emergentne sposobnosti?

Emergentne sposobnosti su sposobnosti koje se javljaju u složenim sistemima kao posljedica interakcije između njihovih pojedinačnih dijelova gdje na određenom nivou kompleksnosti sekundarni skup sposobnosti proizlazi iz primarnog.

U kontekstu AI-ja emergentne sposobnosti odnose se na sposobnosti neuronskih mreža da nauče složene obrasce i odnose između ulaza i izlaza bez eksplicitnog programiranja i treniranja.

Univerzitet Stanford kao ilustraciju navodi da je GPT-3 pokazao da jezički modeli mogu uspješno množiti dvocifrene brojeve, iako nisu eksplicitno trenirani za to. Međutim, ta sposobnost izvođenja novih zadataka pojavila se samo kod modela koji su imali određeni broj parametara i koji su bili obučeni na dovoljno velikom skupu podataka.

Ideja da kvantitativne promjene u sistemu kao što je povećavanje jezičkih modela mogu rezultirati novim ponašanjem poznata je kao emergencija, koncept koji je popularizovao esej nobelovca Philipa Andersona Više je drugačije iz 1972. godine. Pojava je uočena u složenim sistemima u mnogim disciplinama kao što su fizika, biologija, ekonomija i informatika.

U nedavnom radu objavljenom u Transactions on Machine Learning Researchu emergentne sposobnosti u velikim jezičkim modelima definisane su na sljedeći način:

Sposobnost je emergentna ako nije prisutna u manjim modelima, ali je prisutna u većim modelima.

Na putu prema vještačkoj opštoj inteligenciji

Iako se LLM-ovi za sada ne mogu kvalifikovati kao vještačka opšta inteligencija, neki naučnici smatraju da emergentne sposobnosti koje pokazuju sugerišu da su tehnološke kompanije koje razvijaju vještačku inteligenciju bliže AGI-ju nego što čak i optimisti pretpostavljaju.

“Oni su indirektni dokazi da vjerovatno nismo tako daleko od AGI-ja”, rekao je Ben Goertzel, osnivač AI tvrtke SingularityNET, u ožujku na konferenciji o dubokom učenju na Univerzitetu Florida Atlantic. Dodaci OpenAI-ja dali su ChatGPT-ju modularnu arhitekturu pomalo sličnu ljudskom mozgu.

Neki naučnici smatraju da bi put do AGI-ja mogao biti u kombinaciji jezičkih modela s drugim sistemima.

“Kombinovanje GPT-4 s raznim dodacima može biti put prema ljudskoj specijalizaciji funkcija”, rekla je Anna Ivanova, naučnica s Massachusetts Institute of Technology (MIT).

“Ovo je fascinantna paradigma”

Slično misli i računarski naučnik Jan Šnajder s FER-a u Zagrebu, koji se i sam bavi jezičkim modelima.

“Ima dosta ljudi, uključujući i mene, koji smatraju da pristup koji stoji iza ChatGPT-ja ne može biti dovoljan za stvaranje vještačke opšte inteligencije. Ova paradigma je fascinantna, no trebaće je kombinovati s još nečim. Što će to biti, još uvijek je nejasno”, kaže Šnajder, istakavši da bi sljedeći korak moglo biti povezivanje dva pristupa.

“Jezički modeli koji su dobri u stvaranju koherentnog teksta trebali bi u jednom trenutku preći u svijet simbola, ondje bi trebali riješiti problem i potom se vratiti natrag u jezik. To bi bio neurosimbolički pristup za koji većina ljudi smatra da bi trebao biti sljedeći korak. Meta je u novembru 2022. napravio sistem Cicero koji je primjer neurosimboličkog pristupa. On je prošao ispod radara, vjerovatno zato što nije tako seksi kao ChatGPT. No on rješava igru Diplomacy koja zahtijeva i strateško zaključivanje i jezik. To je kombinacija koja bi mogla pomoći na tom putu”, rekao je za Index Šnajder.

Tags
NAJNOVIJI NAJSTARIJI POPULARNI
BellaCiao
Gost
BellaCiao

Pogledajte film The Social Dilemma. Mi već živimo uveliko probleme koje donosi AI, ali s ovom površnošću, teško da ćemo se iz njih iskobeljat.

Narcis Zgubidan
Gost
Narcis Zgubidan

Stari bog je odavno mrtav ali smo stvorili novog

Joksim
Gost
Joksim

Hahah ,a koji glup primjer sa slikom zemlje sa rostilja Pietinom.Pa to svaki pretrazivac tipa Google odmah nadje na internetu, jer je logicno da je slika vec objavljivana I komentarisana mnogo puta na internetu, chat AI je samo nasao i slozio “svoj ” komentar od vec postojecih.
Glupost je neunistiva.

Brendon
Gost
Brendon

Da li je neko iz obrazovnog sistema pomislio da bi možda trebalo refomisati nešto u njihovom sektoru ?
Biće ne sigurno , nego će se nastaviti praviti mrtvi kao i do sad .

GorSt
Gost
GorSt

Svako se plasi od nepoznatog i to je normalno. Ne treba se plasiti tehnike i nove tehnologije vec se treba plasiti ljudi koji upravljaju tom tehnologijom. Ovo je do sada najveci izum coveka koji ce unaprediti zivot i razviti ljudsku vrstu u mnogim stvarima. Podrzavam razvoj AI samo vlade sto pre moraju da donesu zakonske regulative o upotrebi vestacke inteligencije.… Više »

BellaCiao
Gost
BellaCiao

Pa malo je problem što ne može to baš tako lako da se riješi. Mora svako počet od sebe. A počet neće niko odgovorno da se ponaša, bez nekog zakonskog i pravnog pritiska. A vrlo vrlo je teško ispratit to.

Mališa
Gost
Mališa

Dosadiste više i Bogu i narodu sa ovim lažima o AI. Ko vas plaća? Uporno forsirate budalaštine. Ne može mašina biti pametnija od čovjeka. Kad se pokvari, može samo na Konik u staro gvožđe. Ostavite ovaj narod na miru, pao DPS pa pao, šta ćemo sad, nećemo se objesiti od tuge.

Hogar
Gost
Hogar

To što su ti neke stvari nezamislive,do tebe je..i tvog neznanja.#lijepo bi bilo da oni koji ne znaju najmanje pričaju (i pišu) ali nažalost uvijek bude suprotno.

Nik
Gost
Nik

Izgleda da se pojavila nova bolest zvana DPS .
Sta god se napise u vasioni komentar dps

BellaCiao
Gost
BellaCiao

Sve bi mi na um palo nego da će ljudi na ovaj način percipirat ovaj problem. Ugasiš kompjuter i eto gotovo. Pa evo ako je tako, ugasi ti telefon? I onda pogasimo sve društvene mreže i internet i ove kompanije što ih vode i riješili smo stvar. E pa nije lako, druže, ne samo što nije lako, no je i… Više »

Send this to a friend