Brovarišice in brovariši,
medspletna situacija se zaostruje.
Danes bomo zvrha pokomentirali sveže sprintano, še toplo raziskavo o jezikovnih modelih in njihovih sposobnostih sklepanja. Ne zato, ker bi nas zanimalo drobovje jezikovnih modelov, ali pa njihove (ne)kul sposobnosti, ampak zato, ker se v raziskavi elegantno izostri vprašanje o iluziji. Mimogrede, več o raziskavi si lahko prebere več na sledeči povezavi: https://www.computing.co.uk/news/2024/ai/researchers-find-flaws-llm-reasoning
Spoiler alert – Applovi inženirji, ki so avtorji raziskave, skozi serijo pretkanih trikov in pregovarjanja pridejo do sledečega zaključka: Jezikovni modeli nimajo prave sposobnosti sklepanja temveč samo iluzijo sposobnosti sklepanja. Posnemajo korake sklepanja v kolikor se ti koraki nahajajo v njihovem učnem nizu. Podrobnosti o postopku ali pa če si želite dobiti nadmoči zavajanja jezikovnih modelov za impresioniranje na žurih, si preberite več na zgornji povezavi.
Torej iluzija sposobnosti sklepanja. Kdaj lahko za poljubni subjekt rečemo, da nekaj zna »za res?« In BTW, ja, za subjekt tretiramo softver tako, kot bi človeka – ali pa kar koli drugega, ki je podvrženo ostalim stvarem. Mnogo primerov bi lahko vzeli ampak poskusimo vzeti takšnega, ki je najbližje jezikovnim modelom. In sicer učenju jezika. Ko se učimo jezika, je na delu neprestan proces posnemanja. Posnemam učitelja v izgovorjavi, kolega v naglasu. Posnemam slovnični zapis pravil, pisavo, ki mi je predstavljena tekom učnega postopka. Ves čas se gradi učni niz in moje interaktiranje z njim v obliki posnemanja. Kdaj jezik znam »za res?« Ko naredim maturo z odliko? Ko se pogovarjam s kolegom v njegovem maternem jeziku brez naglasa? Ko sam pri sebi razmišljam v jeziku katerega se učim? Načeloma so vsi ti primeri praktično ocenjeni. Znanje je praktično, četudi je iluzorno. V klasičnem kontekstu, ki ga vsi razumemo bi rekli, da smo se nekaj napiflali brez da bi razumeli. Ali smo znali »za res?« Ali pa so jezikovni modeli samo velikanski avtomatizirani piflarji, ki posnemajo sisteme razmišljanja večjega dela človeštva? Rečeno na primeru piflanja, je odgovor dokaj jasen. Če se nekdo nekaj napifla, brez da bi razumel, je njen izkupiček specifičen, manj splošen, manj obsežen in zaprt v ožino primerov napiflanja. Razumevanje načeloma leži ravno v sposobnosti identificiranja in preseganja lastnih kriterijev. S čimer lahko operiram (praktično ali pa ne) na veliko večjem prostoru. Toda raziskava za naše razmere odpira bolj radikalno perspektivo: ali je med piflanjem in razumevanjem vsebinska razlika ali gre samo za razliko v stopnji?
Če je iluzija orientacijski kriterij, potem sežemo v globoko brezno, ki morda nima niti dna niti vrha. Saj pomeni, da mora iluzija delovati kot igriva tančica ali plasti čebule, ki jih odlimavamo, da pridemo do jedra. Toda, kaj je takšno jedro »pravega razumevanja« v našem primeru? Iluzija implicira zavajajočo lastnost: Nepristnost pretvarjanja. Raziskava sama tudi dokaj neoporečno zasede mesto, da je med, po naše, piflanjem in razumevanjem ključna vsebinska razlika. Da gre za dve fundamentalno različni stvari. Toda potem uporabi praktične kriterije, s katerimi merimo razumevanje … taistimi, s katerimi bi merili razumevanje »za res.« Razumem, da sem malo ne-fer in da na področju primankuje načinov in orodij za takšno globoko semantično analizo outputov programske opreme.
Dokler ne najdemo boljšega, celovitejšega, načina, kako natančno ločiti jedro čebule od njenih listov, piflanja od razumevanja, se moramo sprijazniti z delovno hipotezo: Vsakršno razumevanje je iluzorno, dokler ne razume vsega, kar je.