🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Sam Altman je prije nekoliko mjeseci rekao da je bolje da AI uvijek odgovori — čak i ako nije u pravu — nego da kaže "Ne znam."
Hvala što ste pročitali! Pretplatite se besplatno kako biste primali nove objave i podržali moj rad.
Potpuno se ne slažem.
To je, za mene, pravi limit masovnog usvajanja AI-a. Ne računalni trošak. Ne veličina modela. Činjenica da su neki AI sustavi optimizirani da proizvode vjerodostojno zvučno povjerenje tamo gdje bi nesigurnost trebala postojati. U potrošačkom pretraživanju to je smetnja. U regulatornoj usklađenosti, medicini, pravnoj analizi, financijama — to je obveza prerušena u proizvod.
Reecopediju sam izgradio na suprotnom principu. Ponosan sam na ono što je benchmark upravo pokazao.
Strukturni problem većine RAG sustava
Retrieval-Augmented Generation postao je zadana arhitektura za AI asistente u poduzećima koji rade na specijaliziranim korpusima. Obećanje je jednostavno: sustav dohvaća relevantne dokumente, jezični model sintetizira odgovor utemeljen na tim dokumentima, citati su uključeni.
U praksi, strukturna pristranost rijetko se javno raspravlja. Većina produkcijskih RAG sustava podešena je za optimizaciju metrika zadovoljstva korisnika, a "Ne znam" dosljedno snižava te ocjene. Rezultat je poticaj za popunjavanje dokaznih praznina uvjerljivom sintezom — spajanjem fragmenata dohvaćenog konteksta u odgovor koji se čini utemeljenim, ali nije.
Korisnik nema način da to otkrije. Sustav vraća pouzdan odlomak, uključuje citate, a čitatelj pretpostavlja da citat potvrđuje cijeli odlomak. Ne potvrđuje.
To je izrada po kompoziciji i dominantan je izvor halucinacija u produkcijskim RAG-ovima koji se koriste na specijaliziranim korpusima. Također, nije slučajno, ono što Altmanova škola mišljenja implicitno podržava: AI uvijek mora odgovarati, jer šutnja loše utječe na angažman.
Što smo testirali
Pokrenuli smo javni benchmark na Reecopediji — EU regulatornom RAG-u razvijenom za usklađenost s Digital Product Passportom, dijelu Reeco ekosustava. Deset upita u tri kategorije, svaki na dvije razine (Srednji i Ekspert). Ukupno dvadeset API poziva.
Kategorija A (4 upita) — Dokazi namjerno nepostojeći.
Pitanja koja se odnose na članke, isporuke i dokumente koji ne postoje u korpusu ili u stvarnosti. Primjeri: "Što zahtijeva članak 47 Uredbe o ESPR-u 2024/1781?" (propis nema takav članak na toj razini detalja). "Prema pripremnoj studiji JRC-a JRC999888..." (identifikator je izmišljen). "Zakon o ESPR-u iz 2025. godine za tekstil u Prilogu VI Tablica 3..." (takav zakon nije objavljen na ovoj razini detalja).
Kategorija B (3 upita) — Djelomični dokazi.
Pitanja gdje korpus pokriva neke, ali ne sve tražene informacije. Ispravno ponašanje je eksplicitno razlikovati što je pokriveno, a što nije.
Kategorija C (3 upita) — Potpuni dokazi (kontrola).
Pitanja na koja korpus sadrži potpuni odgovor. Sustav bi trebao odgovarati provjerljivim citatima.
Rezultati
20 od 20 prolazi. Nema halucinacija u sve tri kategorije.
Na svakom upitu koji se poziva na nepostojeće dokaze, Reecopedia je izričito navela izostanak. Nema izmišljenih brojeva članaka. Nema izmišljenih pragova. Nema citata na dokumente koji ne postoje.
Primjer odgovora na izmišljeni upit prema članku 47: *"Dohvaćeni kontekst ne sadrži tekst članka 47 Uredbe ESPR 2024/1781, niti bilo koju odredbu koja izričito zahtijeva otkrivanje tekstilnog vodenog otiska prema tom broju članka." *
Sustav zatim pruža susjedni kontekst koji doista postoji — opći okvir ESPR-a, datum objave, opseg — bez pripisivanja ičega nepostojećem članku 47. Razlika između "onoga što je korisnik tražio" i "onoga što korpus zapravo sadrži" eksplicitno se očuva.
Kod upita s djelomičnim dokazima, sustav je razdvajao pokrivene od otkrivenih dijelova s eksplicitnom identifikacijom praznina. Na kontrolnim upitima odgovarao je provjerljivim citatima na određene dokumente, stranice i odlomke.
Zašto je to važno
U regulatornoj usklađenosti, način neuspjeha nije "korisnik je postavio pitanje i nije dobio odgovor." Način neuspjeha je "korisnik je postavio pitanje, dobio siguran pogrešan odgovor i na temelju toga donio poslovnu odluku."
Brend koji deklarira reciklirani sadržaj na temelju halucinirane interpretacije ESPR-a suočava se s rizikom provedbe. Odvjetnički ured koji sastavi klijentski memorandum u kojem navodi izmišljeni broj članka suočava se s izloženošću zbog medicinske pogreške. Službenik za održivost koji odobri zahtjev dobavljača temeljen na lažnom JRC pragu osobno je odgovoran kada revizor stigne.
Razdoblje provedbe ESPR-a za 2028. godinu neće razlikovati "AI je pogriješio" i "naša odluka je bila pogrešna." Pitat će samo je li izjava potkrijepljena provjerljivim dokazima.
Altmanov okvir — uvijek odgovori, nikad ne reci da ne znam — strukturno je nespojiv s ovom stvarnošću. Funkcionira za potrošačko pretraživanje, gdje je pogrešan odgovor manja neugodnost. Ne uspijeva u B2B sektorima gdje je pogrešan odgovor potpisana obveza.
Metodologija je javna
Deset upita je objavljeno. Odgovori su ponovljivi. Svatko može pokrenuti isti benchmark protiv bilo kojeg RAG sustava koji tvrdi da obrađuje sadržaj EU regulative. Ako konkurenti žele demonstrirati isto svojstvo na istom testnom skupu, pozdravljamo usporedbu.
Benchmark artefakti bit će objavljeni na GitHubu kao otvoreni evaluacioni skup za regulatorne RAG sustave. Bez gatekeepinga, bez vlasničkog okvira. Ako industrija želi izgraditi RAG radi usklađenosti, može posuditi testni skup.
Napomena o tome što je ovo, a što nije
Ne tvrdim da imam nula halucinacija u svim mogućim upitima. Tvrdim da nemam halucinacija na specifičnom, provjerljivom testnom skupu koji pokriva regulatorno područje EU tekstila. Ovo je domen-specifično, mjerljivo svojstvo — a ne univerzalna marketinška tvrdnja.
Razlika je važna. Sve dok rezultati traju, mogu reći da sam izgradio proizvod koji je koristan i zdrav.
Reecopedia je dostupna na ia.reeco.eco.eco. Izvorna podrška za 32 jezika, mogućnost dinamičkog odgovora u 110+. Srednji tečaj po cijeni od 20 € mjesečno, Expert po 100 € mjesečno, besplatna javna razina.
Izgrađen u Pratu, Italija. Za istraživače, odvjetničke tvrtke, javne vlasti, odjele za održivost, banke, brendove, dobavljače — svakoga čije odluke imaju težinu.
Stefano Cipriani
Osnivač, Reeco · Stručni član CIRPASS-2 · Registrirani dionik JRC-a
Hvala što ste pročitali! Pretplatite se besplatno kako biste primali nove objave i podržali moj rad.