RAG nije pamćenje

Standardni savjet da AI "zna tvoj posao" je RAG: retrieval-augmented generation. Isjeckaš dokumente na komade, embedaš ih u vektorsku bazu, i kod pitanja izvučeš najbliže komade u prompt. To je stvarno korisna tehnika. I rutinski ju zamijene za nešto što nije: pamćenje tvoje firme.

Što RAG zapravo radi

RAG dobro odgovara na jedno usko pitanje: koji odlomci izgledaju najsličnije onome što je upravo pitano? Onda te odlomke preda modelu i nada se da sadrže odgovor. Kad se pitanje čisto preslika na odlomak, radi. Problem počinje svugdje drugdje.

Dohvat nalazi tekst koji nalikuje tvom pitanju. Pamćenje zna kako tvoja firma radi. To nije ista stvar.

Gdje ne dostaje

• Sličnost nije istina. Najbliži komad nije točan komad. Ako i stara i trenutna politika odgovaraju, RAG ne zna koja je prava, samo vraća ono što je blizu.
• Komadi gube nit. Rezanje dokumenata na fragmente uništava strukturu koja im je davala smisao. "Zašto" u jednom dijelu i "pravilo" u drugom prestanu biti povezani.
• Nema pojma o autoritetu ni svježini. Vektorska baza ne zna da financije drže politiku povrata, ni da je prošlokvartalna brojka zastarjela. Ljudi to znaju. Indeks ne.
• Neproziran je. Kad je odgovor kriv, ne vidiš zašto, i ne možeš ga ispraviti. Možeš samo ponovno isjeckati i moliti se.

To nisu bugovi koje naštimaš. To je ono što dohvat jest. Širu verziju ovoga razlažemo u zašto AI ne zna tvoju firmu.

Što pamćenje radi drugačije

Živo pamćenje nije hrpa obližnjeg teksta. To je znanje koje je posloženo dovoljno da veze ostanu netaknute, upravljano dovoljno da je netko odlučio što je istina i tko smije vidjeti, i čitljivo dovoljno da ga možeš ispraviti kad odluta.

• Izvori ostaju povezani, pa "zašto" putuje uz "što".
• Istina je odluka, ne ocjena sličnosti, pa se proturječja rješavaju umjesto da se usrednje.
• Obično je i provjerljivo, pa kad je nešto krivo popraviš izvor, ne prompt.

Dohvat i dalje može igrati ulogu unutar toga, ali prestaje biti cijela strategija. Strategija je pamćenje.

Zaključak

Ako ti RAG daje samouvjerene, suptilno krive odgovore, nisi ga loše posložio, udario si u njegov strop. Rješenje nije bolji vektorski indeks. Rješenje je dati AI-u stvarno pamćenje tvoje firme: posloženo, upravljano i tvoje. To je ono što memrelay gradi da bude.