RAG kalkulator: koliko košta vektorizacija dokumenata

Šta je chunk i zašto se dokumenti dele na delove

Kada pravite AI asistenta nad dokumentima, model ne može da "pročita" celu arhivu odjednom. Zato se svaki dokument prvo deli na manje celine koje se zovu chunkovi. Chunk je najčešće nekoliko pasusa, jedna sekcija ili deo stranice koji ima smisla sam za sebe.

Logika je jednostavna: kada korisnik postavi pitanje, sistem ne pretražuje ceo dokument, već traži najsličnije chunkove i samo njih šalje AI modelu kao kontekst. Manji chunkovi znače precizniju pretragu, ali i više vektora koje treba izračunati i sačuvati. Veći chunkovi smanjuju broj vektora, ali mogu da "razblaže" informaciju, pa model dobije pola strane teksta u kojoj je relevantna samo jedna rečenica.

Dobar RAG kalkulator zato uzima tri ulaza: broj dokumenata, prosečnu veličinu chunka i cenu embedding modela. Iz toga izračuna ukupan broj chunkova, trošak vektorizacije i prostor koji ti vektori zauzimaju u bazi. To je korisno pre svega za planiranje, jer mnogi potcene koliko chunkova nastane iz nekoliko hiljada dokumenata.

Kako izračunati broj chunkova i trošak embeddinga

Postupak je u praksi sledeći:

1. Procenite ukupan broj tokena u korpusu. Gruba smernica: jedna stranica teksta ima oko 500 do 700 reči, što je približno 700 do 1000 tokena.
2. Izaberite veličinu chunka, na primer 500 tokena.
3. Dodajte preklapanje, na primer 15 procenata, pa je efektivna veličina koraka oko 425 tokena.
4. Podelite ukupan broj tokena korakom da dobijete broj chunkova.
5. Pomnožite broj chunkova sa cenom embedding modela po tokenu.

Konkretan primer: 200 dokumenata sa po 20 stranica daje oko 4 miliona tokena. Uz chunk od 500 tokena i preklapanje od 15 procenata dobija se približno 9400 chunkova. Ako model naplaćuje vektorizaciju po tokenu, trošak se računa na tih 4 miliona tokena, a ne na broj chunkova, jer preklapanje znači da se deo teksta obrađuje dva puta.

Prostor u vektorskoj bazi zavisi od dimenzije vektora i tipa podataka. Vektor sa 1536 dimenzija u zapisu od 4 bajta zauzima oko 6 KB, pa 9400 chunkova traži oko 56 MB samo za vektore, plus metapodatke i indekse.

Koje preklapanje i veličinu chunka izabrati

Preklapanje postoji da se ne izgubi smisao na granici između dva chunka. Ako se rečenica prekine na pola, model koji dobije samo drugi deo možda neće razumeti o čemu se govori. Zato se poslednjih 10 do 20 procenata teksta ponavlja na početku sledećeg chunka.

Praktični saveti:

• Za opštu dokumentaciju i blogove počnite od 400 do 600 tokena sa preklapanjem od 10 do 15 procenata.
• Za tehnička uputstva i česte liste koristite manje chunkove, jer korisnici traže konkretan korak.
• Za ugovore i pravne propise delite po strukturi, na primer po članu i stavu, a ne po broju tokena. Chunk koji sadrži ceo član ima mnogo veći smisao od isečka na proizvoljnom mestu.
• Uvek sačuvajte metapodatke: naziv dokumenta, broj stranice i naslov sekcije. Bez toga odgovor AI asistenta nema izvor koji korisnik može da proveri.

Stručni savet: veličinu chunka ne birate jednom zauvek. Napravite mali test sa 20 do 30 stvarnih pitanja i uporedite da li sistem pronalazi pravi chunk. Ako često promašuje, problem je najčešće u deljenju teksta, a ne u modelu.

Najčešće greške pri planiranju vektorizacije

Prva greška je računanje troška po dokumentu umesto po tokenu. Cena embeddinga zavisi od količine teksta, a ne od broja fajlova, pa PDF sa skeniranim slikama i PDF sa čistim tekstom nemaju isti trošak.

Druga greška je zanemarivanje ponovne vektorizacije. Kada promenite model embeddinga ili način deljenja, sve mora ponovo da se obradi. Zato unapred planirajte verzionisanje i mogućnost da stare vektore zamenite novim bez prekida rada.

Treća greška je fokus samo na ceni vektorizacije. Ona je obično mali deo ukupnog posla, dok najviše vremena odlazi na čišćenje dokumenata, uklanjanje zaglavlja i fusnota i proveru kvaliteta pretrage.

Ako korpus raste na desetine hiljada dokumenata ili imate više izvora koji se često menjaju, planiranje pipeline-a za obradu i ažuriranje postaje zahtevnije od samog izračuna. U takvim situacijama EVI Solutions može da pomogne oko arhitekture RAG sistema i automatizacije pripreme podataka.