Kalkulator troška AI API-ja (tokeni)

Kako izračunati mesečni trošak AI API-ja

Obračun počinje od tri broja koja morate znati pre nego što uopšte pogledate cenovnik: koliko zahteva dnevno imate, koliko tokena prosečno ulazi u svaki zahtev i koliko tokena model vraća. Većina ljudi pogreši tako što proceni samo dužinu pitanja, a zaboravi kontekst koji se šalje uz svako pitanje: sistemska uputstva, prethodne poruke u razgovoru, izvučene delove dokumenata. U razgovornim aplikacijama kontekst često čini 70 do 90 procenata ulaznih tokena.

Postupak:

1. Uzmite deset stvarnih zahteva iz produkcije ili testova i prepišite ih u tekstualni fajl.
2. Izmerite ulazne tokene alatom provajdera (tokenizer) ili grubom procenom: broj karaktera podeljen sa 3 za srpski.
3. Izmerite izlazne tokene na isti način, ali samo za odgovore koje model zaista vraća.
4. Pomnožite proseke sa brojem zahteva dnevno, pa sa 30 za mesec.
5. Primenite cene po milion tokena za ulaz i izlaz odvojeno i saberite.

Primer: 2.000 zahteva dnevno, 1.500 ulaznih i 300 izlaznih tokena. To je 3 miliona ulaznih i 600 hiljada izlaznih tokena dnevno, odnosno 90 miliona ulaznih i 18 miliona izlaznih mesečno. Ako je ulaz 1 novčana jedinica po milionu tokena, a izlaz 4, mesečni trošak je 90 + 72 = 162 jedinice. Ovakav raščlanjen obračun odmah pokazuje gde treba seći.

Šta je token i zašto srpski tekst košta više

Token nije reč ni slovo, nego komad teksta koji model obrađuje kao jednu jedinicu. Engleske reči se često dele na jedan token, dok se duže srpske reči sa nastavcima dele na dva ili tri. Zato isti sadržaj na srpskom zauzme više tokena nego na engleskom, a razlika je najveća kod padežnih oblika, složenica i reči sa dijakriticima.

Praktična posledica: ako prevodite prompt sa engleskog i ne prilagodite ga, plaćate više nego što mislite. Kratke instrukcije na srpskom su u redu, ali dugačke šablone i opise proizvoda isplati se pisati što sažetije. Isto važi za JSON izlaz: svaki ključ, navodnik i zagrada se broje.

Savet za napredne: umesto da pogađate, napravite mali testni skup od 20 do 30 primera i merite tokene programski pre svakog poziva. Ta merenja vam kasnije služe kao osnova za budžet i za poređenje modela, jer se razlika između dva modela često vidi tek na stvarnim podacima, ne na demo promptu.

Najčešće greške u proceni troška

• Računanje samo poslednjeg pitanja. Zaboravlja se istorija razgovora koja se ponovo šalje pri svakom zahtevu.
• Zanemarivanje izlaznih tokena. Ljudi unesu cenu ulaza i pomisle da je to ceo trošak, a izlaz je obično nekoliko puta skuplji.
• Proseci bez repova. Retki zahtevi sa ogromnim dokumentom mogu nadmašiti stotine običnih. Proverite i najveće zahteve, ne samo prosek.
• Zastarele cene. Provajderi menjaju cenovnike i uvode nove klase modela, pa obračun star mesec dana može biti pogrešan.
• Sitni zahtevi u velikom broju. Kod veoma kratkih odgovora trošak po zahtevu je mali, ali 50.000 zahteva dnevno i dalje pravi ozbiljan račun.

Kako smanjiti trošak bez gubitka kvaliteta

Prvo proverite da li svaki zahtev zaista mora da ide na najjači model. Rutinske zadatke kao što su klasifikacija, izdvajanje polja iz teksta i kratki sažeci često odradi manji model uz sličan rezultat. Drugo, skratite kontekst: umesto celog dokumenta pošaljite samo relevantne odlomke, a istoriju razgovora ograničite na poslednjih nekoliko poruka. Treće, keširajte odgovore na ponovljena pitanja i postavite tvrdo ograničenje broja izlaznih tokena, jer se time sprečavaju retki ali skupi „romani" u odgovoru.

Ako trošak raste brže od broja korisnika, problem je obično u arhitekturi poziva, a ne u ceni modela. EVI Solutions može pomoći kada treba uvesti praćenje potrošnje po korisniku i projektu i postaviti budžete na nivou aplikacije.