Lokalni AI (LLM) za firme: kada se isplati i koji hardver treba

Za većinu firmi cloud AI (OpenAI, Anthropic, Google) sa poslovnim ugovorom je dovoljno bezbedan i najisplativiji. Ali postoje situacije kada podaci jednostavno ne smeju da napuste firmu. Tada je rešenje lokalni AI.

Kada ima smisla

• zakonske ili ugovorne obaveze (zdravstvo, finansije, javni sektor, odbrana),
• vrlo osetljivi dokumenti (ugovori, patenti, lični podaci),
• veliki broj upita gde cloud trošak postaje visok,
• rad bez interneta ili u izolovanoj mreži.

Koji modeli

Otvoreni modeli (Llama, Qwen, Mistral, DeepSeek, Gemma i drugi) danas su veoma dobri za:

• odgovore iz dokumenata (RAG),
• sažimanje i izvlačenje podataka,
• klasifikaciju i rutiranje,
• interne chat asistente.

Za složeno rezonovanje i kodiranje vrhunski cloud modeli su i dalje u prednosti, pa često kombinujemo: osetljivi podaci lokalno, ostalo kroz cloud.

Koliko hardvera treba

Okvirno, za 4-bit kvantizovane modele:

• 7 do 8B parametara: 6 do 8 GB VRAM-a,
• 14B: oko 10 do 12 GB,
• 30 do 32B: oko 20 do 24 GB,
• 70B: oko 40 do 48 GB (dve kartice ili server).

Za više istovremenih korisnika treba dodatna memorija za kontekst. Proverite vaš računar ili server u alatu Da li moj računar može da pokrene lokalni AI.

Cloud ili lokalno: trošak

Lokalni AI ima početni trošak (server, GPU, podešavanje) i mali mesečni trošak (struja, održavanje). Cloud nema početni trošak, ali plaćate po tokenu. Prelomna tačka zavisi od broja upita, a za firme sa stotinama korisnika dnevno lokalni AI često se isplati za 12 do 24 meseca. Cloud trošak možete proceniti u kalkulatoru troška AI API-ja.

Kako uvodimo lokalni AI

Biramo model prema zadatku i jeziku (srpski je važan kriterijum), postavljamo server sa vLLM ili Ollama, povezujemo ga sa RAG sistemom i Intrascope radnim prostorom i uvodimo monitoring. Pogledajte uslugu AI asistenta nad dokumentima i održavanja IT infrastrukture, ili nam pošaljite upit.