Šta je LLM (veliki jezički model)?
// 01 Uvod
Kad otvorite Claude, ChatGPT ili Gemini i napišete pitanje, dobijete odgovor koji zvuči kao da ga je napisao pametan kolega. Zbog toga mnogi ljudi pretpostave da s druge strane neko razmišlja, pretražuje bazu činjenica ili "zna" odgovor.
Ono što se zaista dešava je jednostavnije, a istovremeno korisnije za razumjeti. Svi ti alati su izgrađeni na LLM-u, velikom jezičkom modelu (od engleskog Large Language Model). Kad razumijete kako on radi, lakše ćete znati kada mu vjerovati, a kada provjeriti.
// 02 Model koji predviđa sljedeći komadić teksta
IBM LLM opisuje kao model dubokog učenja treniran na ogromnoj količini podataka, a jedan od njihovih opisa je da je to "džinovska statistička mašina" koja iznova predviđa sljedeću riječ u nizu.
Pojednostavljen primjer: ako napišete "Glavni grad Bosne i Hercegovine je…", model procjenjuje koji nastavak je najvjerovatniji, izabere jedan, dodaje ga u tekst i onda isto uradi za sljedeći komadić. Odgovor se zapravo gradi korak po korak, jedan komadić za drugim. Ovo je ilustracija principa, a ne stvarni izlaz nekog modela.
To je i razlog zašto LLM zvuči sigurno čak i kad griješi: on ne provjerava činjenicu, nego nastavlja tekst na način koji najviše liči na ono što je vidio u treningu. O tome zašto to vodi do izmišljenih odgovora pisao sam u Labu 05 o halucinacijama.
// 03 Šta je token
Komadić o kojem pričamo zove se token. NVIDIA ih opisuje kao sitne jedinice podataka nastale razbijanjem većeg teksta. Kratka riječ može biti jedan token, a duža se može razdvojiti na dva ili više, njihov primjer je riječ "darkness" koja se dijeli na "dark" i "ness".
OpenAI za engleski daje okvirno pravilo: jedan token je otprilike četiri znaka, odnosno oko tri četvrtine riječi, pa je 100 tokena otprilike 75 riječi. Isti izvor navodi da podjela zavisi od jezika i da tekst na jezicima koji nisu engleski može zahtijevati više tokena, a time i koštati više kad se plaća korištenje. Za bosanski nemam provjerenu brojku, pa je ne navodim: ako vas zanima kako se vaš tekst dijeli, to možete provjeriti u alatima koji prikazuju tokene.
Tokeni su važni i zbog novca. Kod poslovnog korištenja AI-ja cijena se često računa prema broju tokena koji uđu u model i koji iz njega izađu.
// 04 Treniranje i korištenje: dvije različite faze
LLM ima dvije faze koje se često miješaju. Prva je treniranje: model prolazi kroz milijarde ili bilione riječi iz knjiga, članaka, web stranica i koda i uči koji tokeni slijede iza kojih. Ono što "zna" potiče iz tih podataka.
Druga faza je korištenje (inference): kad je model istreniran, odgovara na vaše upite. Vi mu ne dajete novo znanje, nego mu dajete početak teksta koji on nastavlja. Zato dobar prompt mijenja rezultat bez ikakvog dodatnog treniranja.
// 05 Šta to znači za vas
Nekoliko pravila koja odmah možete primijeniti:
- Ne tretirajte odgovor kao činjenicu. To je najvjerovatniji nastavak teksta, pa ključne podatke (imena, brojke, rokove, zakone) provjerite.
- Dajte modelu više materijala. Što jasnije i potpunije napišete zadatak, to je bolji početak teksta koji nastavlja.
- Pazite na dužinu. Duži tekstovi znače više tokena, a kod plaćenih paketa i veći trošak.
// Izvori
- IBM: What are large language models (LLMs)?
- NVIDIA: What Are AI Tokens?
- OpenAI Help Center: What are tokens and how to count them?
Ako vam se svidio ovaj lab, budite slobodni da se pretplatite za još i naravno zapratite na društvenim mrežama.
Lijep pozdrav! Vaš Zonic.