Kui palju tokeneid sinu tekst on — ja mis see AI-mudelites maksab? Kleebi tekst allolevasse kasti ja näe kohe tokenite arv, sõnad, märgid ning orienteeruv hind ChatGPT, Claude ja Gemini jaoks. Tööriist näitab ka “eesti keele lisatasu”: eestikeelne tekst kulutab umbes kaks korda rohkem tokeneid kui sama sisu inglise keeles.
Eesti keel kulutab umbes 2× rohkem tokeneid kui sama sisu inglise keeles (agglutinatiivne keel, tokeniseerijad on treenitud inglise keelele). Sama tekst inglise keeles ≈ 0 tokenit — seega maksaks umbes poole vähem.
Orienteeruv hind (sisendtokenid, üks päring)
| ChatGPT (GPT-5) | – |
| Claude Sonnet | – |
| Claude Opus 4.8 | – |
| Gemini 3 | – |
Arvutus on hinnanguline (ligikaudne tokeniseerimine) ja hinnad on orienteeruvad — kontrolli alati ametlikust hinnakirjast. Väljundtokenid maksavad tavaliselt rohkem kui sisendtokenid.
Loe lähemalt: mis on token · kontekstiaken · parim AI eesti keeles · tasuta AI
Mis on token ja miks see loeb?
Token on väikseim ühik, millega keelemudel teksti töötleb — umbes 4 tähemärki inglise keeles, kuid eesti keeles sageli vähem. Tokenid on olulised kahel põhjusel: AI-teenused hinnastavad tokenipõhiselt, ja kontekstiaken (kui palju mudel korraga “mäletab”) mõõdetakse tokenites. Rohkem tokeneid = kõrgem hind ja kiiremini täituv kontekstiaken.
Miks eesti keel kulutab rohkem tokeneid?
Tokeniseerijad on treenitud peamiselt inglise keelele. Eesti keel on agglutinatiivne — pikad sõnad, 14 käänet, rikas morfoloogia — ja tähed nagu õ, ä, ö, ü jagatakse sageli mitmeks tokeniks. Tulemus: sama mõtte edastamiseks kulub eesti keeles ligikaudu 2× rohkem tokeneid kui inglise keeles (mõnel juhul veelgi rohkem). Seda kinnitab ka keeleuuring (arXiv 2023, “Tokenizers Introduce Unfairness Between Languages”): agglutinatiivsed keeled nagu eesti ja soome kulutavad sama sisu edastamiseks kordades rohkem tokeneid kui inglise keel. See tähendab, et eestikeelne kasutus on tokenipõhiselt kallim — hea põhjus valida mudel, millel on hea eesti keele tugi ja mõistlik hind.
Kuidas tokeneid ja raha kokku hoida?
- Kirjuta selgeid prompte — parem prompt = vähem katseid = vähem tokeneid.
- Ära saada liigset konteksti — anna mudelile ainult vajalik, mitte kogu dokument.
- Vali ülesandele sobiv mudel — lihtsaks tööks odavam mudel, keerukaks tipptasand. Vaata tasuta variante.
- Väljundtokenid maksavad rohkem — palu lühemat vastust, kui pikk pole vajalik.
Seotud: token · kontekstiaken · AI-nähtavuse test · AI-tööriistade kataloog