Token

Token je základní jednotka vstupu pro jazykové modely, jako je GPT. Může to být slovo, část slova nebo dokonce jen znak – záleží na způsobu tokenizace. Modely AI zpracovávají text právě po jednotlivých tokenech. Například věta „Umělá inteligence je fascinující“ se může rozdělit na několik tokenů, se kterými pak model pracuje při analýze nebo generování textu.