Token je základní jednotka vstupu pro jazykové modely, jako je GPT. Může to být slovo, část slova nebo dokonce jen znak – záleží na způsobu tokenizace. Modely AI zpracovávají text právě po jednotlivých tokenech. Například věta „Umělá inteligence je fascinující“ se může rozdělit na několik tokenů, se kterými pak model pracuje při analýze nebo generování […]

Ztrátová funkce vyjadřuje rozdíl mezi skutečným a předpovězeným výstupem modelu. Je to měřítko chyb, které model dělá, a její minimalizace je cílem během trénování. Výběr správné ztrátové funkce závisí na konkrétním úkolu – pro klasifikaci se často používá „cross-entropy loss“, pro regresi „mean squared error“.

Logistická regrese je základní statistická metoda pro klasifikaci, která odhaduje pravděpodobnost, že určitý vstup patří do konkrétní kategorie (např. ano/ne, spam/nespam). Přestože je jednodušší než moderní neuronové sítě, často se používá jako výchozí model pro binární klasifikaci a pro svou interpretovatelnost i v aplikacích, kde je důležité porozumět rozhodovacímu procesu modelu.