Tokenizace je základní krok v NLP, při kterém se text rozděluje na menší jednotky – tzv. tokeny (např. slova, fráze nebo znaky). Například věta „Umělá inteligence mění svět“ se tokenizuje na [„Umělá“, „inteligence“, „mění“, „svět“]. Tokenizace je důležitá pro pochopení struktury textu a následné zpracování modely strojového učení.

Text mining je proces extrakce užitečných informací a vzorců z velkého množství nestrukturovaného textu. Využívá techniky z oblasti zpracování přirozeného jazyka (NLP), strojového učení a statistiky. Pomáhá například při analýze sentimentu, kategorizaci dokumentů, detekci témat nebo odhalování trendů v sociálních médiích.

Testovací data jsou část datové sady, která slouží k ověření výkonu modelu po jeho natrénování. Tato data model neviděl během tréninku, takže testování odhalí, jak dobře se naučil generalizovat. Dobrý výsledek na testovacích datech znamená, že model může být úspěšně použit i na nových, reálných datech.