Transformer je architektura neuronové sítě, která způsobila revoluci v NLP. Místo sekvenčního zpracování (jako u RNN) využívá tzv. „self-attention“, díky čemuž může paralelně zpracovávat celé vstupy a efektivně zachycovat vztahy mezi jednotlivými částmi textu. Modely jako GPT, BERT nebo T5 jsou postaveny právě na transformeru.

Transfer learning umožňuje využít model, který byl natrénován na jedné úloze (např. rozpoznávání objektů), pro jinou, podobnou úlohu (např. rozpoznání specifických výrobků). Místo trénování modelu od nuly se přizpůsobí již existující model – což šetří čas, výpočetní výkon a zvyšuje přesnost, zejména pokud je k dispozici málo dat.

Trénovací data jsou data, na kterých se model učí. Obsahují vstupy i výstupy (v případě učení s učitelem), na základě kterých se model přizpůsobuje a optimalizuje své parametry. Kvalita, rozsah a rozmanitost trénovacích dat zásadně ovlivňují výslednou přesnost a schopnosti modelu.