Transformer

Transformer je architektura neuronové sítě, která způsobila revoluci v NLP. Místo sekvenčního zpracování (jako u RNN) využívá tzv. „self-attention“, díky čemuž může paralelně zpracovávat celé vstupy a efektivně zachycovat vztahy mezi jednotlivými částmi textu. Modely jako GPT, BERT nebo T5 jsou postaveny právě na transformeru.