GPT je typ jazykového modelu vyvinutý firmou OpenAI, který dokáže generovat přirozený text na základě zadaného vstupu. Je založený na architektuře Transformer a trénovaný na obrovském množství textových dat z internetu. „Pre-trained“ znamená, že model byl předem natrénován na obecných datech a lze jej následně doladit (fine-tune) pro konkrétní úkoly. GPT modely se využívají v […]

GPU je specializovaný hardware původně navržený pro zpracování grafiky, ale dnes zásadní i pro výpočty v oblasti AI. Díky své schopnosti paralelně zpracovávat tisíce výpočtů je GPU ideální pro trénování hlubokých neuronových sítí, které vyžadují obrovské množství operací s maticemi a vektory. Výkon GPU zásadně ovlivňuje rychlost trénování modelů i jejich inferenci (nasazení do provozu).

Gradientní sestup je základní optimalizační algoritmus používaný při trénování neuronových sítí. Pomáhá modelu nalézt minimum ztrátové (loss) funkce tím, že postupně upravuje váhy sítě směrem „dolů“ po jejím gradientu. Jinými slovy, jde o způsob, jak se model učí – minimalizuje chybu mezi predikcí a skutečným výsledkem, krok za krokem.