Ztrátová funkce vyjadřuje rozdíl mezi skutečným a předpovězeným výstupem modelu. Je to měřítko chyb, které model dělá, a její minimalizace je cílem během trénování. Výběr správné ztrátové funkce závisí na konkrétním úkolu – pro klasifikaci se často používá „cross-entropy loss“, pro regresi „mean squared error“.

Logistická regrese je základní statistická metoda pro klasifikaci, která odhaduje pravděpodobnost, že určitý vstup patří do konkrétní kategorie (např. ano/ne, spam/nespam). Přestože je jednodušší než moderní neuronové sítě, často se používá jako výchozí model pro binární klasifikaci a pro svou interpretovatelnost i v aplikacích, kde je důležité porozumět rozhodovacímu procesu modelu.

Rychlost učení je klíčový hyperparametr ve strojovém učení, který určuje, jak velké kroky dělá model při optimalizaci svých váh. Příliš vysoká hodnota může způsobit, že model „přeskočí“ optimální řešení, příliš nízká vede k pomalému učení nebo uvíznutí v lokálním minimu. Správné nastavení learning rate je zásadní pro efektivní trénování modelu.