MLOps je soubor postupů a nástrojů, které pomáhají s nasazením, správou a údržbou modelů strojového učení v produkčním prostředí. Spojuje principy DevOps s potřebami datové vědy – řeší automatizaci, monitorování modelů, správu verzí dat i modelů nebo opakovatelnost experimentů. MLOps umožňuje škálovat AI řešení efektivně a udržitelně.

Metriky ve strojovém učení slouží k hodnocení výkonu modelů. Různé úlohy vyžadují různé metriky – například u klasifikace se používá přesnost, F1 skóre nebo ROC AUC, u regrese zase střední kvadratická chyba (MSE) nebo MAE. Výběr správné metriky je zásadní pro objektivní posouzení kvality modelu i pro jeho ladění.

Matice záměn je nástroj pro hodnocení kvality klasifikačního modelu. Ukazuje, kolik předpovědí bylo správných (true positives a true negatives) a kolik chybných (false positives a false negatives). Díky ní lze snadno spočítat různé metriky jako přesnost, senzitivitu nebo F1 skóre a lépe porozumět chybám modelu.