Kvantizace (Quantization)

Kvantizace (Quantization) je technika, která zmenšuje velikost AI modelu a snižuje jeho nároky na výpočetní výkon. Při kvantizaci model používá méně přesná čísla pro uložení svých parametrů, například 8bitové nebo 4bitové hodnoty místo 16bitových či 32bitových.

Kvantizace umožňuje spouštět velké AI modely na slabším hardwaru a s menší spotřebou paměti. Často se proto používá při provozu jazykových modelů na běžných počítačích, noteboocích nebo zařízeních s omezenou VRAM. Nižší přesnost může mírně ovlivnit kvalitu modelu, ale moderní metody tento dopad často výrazně omezují.