LoRA

LoRA (Low-Rank Adaptation) je technika používaná při trénování velkých jazykových modelů (LLM) k tomu, aby byly schopné se přizpůsobit novým úkolům bez potřeby kompletního přetrénování. Místo trénování celého modelu od začátku LoRA upravuje jen malé části modelu, což výrazně snižuje výpočetní náročnost a čas potřebný pro trénink. LoRA umožňuje efektivněji adaptovat modely na specifické aplikace či domény, například přizpůsobit generování textu pro konkrétní styl nebo specializovanou oblast. Tento přístup zvyšuje flexibilitu a snižuje náklady spojené s použitím velkých modelů AI.