Mixture of Experts (MoE / Směs expertů)

Mixture of Experts (MoE) je architektura umělé inteligence, která se skládá z několika menších, specializovaných pod-sítí (tzv. expertů) řízených centrálním usměrňovačem. Namísto toho, aby při každém dotazu pracoval celý obří model, se pro danou úlohu aktivuje pouze ta část expertů, která rozumí konkrétnímu tématu.

Hlavní výhodou MoE je obrovská efektivita. Umožňuje dosahovat schopností gigantických modelů při výrazně nižších nárocích na výpočetní výkon i grafickou paměť, což zrychluje generování odpovědí a zlevňuje provoz.