Mieszanka ekspertów

W przypadku MoE zwykle występują problemy z równoważeniem obciążeń. Niektórzy eksperci są używani często, inni zaś rzadko lub wcale. Aby zachęcić funkcję wagi do wybierania każdego eksperta z równą częstotliwością i zrównoważyć obciążenie, każda warstwa MoE może mieć dodatkową pomocniczą funkcje celu w architekturze Switch Transformer^[4].

Jeżeli ${\displaystyle n}$ jest liczbą ekspertów, to dla danej serii zapytań ${\displaystyle \{x_{1},x_{2},...,x_{T}\}}$ pomocnicza funkcja celu dla tej serii wynosi: $${\displaystyle n\sum _{i=1}^{n}f_{i}P_{i}}$$ ${\displaystyle f_{i}={\frac {1}{T}}\#({\text{zapytania wysłane do eksperta }}i)}$ jest częścią zapytań, które wybrały eksperta ${\displaystyle i}$, a ${\displaystyle P_{i}={\frac {1}{T}}\sum _{j=1}^{T}{\frac {w_{i}(x_{j})}{\sum _{i'\in {\text{eksperci}}}w_{i'}(x_{j})}}}$ jest częścią wagi dla eksperta ${\displaystyle i}$. Funkcja celu jest minimalizowana przy ${\displaystyle 1}$ czyli, gdy każdy ekspert ma taką samą wagę ${\displaystyle 1/n}$ w każdej sytuacji.

Naukowcy z DeepSeek zaprojektowali wariant MoE z ekspertami współdzielonymi, którzy są zawsze odpytywani i ekspertów rutowanych, którzy są pytani pod pewnymi warunkami. Zauważyli oni, że standardowe równoważenie obciążenia do równego rozłożenia obciążenia ale również do replikowania tych samych umiejętności np wyuczenie gramatyki języka angielskiego. Zaproponowali oni podejście, aby współdzieleni eksperci zostali wyuczeni wspólnych możliwości, które są często używane, a mniej używane zostały wyuczone przez ekspertów rutowanych^[5].

Zaproponowali oni również strategię bez pomocniczej funkcji celu. Zamiast tego każdy ekspert ${\displaystyle i}$ ma dodatkową wagę ${\displaystyle b_{i}}$. Jeśli ekspert jest pomijany, jego waga wzrasta i odwrotnie, jeżeli jest używany, jego waga maleje. Podczas przydzielania zadań, każde zadanie wybiera kilku najlepszych ekspertów, ale z uwzględnieniem wagi:^[5] $${\displaystyle f(x)=\sum _{i{\text{ jest w top-k zbioru }}\{w(x)_{j}+b_{j}\}_{j}}w(x)_{i}f_{i}(x)}$$ Należy pamiętać, że wagi ${\displaystyle b_{i}}$ ekspertów mają znaczenie przy wyborze ekspertów, ale nie przy sumowaniu ich odpowiedzi.

Warstwy MoE są używane w największych modelach opartych na transformatorach, szczególnie w warstwie jednokierunkowej sieci neuronowej aby zmniejszyć koszt inferencji^[6][7]. Dla przykładu, 90% parametrów modelu PALM-540B jest używanych do warstw sieci jednokierunkowej^[8].

W grudniu 2023 Mistral AI wypuścił model MoE Mixtral 8x7B. Jest to model z 46.7 mld parametrami i 8 ekspertami^[9].

W marcu 2024 Databricks wypuścił model DBRX z 132 mld parametrami i 16 ekspertami^[10].

W maju 2024 DeepSeek opublikował wersję modelu MoE V2 z 236 mld parametrów^[11].

W kwietniu 2025 został wydany model Llama 4 Maverick z 128 ekspertami, każdy z nich mający 17 mld aktywnych parametrów, dających łącznie 400 mld parametrów^[12].