ICLR 2026に採択されたDirMoE（Differentiable Routing for Mixture-of-Experts）は、大規模言語モデル（LLM）の効率化手法として注目を集めるMixture-of-Experts（MoE）アーキテクチャの中核問題——ルーティングの非微分可能性——を解決した研究だ。エキスパートの選択（どのサブネットワークを使うか）と重み付け（選んだサブネットワークをどの比率で使うか）を、Bernoulli分布とDirichlet分布を組み合わせることで完全微分可能にし、エンドツーエンドの学習を実現した。
MoEとは何か——なぜルーティングが問題なのか
Mixture-of-Experts（MoE）は、大規模なニューラルネットワークを複数の小さな専門家（エキスパート）サブネットワークに分割し、入力に応じて適切なエキスパートだけを選択・実行するアーキテクチャだ。GPT-4やMistralシリーズのような最新LLMでも採用されており、モデルの総パラメータ数を増やしながら実際の計算コストを抑える手法として広く研究されている。
MoEの性能はルーター（どのエキスパートを選ぶかを決める部分）の質に大きく依存する。しかし従来のルーターは選択ステップが「離散的」であり、勾配が流れない。つまり「どのエキスパートを選ぶか」の選択自体を損失関数の勾配で最適化できない。このため、ルーターは間接的なヒューリスティックや正則化項を使って訓練するしかなく、最適解からのずれが生じやすかった。
DirMoEのアプローチ——Bernoulli × Dirichlet
DirMoEは「どのエキスパートを使うか」と「各エキスパートをどれだけ使うか」を独立した確率分布でモデル化することで、全体を微分可能にした。前者はBernoulli分布（各エキスパートを選ぶか否かの確率）、後者はDirichlet分布（選ばれたエキスパートへの重みの分布）を使用する。
Bernoulli分布は「エキスパートのオン/オフ」をサンプリングするため本来は微分不可能だが、再パラメータ化トリック（Gumbel-Softmaxに近い手法）を適用することで勾配を近似的に流せるようにした。一方、Dirichlet分布は連続的な確率分布であり、選ばれたエキスパート群への重み配分を柔軟かつ微分可能に表現できる。両者を組み合わせることで、選択と配分を同時にエンドツーエンドで最適化することが初めて可能になった。
実験結果と先行研究との比較
論文では複数の言語モデリングタスクでDirMoEを評価し、従来のTop-k ルーター（固定数のエキスパートを選ぶシンプルな手法）や、エキスパートの専門化を促すOrthogonal MoE（OMoE）と比較している。DirMoEは特に「エキスパートが適切に専門化されつつ、過剰に偏らない」という点で優れており、ルーターのLoad Balancing問題（一部エキスパートに処理が集中する問題）も自然に緩和された。
また、プライバシー研究との関連で興味深い側面もある。別の研究（同じILCR 2026）では、MoEのエキスパート選択パターンを観察するだけで入力テキストの多くを再構成できることが示された。DirMoEのような確率的ルーティングはこの情報漏洩リスクを低減する副作用もあり、セキュリティ観点でも評価されている。
実装への影響と今後の展望
DirMoEの手法が大規模なLLMトレーニングに適用されれば、同じパラメータ数でより高い性能を達成できる可能性がある。現在のMoE-LLMでは、ルーターの不完全さによって一部エキスパートが過学習・過不足使用になるケースが多く、DirMoEはこの非効率を系統的に解消する。
MistralやDatabricksのDBRTなど、オープンソースMoE-LLMの開発コミュニティでは早速注目が集まっている。フルファインチューニングだけでなく、LoRAのような軽量ファインチューニング手法との組み合わせでも有効かどうかは今後の検証課題だが、「ルーティングを完全微分可能にする」という考え方自体がMoE研究の方向性を変える可能性を持つ。LLMのスケールアップが計算効率の壁に突き当たりつつある今、MoEの高度化はフロンティアモデルの進化において欠かせない要素になっている。
