moe

MoE: por qué un modelo de 35B parámetros activa solo 3B

MoE (Mixture of Experts) es la arquitectura que permite tener modelos enormes sin pagar el coste de cómputo asociado. Está detrás de Mixtral, DeepSeek V3 y Qwen 3.6. Te explico cómo funciona sin matemáticas.