Nota AI améliore l'efficacité de la mémoire des LLM solaires de 72 %

Nota AI, une entreprise technologique spécialisée dans l'optimisation de l'IA, a introduit une méthode de quantification innovante appelée « Nota AI MoE Quantization » qui réduit de 72 % la consommation de mémoire du modèle Solar LLM d'Upstage. Cette avancée préserve la précision du modèle et améliore la vitesse de traitement, ce qui permet de réduire les coûts d'inférence.

Cette nouvelle technologie, développée dans le cadre du projet « Sovereign AI Foundation Model Project » en Corée du Sud, répond aux défis posés par les architectures de type « mixte d’experts » (MoE). Elle préserve sélectivement la précision dans les zones cruciales du modèle, permettant une compression mémoire substantielle sans perte de performance significative.

L'application de cette approche au modèle Solar 100B a permis de réduire sa mémoire de 191,2 Go à 51,9 Go. Les performances sont restées stables, avec un score de perplexité (PPL) proche de celui du modèle d'origine. De plus, cette technologie est en passe de faciliter son déploiement dans des domaines tels que la robotique et les systèmes automobiles, même sur des infrastructures GPU limitées.