WEKA et Oracle démontrent des gains significatifs en matière d'inférence IA

WEKA, entreprise spécialisée dans les infrastructures de données et de mémoire pour l'IA, a annoncé des résultats impressionnants en production avec Oracle Cloud Infrastructure (OCI), démontrant comment optimiser l'efficacité de l'inférence IA à contexte long. Ces résultats mettent en lumière la plateforme NeuralMesh™ de WEKA, associée à la technologie Augmented Memory Grid™ sur OCI, qui permet d'atteindre un nombre d'utilisateurs simultanés 10 fois supérieur, un débit de jetons 10 fois plus élevé et un nombre de jetons par GPU 7 fois supérieur aux configurations traditionnelles utilisant uniquement la DRAM. Ces performances sont obtenues sans ajout de GPU, offrant ainsi une solution économique pour répondre aux besoins croissants en IA.

Réalisés sur un cluster OCI H100 à neuf nœuds, les tests ont démontré la capacité de la plateforme à gérer plus de 5 000 utilisateurs simultanés et à traiter environ deux millions de jetons par seconde. Cette avancée élimine les goulots d'étranglement liés à la mémoire qui limitent les charges de travail d'IA en entreprise, permettant ainsi la prise en charge de tâches d'inférence plus importantes. Ces résultats, validés en conditions réelles, marquent un changement de paradigme : la réduction des coûts d'inférence de l'IA s'accompagne d'une augmentation significative des performances.