IA · 3 min de lecture
Olala mini : le premier LLM d'OVHcloud tourne sans GPU
OVHcloud entre dans la course aux modèles de langage avec Olala mini, un petit modèle ouvert entraîné en Europe et assez léger pour tourner sans carte graphique. Côté recherche, Qwant s'en sert déjà pour ses réponses flash : un moteur de recherche français répond désormais avec une IA française.
OVHcloud a présenté ce mardi 17 novembre Olala, sa première famille de grands modèles de langage. Le premier modèle, Olala mini 7A1B, sera lancé officiellement jeudi 19 novembre à l'OVHcloud AI Summit. En octobre, Octave Klaba, son PDG, avait promis un LLM open source « très en avance sur son temps », rappelle Frandroid.
7 milliards de paramètres, un milliard actif
Le nom dit l'essentiel : 7 milliards de paramètres au total, dont un milliard activé à chaque requête, répartis entre 256 « experts » par couche. C'est le principe du mélange d'experts, celui de Mistral Large 4, qui compte environ 140 fois plus de paramètres. OVHcloud y ajoute une attention hybride qui combine deux techniques récentes, Differential-TPA et Mamba-3, pour consommer moins de mémoire quand le texte s'allonge.
Résultat annoncé par OVHcloud : le modèle tourne sur un GPU doté d'au moins 8 Go de mémoire, atteint 160 tokens par seconde sur une Nvidia RTX A4500 et 50 tokens par seconde sur un simple processeur, sans carte graphique. Sa fenêtre de contexte est de 32 000 tokens, environ une cinquantaine de pages selon Frandroid.
Apache 2.0, poids attendus jeudi
Olala mini sera publié en open source sur Hugging Face sous licence Apache 2.0, avec ses poids, son modèle de base pré-entraîné, son rapport technique et une documentation de conformité à l'AI Act. Ce sera jeudi, selon l'AFP. Ce mardi matin, les poids n'étaient pas encore téléchargeables, note Frandroid.
Entraîné sur des supercalculateurs publics
Le modèle a été entraîné sur trois supercalculateurs publics européens, Jupiter, MeluXina et Jean Zay, équipés de GPU Nvidia GH200, A100 et H100. OVHcloud chiffre ce soutien public à l'équivalent de 7 millions d'euros d'heures de calcul. Il en est né un laboratoire, OVHai LLM.
« On ne peut pas juste compter sur la générosité de certains Labs à partager leurs modèles LLM en open source dans les années à venir », déclare Octave Klaba dans le communiqué. Selon lui, le coût d'un entraînement a été divisé par 20 en trois ans. Devant la presse, il a ajouté vouloir « montrer qu'il est possible d'entraîner un modèle avec peu de moyens » : un peu moins d'une centaine de personnes travaillent sur l'IA chez OVH, contre plus de 1 000 employés chez Mistral, rapporte l'AFP.
Qwant, premier client
Qwant a déjà adopté Olala mini pour sa fonctionnalité de réponse flash. OVHcloud annonce des réponses 20 % plus rapides et des coûts de fonctionnement divisés par trois par rapport au modèle utilisé jusque-là, sans le nommer.
Pour un éditeur de site, les réponses générées par l'IA ne viennent plus seulement de Google ou de ChatGPT. Un petit modèle bon marché suffit à un moteur européen pour répondre en haut de la page, et la question des clics qui restent après la réponse se pose aussi sur Qwant.
Ce qui manque encore
Le communiqué ne donne aucun score de benchmark, relève Frandroid, et le seul chiffre d'usage vient de Qwant. Avec un milliard de paramètres actifs, le modèle vise des tâches simples (résumer, classer, répondre à des questions courtes) plutôt que le code ou le raisonnement long. Face à Mistral, Frandroid le compare aux Ministral 3, de taille proche et sous la même licence, qui comprennent les images et acceptent 256 000 tokens de contexte, huit fois plus.
La suite : v1.1 puis plus de 100 milliards de paramètres
La version 1.1, attendue d'ici la fin de l'année, doit porter le contexte à 128 000 tokens et améliorer le raisonnement mathématique. La v2.0 dépassera les 100 milliards de paramètres, avec des modèles spécialisés dans trois domaines : l'agentique pour les entreprises (Olala doit alimenter OVHai Workspace, dont la version chiffrée tournera sur le poste de travail), le DevOps et la cybersécurité, « défensive comme offensive ».
Selon l'AFP, OVHcloud prépare aussi des outils d'assistance à la programmation pour les entreprises, sur le modèle de Claude Code, Codex ou Vibe de Mistral, et vise 100 millions d'utilisateurs, sans échéance. L'entreprise, rentable, ne compte pas lever de fonds pour financer cette stratégie, a précisé Octave Klaba.