Answer.AI vient de publier un systme open source rvolutionnaire : un systme qui permet d’entrainer un modle de langage de 70 milliards de paramtres sur un ordinateur de bureau ordinaire quip de deux GPU standard. Ce systme, bas sur les techniques FSDP et QLoRA, a t dvelopp en collaboration avec Tim Dettmers de l’Universit de Washington, ainsi que Titus von Koeller et Sourab Mangrulkar de Hugging Face.
Grce cette innovation, la communaut open source dispose dsormais des outils ncessaires pour produire des modles de langage plus performants. Selon Teknium, le crateur des modles OpenHermes, cette capacit offre de nouvelles perspectives pour l’entrainement de modles gigantesques comportant des centaines de milliards de paramtres, jusque-l rservs aux grands laboratoires.
Le projet d’Answer.AI a t motiv par sa mission de rendre l’IA accessible tous. Plutt que de se contenter d’utiliser des modles existants, l’entreprise souhaite permettre chacun de crer ses propres modles personnalis. Cette approche vise donner aux utilisateurs un contrle total sur leurs systmes d’IA.
Le systme dvelopp par Answer.AI repose sur l’utilisation de GPU de jeu standard, qui prsentent des performances quivalentes des GPU de centre de donnes bien plus coteux. En combinant ingnieusement les techniques FSDP et QLoRA, les chercheurs ont trouv un moyen de contourner la contrainte de mmoire des GPU de jeu, qui sont limits 24 Go de RAM.
Cette initiative vise rsoudre un problme technique complexe qui a longtemps empch l’entranement de grands modles de langage sur du matriel abordable. En s’attaquant cette problmatique, Answer.AI espre ouvrir de nouvelles perspectives pour l’innovation en matire d’IA.
Ainsi, grce ce nouveau systme open source, la communaut pourra repousser les limites de l’IA et explorer des territoires indits dans le domaine de l’apprentissage automatique. Cette collaboration entre chercheurs et entreprises traduit l’engagement de chacun vers un avenir o l’IA sera accessible tous, favorisant ainsi l’mergence de nouvelles solutions technologiques et socitales.