La première version de llamafile est désormais disponible et permet de distribuer ainsi que d’exécuter des LLM (grands modèles de langage) avec un seul fichier. Il s’agit d’un nouveau projet communautaire open source qui prétend réaliser le rêve des développeurs d’IA de « construire une fois n’importe où, exécuter n’importe où ».
Concrètement, llamafile combine llama.cpp et Cosmopolitan Libc pour créer des applications pour LLM sous forme d’un artefact de fichier unique qui peut s’exécuter localement sur la plupart des PC et serveurs.
Grâce à cette nouvelle version, les fichiers LLM peuvent désormais fonctionner sur plusieurs microarchitectures de processeur. De plus, ils peuvent également fonctionner sur plusieurs architectures CPU, tout en étant compatibles avec différents systèmes d’exploitation tels que macOS, Windows, Linux, FreeBSD, OpenBSD et NetBSD.
Stephen Hood, consultant en gestion de produits chez Mozilla, se montre optimiste quant à cette nouvelle version de llamafile : « Aujourd’hui, nous annonçons la première version de llamafile et invitons la communauté open source à participer à ce nouveau projet. llamafile permet de transformer les poids des grands modèles de langage en exécutables. Cela facilite grandement la distribution et l’exécution des LLM. Cela signifie également qu’à mesure que les modèles et leurs formats de poids continuent d’évoluer au fil du temps, llamafile vous offre un moyen de garantir qu’un ensemble de poids donné restera utilisable et fonctionnera de manière cohérente et reproductible, pour toujours. »
Cette première version de llamafile a été développée par Justine Tunney, la créatrice de Cosmopolitan, et est sous licence Apache 2.0, encourageant ainsi les contributions de la communauté open source.
Il sera intéressant de voir comment cette nouvelle version de llamafile pourra être utilisée et si elle répondra aux attentes des développeurs d’IA. Fondamentalement, les objectifs de cette version sont ambitieux, mais il est important de garder un esprit ouvert et de suivre de près les développements futurs de ce projet prometteur.