De plus en plus d’IA génératives font leurs apparitions depuis l’avènement ChatGPT. Après Google Bard, et Claude 2, voici Meta qui fait à son tour son entrée dans le monde des IA génératives. Récemment, Meta a lancé sa première IA nommée Llama 2 en open source, suscitant un grand intérêt dans le domaine.
Cette IA se démarque par ses détails de conception, notamment en utilisant la technologie LLM et en proposant trois tailles de modèles préformés différents. Elle est open source, ce qui implique que son code est accessible au grand public pour des améliorations. De plus, elle s’appuie sur d’autres éléments de développement qui la rendent un peu plus différenciée vis-à-vis de ses concurrents.
Llama2 : Open source et Technologie LLM, les détails de sa conception
Certains détails de conception de l’IA de Meta reposent sur la technologie LLM, qui implique des réglages pour :
- Son entraînement sur de grands ensembles de données textuelles contenant jusqu’à 10 000 milliards de mots, comme Common Crawl, The Pile, GitHub.
- L’intégration de paramètres tels que la taille du modèle, la taille du jeu de données d’apprentissage, le coût de l’apprentissage et la performance après apprentissage, dans le but de permettre à l’IA de générer par des lois d’échelle le nombre de caractères qui lui sont attribués.
- Le développement de capacités émergentes par rapport à celles intégrées dans l’application IA, telles que la passation d’examens universitaires de haut niveau ou le décryptage des lettres d’un mot.
Cette technologie peut aussi être à l’origine d’hallucinations, dans le sens où elle peut créer dans l’IA des fausses affirmations, non justifiées par les données d’entraînement.
Meta a également rendu le code de son IA accessible à tous, via des plateformes telles que HuggingFace, Amazon Web Services et Microsoft Azure. Meta a notamment établi un partenariat avec Microsoft pour la mise à disposition de LLama 2.
Enfin, cette IA propose trois tailles de modèles préformés différentes selon le Large Language Model, avec 7 milliards, 13 milliards et 70 milliards de paramètres.
Microsoft et Meta : un partenariat gagnant pour Llama 2
Le choix porté par Meta sur Microsoft pour le partenariat dans la conception d’agents IA conversationnels ne date pas d’aujourd’hui. Il s’agit d’un autre élément visant à faire grandir LLama 2.
En effet, ils avaient déjà collaboré pour intégrer ONNX Runtime afin de développer une excellente expérience de développeur pour PyTorch sur Azure en 2016. Et dans l’intérêt d’aider à affiner et à déployer localement LLama 2 sur Windows, les voici de nouveau côte à côte.
Ce partenariat permettra à Meta de s’étendre dans l’écosystème de l’IA open source, afin que les développeurs, par exemple, puissent tirer parti des puissants outils d’Azure AI en termes de formation de modèles, de réglage fin, d’inférence et de capacité de prise en charge de la sécurité de LLama 2.
De plus, Microsoft compte inclure des modèles LLama 2 dans Windows. Il souhaite permettre aux développeurs de créer des expériences d’IA adaptées aux besoins de leurs clients via des outils comme :
- le terminal Windows,
- le sous-système Windows pour Linux,
- VS code et Microsoft Visual Studio.
Toutefois, ce détail de conception ne doit pas nous faire ignorer la gestion des données de Meta.
Par conséquent, on peut se poser des questions sur les impacts sociétaux de l’accessibilité du code de Llama 2. Connaissant les détails du scandale Cambridge-Analytica qui ont failli enterrer la firme de Mark Zuckerberg.
Les conséquences d’une IA open source comme Llama2
On peut penser qu’une IA open source comme LLama 2 ne peut faire que du bien aux entreprises et aux particuliers.
L’accessibilité de son code, un élément de conception non négligeable, peut en effet leur faciliter l’entrée dans le domaine de l’IA, sans oublier la diminution des coûts de développement et de personnalisation continue pour améliorer l’UX.
Quoi qu’il en soit, d’autres éléments restent à surveiller pour rendre plus ou moins fiable l’accessibilité du code source de LLama 2.
Il s’agit de :
- La réglementation de la sécurité dans l’utilisation et la réécriture du code source de Llama2,
- L’évaluation des risques pour les particuliers et les entreprises,
- L’impact de Llama2 en tant qu’application open source sur des métiers comme développeur, programmeur,
- L’évaluation de la conception d’une IA open source, par rapport à une IA dont le code n’est pas public.
Pour conclure, la conception de LLama 2 en open source ouvre de nouvelles possibilités d’accès aux données pour le grand public. Quant aux questions sur la sécurité des données, on peut supposer que le partenariat avec Microsoft offre une réponse adéquate. Néanmoins, est-ce que cette prérogative sera suffisante pour espérer que LLama 2 rivalise efficacement avec ses congénères ? Il est possible que oui.
En raison de sa similarité avec GPT-3.5, LLama 2 aurait remporté 35,9 % des victoires dans une comparaison d’utilité, tandis que ChatGPT en aurait eu 32,5 %.
Nous pouvons donc nous attendre à des améliorations rapides avec l’accès facile au code source par le public.
La dernière version de Llama est désormais accessible sur Github aux particuliers, aux créateurs, aux chercheurs et aux entreprises de toutes tailles afin qu’ils puissent expérimenter, innover et développer leurs idées de manière responsable.
Avec Meta et Microsoft, le futur de l’IA générative s’annonce plus ouvert, responsable et passionnant que jamais. Le monde attend avec impatience de voir les réalisations exceptionnelles que Llama 2 permettra de concrétiser.
Source : Meta
