Meta a lanc\u00e9 aujourd’hui deux petits mod\u00e8les aliment\u00e9s par Llama 3. One compte 8 milliards de param\u00e8tres et a obtenu un score MMLU de 82 – une mesure de l’industrie qui \u00e9value la force du mod\u00e8le.<\/p>\n\n
LeCun a r\u00e9v\u00e9l\u00e9 que des versions plus grandes, dont une avec 400 milliards de param\u00e8tres, sont actuellement en cours de d\u00e9veloppement. Il pr\u00e9voit que ces mod\u00e8les plus grands seront plus puissants et prendront en charge un plus grand nombre de langues et de modalit\u00e9s.<\/p>\n\n
Meta a lanc\u00e9 son mod\u00e8le Llama 3, son offre d’IA g\u00e9n\u00e9rative. Meta l’a pr\u00e9sent\u00e9 comme le meilleur mod\u00e8le open source disponible et affirme qu’il surpasse tous les autres mod\u00e8les d’IA g\u00e9n\u00e9rative disponibles aujourd’hui. Le Llama 3 peut g\u00e9n\u00e9rer des images et du texte et peut m\u00eame \u00eatre form\u00e9 sp\u00e9cifiquement \u00e0 un domaine ou \u00e0 un cas d’utilisation ; on peut \u00e9galement s’attendre \u00e0 des performances plus rapides et plus efficaces que celles de son pr\u00e9d\u00e9cesseur, le Llama 2.<\/p>\n\n
Selon l’entreprise, Llama 3 compte 8 milliards ou 70 milliards de param\u00e8tres et peut prendre en charge la g\u00e9n\u00e9ration de langage, la classification, l’extraction d’informations, la r\u00e9ponse \u00e0 des questions fond\u00e9es sur le contenu, la recherche et le d\u00e9veloppement ainsi que la r\u00e9ponse \u00e0 des questions fond\u00e9es sur le contenu. Il peut d\u00e9sormais \u00eatre t\u00e9l\u00e9charg\u00e9 pour \u00eatre utilis\u00e9 \u00e0 partir de Databricks, Amazon Web Services, Google Cloud Platform et Microsoft Azure.<\/p>\n\n
D’apr\u00e8s ses cr\u00e9ateurs, le Llama 3 a surpass\u00e9 son pr\u00e9d\u00e9cesseur sur divers crit\u00e8res de r\u00e9f\u00e9rence, selon les rapports de leur entreprise. Entra\u00een\u00e9 sur un ensemble de donn\u00e9es sept fois plus important que celui utilis\u00e9 avec Llama 2, ce mod\u00e8le peut produire des r\u00e9ponses plus nuanc\u00e9es dans des domaines tels que l’IA conversationnelle et la g\u00e9n\u00e9ration de langage naturel par rapport \u00e0 son pr\u00e9d\u00e9cesseur Llama 2. Il peut \u00e9galement rivaliser avec des mod\u00e8les d’IA g\u00e9n\u00e9rative de premier plan tels que les mod\u00e8les GPT-3.5 d’OpenAI et Gemini 1.5 Pro de Google – d’apr\u00e8s eux !<\/p>\n\n
Meta pr\u00e9voit de lancer des variantes plus avanc\u00e9es de Llama 3 au fil du temps, y compris des variantes capables de cr\u00e9er des images, du texte et plus encore. Ces derniers mod\u00e8les devraient permettre \u00e0 Meta de r\u00e9pondre \u00e0 des demandes plus sophistiqu\u00e9es tout en d\u00e9veloppant des plans en plusieurs \u00e9tapes de mani\u00e8re plus efficace, a d\u00e9clar\u00e9 l’entreprise.<\/p>\n\n
Ces variantes seront \u00e0 la pointe de la technologie, mais les options de r\u00e9glage de Colab Enterprise sont \u00e9galement disponibles pour permettre aux utilisateurs de personnaliser et d’optimiser ces mod\u00e8les \u00e0 l’aide de leurs propres donn\u00e9es. C’est de la m\u00eame mani\u00e8re que Llama 2 et Guard 2 ont \u00e9t\u00e9 optimis\u00e9s avec des donn\u00e9es sp\u00e9cifiques au domaine pour la personnalisation, cr\u00e9ant ainsi des versions uniques.<\/p>\n\n
L’approche de Meta, qui consiste \u00e0 publier r\u00e9guli\u00e8rement de petits et grands mod\u00e8les de Llama 3, montre son engagement \u00e0 maintenir son avance dans le domaine de l’IA g\u00e9n\u00e9rative open source. En outre, cette strat\u00e9gie souligne sa valeur pour les entreprises qui recherchent diff\u00e9rents mod\u00e8les adapt\u00e9s \u00e0 des cas d’utilisation sp\u00e9cifiques.<\/p>\n\n
Le mod\u00e8le Llama 3 de Meta a \u00e9t\u00e9 entra\u00een\u00e9 sur un \u00e9norme ensemble de donn\u00e9es, comprenant 15T tokens de contenu multilingue, selon Meta. Cette masse de donn\u00e9es a permis \u00e0 son nouveau mod\u00e8le d’exceller dans des t\u00e2ches telles que la classification de textes, la r\u00e9ponse \u00e0 des questions ferm\u00e9es, le codage de l’\u00e9criture cr\u00e9ative, l’extraction d’informations, l’habillage d’un personnage, le raisonnement et la synth\u00e8se. En outre, d’autres am\u00e9liorations ont \u00e9t\u00e9 apport\u00e9es, comme l’ajout d’un tokenizer bas\u00e9 sur Tiktoken qui permet d’augmenter le vocabulaire jusqu’\u00e0 128k tokens.<\/p>\n\n
L’entreprise affirme que son mod\u00e8le Llama 3 a surpass\u00e9 d’autres appareils sur des crit\u00e8res de r\u00e9f\u00e9rence tels que MMLU (connaissances de niveau licence), GSM-8K (math\u00e9matiques de niveau primaire), GPQA et HumanEval ; surpassant des mod\u00e8les tels que Google Gemma 7B Instruct et Mistral Medium dans divers cas d’utilisation, ainsi que Claude Sonnet, Gemini Pro 1.5 et la derni\u00e8re g\u00e9n\u00e9ration GPT-4 de Google sur certains crit\u00e8res de r\u00e9f\u00e9rence.<\/p>\n\n
La famille de mod\u00e8les linguistiques Llama 3 comprend des variantes pr\u00e9-entra\u00een\u00e9es avec des param\u00e8tres 8B et 70B, ainsi que des variantes adapt\u00e9es aux instructions. Selon Meta, les mod\u00e8les d’instruction sont optimis\u00e9s pour les cas d’utilisation du dialogue et surpassent de nombreux mod\u00e8les de chat open source sur des crit\u00e8res de r\u00e9f\u00e9rence communs \u00e0 l’industrie. En outre, ces mod\u00e8les sont dot\u00e9s d’une architecture de flux conversationnel qui aide le mod\u00e8le \u00e0 mieux comprendre les discours naturels non structur\u00e9s tout en r\u00e9pondant plus rapidement aux invites.<\/p>\n\n
En plus d’exceller dans ces domaines, l’entreprise indique que son nouveau mod\u00e8le se targue \u00e9galement de r\u00e9duire le \u00ab\u00a0taux d’hallucination\u00a0\u00bb, c’est-\u00e0-dire l’inexactitude des requ\u00eates de l’utilisateur. En outre, ce moteur d’analyse vocale multilingue peut reconna\u00eetre des formes de discours naturelles et synth\u00e9tiques, tout en g\u00e9rant facilement les pauses naturelles, les contractions et l’argot.<\/p>\n\n
Meta travaille actuellement sur des mod\u00e8les Llama 3 plus grands et plus avanc\u00e9s, avec 400 milliards de param\u00e8tres et la prise en charge de plusieurs langues et modalit\u00e9s ; ces mod\u00e8les seront mis sur le march\u00e9 dans le courant de l’ann\u00e9e. Meta pr\u00e9voit de rendre ces mod\u00e8les Llama plus avanc\u00e9s accessibles au public, en esp\u00e9rant qu’ils seront utilis\u00e9s par les d\u00e9veloppeurs pour alimenter des applications de leur propre conception. En outre, une version am\u00e9lior\u00e9e de Meta AI, qui alimente actuellement les barres de recherche sur Instagram, Facebook et WhatsApp, s’appuiera sur ces mod\u00e8les.<\/p>\n\n
Le mod\u00e8le Llama 3 de Meta est une solution d’IA avanc\u00e9e, qui offre des performances et une exp\u00e9rience utilisateur am\u00e9lior\u00e9es. Adapt\u00e9es aux entreprises comme aux particuliers, ses nombreuses applications en font un choix judicieux, notamment pour l’analyse des sentiments, la classification des donn\u00e9es et les t\u00e2ches de traduction.<\/p>\n\n
Le mod\u00e8le Llama 3 peut \u00eatre t\u00e9l\u00e9charg\u00e9 gratuitement \u00e0 partir du site Meta. Deux tailles de param\u00e8tres sont disponibles, 8 milliards et 70 milliards respectivement. De plus, son architecture haute performance est optimis\u00e9e pour fonctionner au mieux avec le mat\u00e9riel Intel, comme les acc\u00e9l\u00e9rateurs Gaudi AI et les processeurs Xeon, pour des performances maximales.<\/p>\n\n
Meta a indiqu\u00e9 que son mod\u00e8le Llama 3 surpassait son pr\u00e9d\u00e9cesseur sur des crit\u00e8res de r\u00e9f\u00e9rence tels que MMLU, ARC et DROP, tout en obtenant de bons r\u00e9sultats sur d’autres mesures d’\u00e9valuation standard de l’IA. En outre, sa transparence permet aux utilisateurs d’observer comment il parvient \u00e0 ses r\u00e9sultats.<\/p>\n\n
En outre, ce mod\u00e8le peut traiter de grands volumes de donn\u00e9es tout en restant \u00e9volutif sur diff\u00e9rentes plateformes informatiques, ce qui le rend pratique pour les d\u00e9veloppeurs travaillant sur diff\u00e9rents projets. En outre, sa pr\u00e9cision permet des applications commerciales cruciales.<\/p>\n\n
Ce mod\u00e8le peut traiter une vari\u00e9t\u00e9 impressionnante de langues et s’adapter facilement \u00e0 des exigences sp\u00e9cifiques. En outre, le mod\u00e8le est dot\u00e9 des mesures de s\u00e9curit\u00e9 Llama Guard et CybersecEval, con\u00e7ues pour minimiser les risques.<\/p>\n\n
En outre, ce mod\u00e8le a \u00e9t\u00e9 pr\u00e9-entra\u00een\u00e9 sur un ensemble de donn\u00e9es sept fois plus important que son pr\u00e9d\u00e9cesseur. Avec une formation r\u00e9alis\u00e9e sur plus de 15 trillions de tokens et des sc\u00e9narios multilingues comme point de mire, il d\u00e9tient actuellement la place de meilleur mod\u00e8le dans sa cat\u00e9gorie !<\/p>\n\n
Toutefois, un mod\u00e8le aussi \u00e9tendu pr\u00e9sente certains d\u00e9fis. L’un de ces obstacles est la n\u00e9cessit\u00e9 d’utiliser d’importantes ressources informatiques pour l’entra\u00eenement et le r\u00e9glage fin, ce qui se traduit par des \u00e9missions de carbone significatives associ\u00e9es \u00e0 son processus de cr\u00e9ation. Pour att\u00e9nuer ce probl\u00e8me, Meta a adopt\u00e9 une approche \u00e9thique de sa cr\u00e9ation en compensant les \u00e9missions de carbone associ\u00e9es aux processus de formation dans le cadre de son plan de d\u00e9veloppement. En outre, Meta a mis son mod\u00e8le \u00e0 la disposition des d\u00e9veloppeurs du monde entier pour qu’ils le testent et l’affinent.<\/p>\n\n
Comme tous les grands mod\u00e8les linguistiques, Llama 3 peut souffrir de certaines limitations. La formation de ce mod\u00e8le prend du temps et de l’argent ; pour obtenir des r\u00e9sultats optimaux, de nombreux exemples de formation doivent \u00eatre collect\u00e9s, ce qui peut s’av\u00e9rer long ou co\u00fbteux. En outre, ses r\u00e9ponses pourraient devenir trop sensibles \u00e0 certains mots ou phrases, ce qui pourrait entra\u00eener des r\u00e9ponses inattendues.<\/p>\n\n
Bien que la mod\u00e9lisation de l’IA pr\u00e9sente certaines limites, elle reste une ressource efficace pour les d\u00e9veloppeurs et les entreprises qui cherchent \u00e0 cr\u00e9er des applications bas\u00e9es sur l’IA. Ce mod\u00e8le permet non seulement de r\u00e9duire les d\u00e9lais et les co\u00fbts de d\u00e9veloppement, mais aussi de personnaliser l’exp\u00e9rience de l’utilisateur, ce qui peut s’av\u00e9rer particuli\u00e8rement utile dans des secteurs tels que les services financiers, les soins de sant\u00e9, la vente au d\u00e9tail, etc.<\/p>\n\n
Meta a apport\u00e9 plusieurs modifications \u00e0 son mod\u00e8le Llama 3, notamment en r\u00e9duisant le nombre de param\u00e8tres n\u00e9cessaires et en acc\u00e9l\u00e9rant les performances. En outre, la prise en charge des entr\u00e9es multimodales a \u00e9t\u00e9 introduite, ce qui permet d’ajouter des images ou des clips audio directement \u00e0 la sortie du texte pour des activit\u00e9s cr\u00e9atives telles que l’\u00e9criture de musique ou la composition de po\u00e8mes. En outre, le dialogue naturel entre les utilisateurs et les machines peut \u00e9galement en b\u00e9n\u00e9ficier.<\/p>\n\n
Meta a \u00e9largi son processus de post-entra\u00eenement au-del\u00e0 de la simple diminution des param\u00e8tres du mod\u00e8le en cr\u00e9ant de nouvelles techniques de r\u00e9glage telles que le r\u00e9glage fin supervis\u00e9 et l’apprentissage par renforcement avec retour d’information humain afin d’optimiser ses performances globales. En outre, Meta affirme que son mod\u00e8le Llama 3 a un meilleur \u00e9chantillonnage de rejet, ce qui signifie qu’il y a moins de sorties incorrectes.<\/p>\n\n
L’entreprise a \u00e9galement publi\u00e9 des d\u00e9monstrations montrant le mod\u00e8le Llama 3 en action, notamment en r\u00e9pondant \u00e0 des questions, en accomplissant des t\u00e2ches et en suivant des instructions. Vous pouvez visionner ces d\u00e9monstrations sur leur site web.<\/p>\n\n
La d\u00e9cision de Meta de publier son mod\u00e8le Llama 3 en open source pourrait avoir un impact sur sa position dans l’industrie et encourager d’autres entreprises \u00e0 faire de m\u00eame, en abaissant encore les barri\u00e8res \u00e0 l’entr\u00e9e pour les d\u00e9veloppeurs tout en simplifiant l’int\u00e9gration de l’IA pour les fabricants de produits.<\/p>\n\n