Meta hat heute zwei kleinere Modelle ver\u00f6ffentlicht, die von Llama 3 angetrieben werden. Einer hat 8 Milliarden Parameter und erzielte einen MMLU-Score von 82 – eine Branchenkennzahl zur Messung der Modellst\u00e4rke.<\/p>\n\n
LeCun verriet, dass gr\u00f6\u00dfere Versionen, darunter eine mit 400 Milliarden Parametern, derzeit in der Entwicklung sind. Er erwartet, dass diese gr\u00f6\u00dferen Modelle leistungsf\u00e4higer sind und mehr Sprachen und Modalit\u00e4ten unterst\u00fctzen.<\/p>\n\n
Meta hat das Modell Llama 3 als sein generatives KI-Angebot ver\u00f6ffentlicht. Meta hat es als das beste verf\u00fcgbare Open-Source-Modell angepriesen und behauptet, dass es alle anderen heute verf\u00fcgbaren generativen KI-Modelle in den Schatten stellt. Das Llama 3 kann Bilder und Texte generieren und kann sogar speziell f\u00fcr einen bestimmten Bereich oder Anwendungsfall trainiert werden. Au\u00dferdem ist eine schnellere und effizientere Leistung als bei seinem Vorg\u00e4nger, dem Llama 2, zu erwarten.<\/p>\n\n
Nach Angaben des Unternehmens verf\u00fcgt Llama 3 \u00fcber eine Anzahl von 8 Milliarden bzw. 70 Milliarden Parametern und kann Sprachgenerierung, Klassifizierung, Informationsextraktion, inhaltsbasierte Fragenbeantwortung, Forschung und Entwicklung sowie inhaltsbasierte Fragenbeantwortung unterst\u00fctzen. Es kann jetzt f\u00fcr die Nutzung von Databricks, Amazon Web Services, Google Cloud Platform und Microsoft Azure heruntergeladen werden.<\/p>\n\n
Llama 3 \u00fcbertraf seinen Vorg\u00e4nger bei verschiedenen Benchmarks, so die Macher, wie ihr Unternehmen mitteilte. Dieses Modell wurde auf einem siebenmal gr\u00f6\u00dferen Datensatz als bei Llama 2 trainiert und kann im Vergleich zu seinem Vorg\u00e4nger Llama 2 nuanciertere Antworten in Bereichen wie Konversations-KI und der Generierung nat\u00fcrlicher Sprache geben. Au\u00dferdem kann es mit Flaggschiff-Modellen der generativen KI wie OpenAIs GPT-3.5 und Google Gemini 1.5 Pro konkurrieren – so hei\u00dft es!<\/p>\n\n
Meta plant, im Laufe der Zeit fortgeschrittenere Llama 3-Varianten herauszubringen, darunter solche, die sowohl Bilder als auch Textausgaben und mehr erstellen k\u00f6nnen. Diese neueren Modelle sollten es Meta erm\u00f6glichen, anspruchsvollere Anfragen zu bearbeiten und gleichzeitig mehrstufige Pl\u00e4ne effektiver zu entwickeln, so das Unternehmen.<\/p>\n\n
Diese Varianten werden dem neuesten Stand der Technik entsprechen. Es werden jedoch auch Tuning-Optionen von Colab Enterprise ver\u00f6ffentlicht, so dass Benutzer diese Modelle mit ihren eigenen Daten anpassen und optimieren k\u00f6nnen. \u00c4hnlich wie bei Llama 2 und Guard 2, die mit dom\u00e4nenspezifischen Daten f\u00fcr die Anpassung optimiert wurden, entstehen so einzigartige Versionen.<\/p>\n\n
Metas Ansatz, regelm\u00e4\u00dfig kleine und gro\u00dfe Llama 3-Modelle zu ver\u00f6ffentlichen, zeigt sein Engagement, seinen Vorsprung im Bereich der generativen Open-Source-KI zu halten. Dar\u00fcber hinaus unterstreicht diese Strategie den Wert f\u00fcr Unternehmen, die verschiedene, speziell auf bestimmte Anwendungsf\u00e4lle zugeschnittene Modelle suchen.<\/p>\n\n
Metas Llama 3 Modell wurde auf einem riesigen Datensatz trainiert, der laut Meta 15T Token mit mehrsprachigem Inhalt enth\u00e4lt. Diese riesige Datenmenge erm\u00f6glichte es dem neuen Modell, sich bei Aufgaben wie der Klassifizierung von Text, der Beantwortung geschlossener Fragen, der Codierung von kreativem Schreiben, der Extraktion von Informationen, die einer Person oder einem Charakter zugeordnet werden k\u00f6nnen, und der Zusammenfassung von Schlussfolgerungen zu \u00fcbertreffen. Dar\u00fcber hinaus wurden weitere Verbesserungen vorgenommen, wie z.B. das Hinzuf\u00fcgen eines Tiktoken-basierten Tokenizers, der den Wortschatz auf bis zu 128k Token erweitert.<\/p>\n\n
Das Unternehmen behauptet, dass sein Modell Llama 3 andere Ger\u00e4te in Benchmarks wie MMLU (Wissen auf Undergraduate-Niveau), GSM-8K (Mathe auf Grundschulniveau), GPQA und HumanEval in den Schatten gestellt hat. Es \u00fcbertrifft Modelle wie Google Gemma 7B Instruct und Mistral Medium in verschiedenen Anwendungsf\u00e4llen sowie Claude Sonnet, Gemini Pro 1.5 und Googles neueste GPT-4-Generation in bestimmten Benchmarks.<\/p>\n\n
Die Llama 3-Familie von Sprachmodellen umfasst sowohl 8B- als auch 70B-Parameter-Varianten, die vortrainiert sind und auf Anweisungen abgestimmt sind. Laut Meta sind die auf die Instruktionen abgestimmten Modelle f\u00fcr Dialoganwendungen optimiert und \u00fcbertreffen viele Open-Source-Chatmodelle bei branchen\u00fcblichen Benchmarks. Dar\u00fcber hinaus verf\u00fcgen diese Modelle auch \u00fcber eine Konversationsfluss-Architektur, die dem Modell hilft, nat\u00fcrliche, unstrukturierte Sprache besser zu verstehen und schneller auf Aufforderungen zu reagieren.<\/p>\n\n
Das Unternehmen berichtet, dass sein neues Modell nicht nur bei diesen Benchmarks hervorragend abschneidet, sondern auch eine geringere „Halluzinationsrate“ oder Ungenauigkeit bei der Erstellung von Benutzeranfragen aufweist. Dar\u00fcber hinaus kann diese mehrsprachige Sprachanalyse-Engine sowohl nat\u00fcrliche als auch synthetische Sprachformen erkennen und dabei nat\u00fcrliche Pausen, Kontraktionen und Slang m\u00fchelos verarbeiten.<\/p>\n\n
Meta arbeitet derzeit an gr\u00f6\u00dferen, fortschrittlicheren Llama 3-Modellen mit 400 Milliarden Parametern und Unterst\u00fctzung f\u00fcr mehrere Sprachen und Modalit\u00e4ten; diese werden im Laufe des Jahres auf den Markt kommen. Meta plant, diese fortschrittlicheren Llama-Modelle \u00f6ffentlich zug\u00e4nglich zu machen, in der Hoffnung, dass sie von Entwicklern genutzt werden, um eigene Anwendungen zu entwickeln. Dar\u00fcber hinaus wird eine aktualisierte Version der Meta AI, die derzeit die Suchleisten auf Instagram, Facebook und WhatsApp antreibt, diese Modelle als Grundlage nutzen.<\/p>\n\n
Das Modell Llama 3 von Meta ist eine fortschrittliche KI-L\u00f6sung, die eine h\u00f6here Leistung und ein besseres Benutzererlebnis bietet. Es eignet sich sowohl f\u00fcr Unternehmen als auch f\u00fcr Privatpersonen und ist dank seiner umfangreichen Anwendungsm\u00f6glichkeiten eine gute Wahl – z. B. f\u00fcr Sentimentanalysen, Datenklassifizierung und Sprach\u00fcbersetzungsaufgaben.<\/p>\n\n
Das Llama 3 Modell kann kostenlos von Meta heruntergeladen werden. Es stehen zwei Parametergr\u00f6\u00dfen zur Verf\u00fcgung, 8 Milliarden bzw. 70 Milliarden. Dar\u00fcber hinaus ist die Hochleistungsarchitektur so optimiert, dass sie am besten auf Intel-Hardware wie den Gaudi KI-Beschleunigern und Xeon-Prozessoren funktioniert, um maximale Leistung zu erzielen.<\/p>\n\n
Meta hat berichtet, dass sein Llama 3 Modell seinen Vorg\u00e4nger bei Benchmarks wie MMLU, ARC und DROP \u00fcbertrifft und auch bei anderen Standard-KI-Bewertungsmetriken gut abschneidet. Au\u00dferdem k\u00f6nnen Sie dank seiner Transparenz beobachten, wie er zu seinen Ergebnissen kommt.<\/p>\n\n
Dar\u00fcber hinaus kann dieses Modell gro\u00dfe Datenmengen verarbeiten und ist gleichzeitig \u00fcber verschiedene Computerplattformen hinweg skalierbar, was es f\u00fcr Entwickler, die an verschiedenen Projekten arbeiten, praktisch macht. Au\u00dferdem bietet seine Genauigkeit entscheidende Gesch\u00e4ftsanwendungen.<\/p>\n\n
Dieses Modell kann eine beeindruckende Vielzahl von Sprachen verarbeiten und l\u00e4sst sich leicht an spezifische Anforderungen anpassen. Dar\u00fcber hinaus verf\u00fcgt das Modell \u00fcber die Sicherheitsma\u00dfnahmen Llama Guard und CybersecEval, um Risiken zu minimieren.<\/p>\n\n
Au\u00dferdem wurde dieses Modell mit einem siebenmal gr\u00f6\u00dferen Datensatz trainiert als sein Vorg\u00e4nger. Mit dem Training von mehr als 15 Billionen Token allein und mehrsprachigen Szenarien als Schwerpunkt – in der Tat ist es derzeit das beste Modell in seiner Kategorie!<\/p>\n\n
Ein solch expansives Modell bringt jedoch einige Herausforderungen mit sich. Eine dieser H\u00fcrden ist der hohe Bedarf an Rechenressourcen w\u00e4hrend des Trainings und der Feinabstimmung – dies f\u00fchrt zu erheblichen Kohlenstoffemissionen im Zusammenhang mit dem Erstellungsprozess. Um dieses Problem zu entsch\u00e4rfen, hat Meta einen ethischen Ansatz bei der Erstellung seiner Produkte gew\u00e4hlt, indem es die mit den Schulungsprozessen verbundenen Kohlenstoffemissionen im Rahmen seines Entwicklungsplans kompensiert. Dar\u00fcber hinaus hat Meta sein Modell Entwicklern auf der ganzen Welt zum Testen und Verfeinern frei zur Verf\u00fcgung gestellt.<\/p>\n\n
Wie bei allen gro\u00dfen Sprachmodellen gibt es auch bei Llama 3 einige Einschr\u00e4nkungen. Das Training dieses Modells kostet Zeit und Geld. Um optimale Ergebnisse zu erzielen, m\u00fcssen mehrere Trainingsbeispiele gesammelt werden, was sich als zeitaufwendig oder kostspielig erweisen kann. Au\u00dferdem k\u00f6nnten seine Reaktionen auf bestimmte W\u00f6rter oder S\u00e4tze \u00fcberempfindlich werden, was zu unerwarteten Reaktionen f\u00fchren k\u00f6nnte.<\/p>\n\n
Obwohl die KI-Modellierung gewisse Einschr\u00e4nkungen aufweist, bleibt sie eine effektive Ressource f\u00fcr Entwickler und Unternehmen, die KI-gest\u00fctzte Apps erstellen m\u00f6chten. Das Modell kann nicht nur die Entwicklungszeit und -kosten reduzieren, sondern erm\u00f6glicht es den Entwicklern auch, das Benutzererlebnis individuell zu gestalten, was sich in Branchen wie Finanzdienstleistungen, Gesundheitswesen, Einzelhandel usw. als besonders hilfreich erweisen kann.<\/p>\n\n
Meta hat mehrere \u00c4nderungen an seinem Llama 3 Modell vorgenommen, wie z.B. die Verringerung der Anzahl der notwendigen Parameter und die Beschleunigung der Leistung. Dar\u00fcber hinaus wurde Unterst\u00fctzung f\u00fcr multimodale Eingaben eingef\u00fchrt, mit denen Bilder oder Audioclips direkt in die Textausgabe eingef\u00fcgt werden k\u00f6nnen, um kreative T\u00e4tigkeiten wie das Schreiben von Musik oder das Verfassen von Gedichten zu erm\u00f6glichen. Dar\u00fcber hinaus kann auch der nat\u00fcrliche Dialog zwischen Benutzern und Maschinen davon profitieren.<\/p>\n\n
Meta hat seinen Post-Trainings-Prozess \u00fcber die einfache Verringerung der Modellparameter hinaus erweitert, indem es neue Tuning-Techniken wie \u00fcberwachtes Feintuning und Reinforcement Learning mit menschlichem Feedback entwickelt hat, um seine Gesamtleistung zu optimieren. Dar\u00fcber hinaus behauptet Meta, dass ihr Llama 3 Modell eine bessere R\u00fcckweisungsabtastung hat – was bedeutet, dass es weniger falsche Ausgaben gibt.<\/p>\n\n
Das Unternehmen hat auch Demonstrationen ver\u00f6ffentlicht, die das Llama 3-Modell in Aktion zeigen, z.B. beim Beantworten von Fragen, beim Erledigen von Aufgaben und beim Befolgen von Anweisungen. Sie k\u00f6nnen sich diese Demos auf der Website ansehen.<\/p>\n\n
Metas Entscheidung, das Modell Llama 3 als Open Source zu ver\u00f6ffentlichen, k\u00f6nnte ein deutliches Zeichen f\u00fcr die Position des Unternehmens in der Branche setzen und andere Unternehmen dazu ermutigen, diesem Beispiel zu folgen, um die Einstiegsh\u00fcrden f\u00fcr Entwickler weiter zu senken und die Integration von KI f\u00fcr Produkthersteller zu vereinfachen.<\/p>\n\n