Meta ha lanzado hoy dos modelos m\u00e1s peque\u00f1os impulsados por Llama 3. Uno tiene 8.000 millones de par\u00e1metros y obtuvo una puntuaci\u00f3n de 82 MMLU, una m\u00e9trica del sector que mide la solidez del modelo.<\/p>\n\n
LeCun revel\u00f3 que actualmente se est\u00e1n desarrollando versiones mayores, incluida una con 400.000 millones de par\u00e1metros. Prev\u00e9 que estos modelos m\u00e1s grandes sean m\u00e1s potentes y admitan m\u00e1s idiomas y modalidades.<\/p>\n\n
Meta ha lanzado su modelo Llama 3 como oferta de IA generativa. Meta lo ha promocionado como el mejor modelo de c\u00f3digo abierto disponible y afirma que eclipsa a cualquier otro modelo de IA generativa disponible en la actualidad. La Llama 3 puede generar im\u00e1genes y texto, e incluso puede entrenarse espec\u00edficamente para un dominio o caso de uso; tambi\u00e9n cabe esperar un rendimiento m\u00e1s r\u00e1pido y eficaz que el de su predecesora, la Llama 2.<\/p>\n\n
Seg\u00fan la empresa, Llama 3 cuenta con un recuento de 8.000 o 70.000 millones de par\u00e1metros y puede soportar la generaci\u00f3n de lenguaje, la clasificaci\u00f3n, la extracci\u00f3n de informaci\u00f3n, la respuesta a preguntas basadas en el contenido, la investigaci\u00f3n y el desarrollo, as\u00ed como la respuesta a preguntas basadas en el contenido. Ahora puede descargarse para su uso en Databricks, Amazon Web Services, Google Cloud Platform y Microsoft Azure.<\/p>\n\n
Llama 3 super\u00f3 a su predecesor en varios puntos de referencia, seg\u00fan sus creadores, de acuerdo con los informes de su empresa. Entrenado en un conjunto de datos siete veces mayor que el utilizado con Llama 2, este modelo puede producir respuestas m\u00e1s matizadas en \u00e1reas como la IA conversacional y la generaci\u00f3n de lenguaje natural en comparaci\u00f3n con su predecesor Llama 2, as\u00ed como competir contra modelos de IA generativa emblem\u00e1ticos como los modelos GPT-3.5 de OpenAI y Google Gemini 1.5 Pro -\u00a1seg\u00fan ellos!<\/p>\n\n
Meta tiene planes para lanzar con el tiempo variantes m\u00e1s avanzadas de Llama 3, incluidas las capaces de crear tanto im\u00e1genes como salida de texto y m\u00e1s. Estos modelos posteriores deber\u00edan permitir a Meta abordar consultas m\u00e1s sofisticadas y desarrollar planes de varios pasos con mayor eficacia, declar\u00f3 la empresa.<\/p>\n\n
Estas variantes ser\u00e1n de \u00faltima generaci\u00f3n; sin embargo, tambi\u00e9n se est\u00e1n publicando Opciones de Ajuste de Colab Enterprise para que los usuarios puedan personalizar y optimizar estos modelos con sus propios datos. Es similar a c\u00f3mo se optimizaron Llama 2 y Guardia 2 con datos espec\u00edficos del dominio para su personalizaci\u00f3n; creando as\u00ed versiones \u00fanicas.<\/p>\n\n
El enfoque de Meta de publicar regularmente modelos Llama 3 grandes y peque\u00f1os demuestra su compromiso de mantener su liderazgo en la IA generativa de c\u00f3digo abierto. Adem\u00e1s, esta estrategia subraya su valor para las empresas que buscan varios modelos adaptados espec\u00edficamente a casos de uso concretos.<\/p>\n\n
El modelo Llama 3 de Meta fue entrenado en un enorme conjunto de datos, que inclu\u00eda 15T de tokens de contenido multiling\u00fce, seg\u00fan Meta. Esta cantidad masiva de datos permiti\u00f3 a su nuevo modelo sobresalir en tareas como la clasificaci\u00f3n de texto, la respuesta a preguntas cerradas, la codificaci\u00f3n de la escritura creativa, la extracci\u00f3n de informaci\u00f3n que habita en la persona\/personaje que habita en el razonamiento y el resumen. Adem\u00e1s, tambi\u00e9n se han incluido otras mejoras, como a\u00f1adir un tokenizador basado en Tiktoken que aumenta el vocabulario hasta 128k tokens.<\/p>\n\n
La empresa afirma que su modelo Llama 3 ha superado a otros dispositivos en pruebas de referencia como MMLU (conocimientos de nivel universitario), GSM-8K (matem\u00e1ticas de primaria), GPQA y HumanEval; superando a modelos como Google Gemma 7B Instruct y Mistral Medium en varios casos de uso, as\u00ed como a Claude Sonnet, Gemini Pro 1.5 y la \u00faltima generaci\u00f3n GPT-4 de Google en determinadas pruebas de referencia.<\/p>\n\n
La familia de modelos ling\u00fc\u00edsticos Llama 3 incluye variantes preentrenadas y ajustadas a las instrucciones con par\u00e1metros de 8B y 70B. Seg\u00fan Meta, los modelos ajustados a las instrucciones est\u00e1n optimizados para los casos de uso del di\u00e1logo y superan a muchos modelos de chat de c\u00f3digo abierto en los puntos de referencia habituales del sector. Adem\u00e1s, estos modelos tambi\u00e9n incorporan una arquitectura de flujo conversacional que ayuda al modelo a comprender mejor el habla natural no estructurada y a responder con mayor rapidez a las indicaciones.<\/p>\n\n
Adem\u00e1s de sobresalir en estas pruebas, la empresa informa de que su nuevo modelo tambi\u00e9n presenta una \u00abtasa de alucinaci\u00f3n\u00bb, o inexactitud en la producci\u00f3n de consultas de los usuarios, reducida. Adem\u00e1s, este motor de an\u00e1lisis del habla con capacidad multiling\u00fce puede reconocer formas de habla tanto naturales como sint\u00e9ticas, manejando con facilidad las pausas naturales, las contracciones y la jerga.<\/p>\n\n
Meta est\u00e1 trabajando actualmente en modelos Llama 3 m\u00e1s grandes y avanzados, con 400.000 millones de par\u00e1metros y compatibilidad con m\u00faltiples idiomas y modalidades; saldr\u00e1n a la venta a finales de este a\u00f1o. Meta planea hacer accesibles al p\u00fablico estos modelos Llama m\u00e1s avanzados, con la esperanza de que los desarrolladores los utilicen para impulsar aplicaciones de su propio dise\u00f1o; adem\u00e1s, una versi\u00f3n mejorada de Meta AI que actualmente impulsa las barras de b\u00fasqueda en Instagram, Facebook y WhatsApp utilizar\u00e1 estos modelos como base.<\/p>\n\n
El modelo Llama 3 de Meta es una soluci\u00f3n de IA avanzada, que proporciona un mayor rendimiento y una experiencia de usuario mejorada. Adecuado tanto para empresas como para particulares, sus amplias aplicaciones lo convierten en una elecci\u00f3n inteligente, como el an\u00e1lisis de sentimientos, la clasificaci\u00f3n de datos y las tareas de traducci\u00f3n de idiomas.<\/p>\n\n
El modelo Llama 3 puede descargarse gratuitamente de Meta con dos tama\u00f1os de par\u00e1metros disponibles, 8.000 y 70.000 millones respectivamente. Adem\u00e1s, su arquitectura de alto rendimiento est\u00e1 optimizada para funcionar mejor con el hardware de Intel, como sus aceleradores de IA Gaudi y los procesadores Xeon, para obtener el m\u00e1ximo rendimiento.<\/p>\n\n
Meta ha informado de que su modelo Llama 3 super\u00f3 a su predecesor en pruebas de referencia como MMLU, ARC y DROP, al tiempo que obtuvo buenos resultados en otras m\u00e9tricas est\u00e1ndar de evaluaci\u00f3n de la IA. Adem\u00e1s, su transparencia permite a los usuarios observar c\u00f3mo llega a sus resultados.<\/p>\n\n
Adem\u00e1s, este modelo puede manejar grandes vol\u00famenes de datos sin dejar de ser escalable en diferentes plataformas inform\u00e1ticas, lo que lo hace conveniente para los desarrolladores que trabajan en diversos proyectos. Adem\u00e1s, su precisi\u00f3n proporciona aplicaciones empresariales cruciales.<\/p>\n\n
Este modelo puede manejar una impresionante variedad de idiomas y puede adaptarse f\u00e1cilmente a requisitos espec\u00edficos. Adem\u00e1s, el modelo incorpora las medidas de seguridad Llama Guard y CybersecEval, dise\u00f1adas para minimizar los riesgos.<\/p>\n\n
Adem\u00e1s, este modelo se preentren\u00f3 en un conjunto de datos siete veces mayor que su predecesor. Con un entrenamiento completado s\u00f3lo con m\u00e1s de 15 billones de tokens y escenarios multiling\u00fces como punto central, \u00a1de hecho actualmente ocupa el puesto de mejor modelo de su categor\u00eda!<\/p>\n\n
Sin embargo, un modelo tan expansivo presenta ciertos retos. Uno de esos obst\u00e1culos es su necesidad de importantes recursos inform\u00e1ticos durante el entrenamiento y el ajuste fino, lo que se traduce en importantes emisiones de carbono asociadas a su proceso de creaci\u00f3n. Para mitigar este problema, Meta ha adoptado un enfoque \u00e9tico en su creaci\u00f3n compensando las emisiones de carbono asociadas a los procesos de formaci\u00f3n como parte de su plan de desarrollo. Adem\u00e1s, Meta ha puesto su modelo gratuitamente a disposici\u00f3n de los desarrolladores de todo el mundo para que lo prueben y lo perfeccionen.<\/p>\n\n
Como ocurre con todos los grandes modelos ling\u00fc\u00edsticos, Llama 3 puede sufrir algunas limitaciones. Entrenar este modelo lleva tiempo y dinero; para obtener resultados \u00f3ptimos, hay que recopilar m\u00faltiples ejemplos de entrenamiento, lo que puede resultar lento o costoso. Adem\u00e1s, sus respuestas podr\u00edan volverse hipersensibles a determinadas palabras o frases, lo que podr\u00eda provocar respuestas inesperadas.<\/p>\n\n
Aunque el modelado de la IA presenta ciertas limitaciones, sigue siendo un recurso eficaz para los desarrolladores y las empresas que buscan crear aplicaciones potenciadas por la IA. El modelo no s\u00f3lo puede reducir el tiempo y los costes de desarrollo, sino que tambi\u00e9n permite a los desarrolladores personalizar la experiencia del usuario, algo que puede resultar especialmente \u00fatil en sectores como los servicios financieros, la sanidad, el comercio minorista, etc.<\/p>\n\n
Meta ha introducido varias modificaciones en su modelo Llama 3, como reducir el n\u00famero de par\u00e1metros necesarios y acelerar el rendimiento. Adem\u00e1s, se introdujo soporte para entradas multimodales que pueden a\u00f1adir im\u00e1genes o clips de audio directamente a la salida de texto para actividades creativas como escribir m\u00fasica o componer poes\u00eda. Adem\u00e1s, el di\u00e1logo natural entre usuarios y m\u00e1quinas tambi\u00e9n puede beneficiarse.<\/p>\n\n
Meta ha ampliado su proceso de post-entrenamiento m\u00e1s all\u00e1 de la simple disminuci\u00f3n de los par\u00e1metros del modelo, creando nuevas t\u00e9cnicas de ajuste, como el ajuste fino supervisado y el aprendizaje por refuerzo con retroalimentaci\u00f3n humana, para optimizar su rendimiento general. Adem\u00e1s, Meta afirma que su modelo Llama 3 tiene un mejor muestreo de rechazo, lo que significa menos salidas incorrectas.<\/p>\n\n
La empresa tambi\u00e9n ha publicado demostraciones que muestran al modelo Llama 3 en acci\u00f3n, como responder preguntas, completar tareas y seguir instrucciones. Puedes ver estas demostraciones en su sitio web.<\/p>\n\n
La decisi\u00f3n de Meta de publicar su modelo Llama 3 como c\u00f3digo abierto podr\u00eda suponer una declaraci\u00f3n impactante sobre su posici\u00f3n en el sector y animar a otras empresas a seguir su ejemplo, reduciendo a\u00fan m\u00e1s las barreras de entrada para los desarrolladores y simplificando al mismo tiempo la integraci\u00f3n de la IA para los fabricantes de productos.<\/p>\n\n