Meta, la compañía tecnológica antes conocida como Facebook, lanzó Lima, un modelo de lenguaje grande de inteligencia artificial (IA) que promete dar respuestas de alta calidad con solo unas pocas indicaciones.
Lima se basa en un modelo previo llamado LLaMa, que tiene 65.000 millones de parámetros y que fue puesto a disposición de la comunidad investigadora a principios de año.
¿Qué es Lima?
Lima significa Less Is More for Alignment (Menos es más para la alineación) y es un modelo de lenguaje que busca mejorar el rendimiento de los modelos grandes sin necesidad de entrenarlos más.
Según explica Meta, los modelos de lenguaje suelen tener dos fases de entrenamiento: una previa no supervisada con texto sin procesar, para que aprendan representaciones generales, y otra posterior supervisada con ajuste y refuerzo, para que se alineen mejor con las tareas finales y las preferencias del usuario.
Lima demuestra que se puede obtener una buena alineación con solo unas pocas indicaciones, siempre y cuando el modelo haya sido entrenado previamente con una gran cantidad de datos.
Para ello, Meta ha usado mil ejemplos de instrucciones reales cuidadosamente seleccionadas, 750 de ellas provenientes de foros como Stack Exchange y wikiHow y otras 250 escritas por los propios investigadores.
¿Cómo se compara Lima con otros modelos?
Para evaluar el desempeño de Lima, el gigante tecnológico lo ha comparado con otros modelos de lenguaje grandes como ChatGPT (GPT-4) de OpenAI, Claude de Anthropic y Bard de Google. Los investigadores han usado un test controlado de 300 indicaciones y han medido la calidad de las respuestas generadas por cada modelo.
Los resultados muestran que Lima produce respuestas “iguales o preferibles” en el 43%, el 46% y 58% de los casos, respectivamente. Además, en una escala absoluta, las respuestas de Lima “revelan que el 88% cumple con los requisitos inmediatos, y el 50% se considera excelente”, según el estudio publicado en arxiv.org.