O Llama 3.1 405B, treinado com recurso a 16 mil GPUs Nvidia H100, é o maior modelo de código aberto disponível atualmente. A Meta revela que o algoritmo tem 405 mil milhões de parâmetros e que aplicou aqui novas técnicas de treino e desenvolvimento para o tornar competitivo face a outros modelos como o GPT-4o da OpenAI ou o Claude 3.5 Sonnet da Anthropic.
Disponível para download em plataformas como AWS, Azure e Google Cloud, o modelo da Meta está a ser usado no WhatsApp e no Meta.ai para fornecer uma melhor experiência de chatbot para utilizadores nos Estados Unidos.
O Llama 3.1 405B pode ser usado para programação e para responder a questões básicas de matemática, além de poder resumir documentos em oito idiomas, incluindo português. O modelo é baseado em texto, ou seja, não consegue responder a questões sobre imagens para já, mas analisar ficheiros PDF ou folhas de cálculo é algo que vai poder fazer no futuro.
Apesar desta limitação, a Meta fez questão de realçar que está a trabalhar em modelos multimodais, ou seja, modelos Llama que conseguem reconhecer imagens e vídeos. Estes modelos ainda estão a ser testados internamente, avança o Tech Crunch.
Os investigadores usaram um conjunto de dados de 15 biliões de tokens para treinar este algoritmo e a informação chega até 2024, numa evolução dos conjuntos de bases de treino que foram usados para outros modelos Llama anteriores, desta feita com uma curadoria mais refinada e um controlo de qualidade mais rigoroso.
A empresa usou também dados sintéticos, ou seja, gerados por outros modelos de IA para o alimentar, numa abordagem que está a ser explorada também por outras empresas, como a OpenAI e a Anthropic, para escalar os seus métodos de treino. No entanto, alguns especialistas avisam que esta abordagem deve ser feita em último recurso, por poder exacerbar quaisquer desvios de conhecimento ou tendências de enviesamento. A Meta afirma ter tido um “equilíbrio cuidado” para o treino, mas não detalha quanta informação veio de outros modelos e quanta vem da base de treino dos tokens.
