Como escolher um LLM: o guia de primeiros passos de 2024 para LLMs open source

Um LLM open source é um LLM disponível gratuitamente e que pode ser modificado e customizado por qualquer pessoa.

Qualquer pessoa ou empresa pode usar um LLM open source como bem entender, sem precisar pagar taxas de licenciamento. Isso inclui implantar o LLM em sua própria infraestrutura e ajustá-lo para atender às suas próprias necessidades.

Isso é o oposto de um LLM de código fechado, que é um modelo proprietário, pertencente a uma única pessoa ou organização e que não está disponível ao público. O exemplo mais famoso disso é a série de modelos GPT da OpenAI.

Existem inúmeros casos de uso potenciais para LLMs, mas aqui estão alguns recursos importantes para mostrar o que eles podem fazer:

• Análise de sentimentos. Os LLMs podem ser usados para identificar e classificar opiniões subjetivas coletadas de feedback, redes sociais etc.

• Criação de conteúdo. Vários LLMs podem gerar conteúdo contextualmente relevante como artigos, textos de marketing e descrições de produtos.

• Chatbot. Você pode ajustar os LLMs para usar como ajuda por chatbot ou para interagir com seus clientes.

• Traduções. Usando dados de texto multilíngues, os LLMs podem ser usados para traduzir idiomas humanos e auxiliar na comunicação.

• Pesquisa. Os LLMs podem facilitar o trabalho de pesquisa, sendo capazes de consumir e processar enormes quantidades de dados e retornar as informações mais relevantes.

Para facilitar a escolha de um LLM open source para sua empresa ou projeto, resumimos oito dos LLMs open source mais interessantes disponíveis. Baseamos esta lista nos sinais de popularidade da comunidade de IA e do repositório de machine learning Hugging Face.

Desenvolvido pela EleutherAI, o GPT-NeoX-20B é um modelo de linguagem autorregressivo, projetado para se assemelhar arquitetonicamente ao GPT-3. Ele foi treinado usando a biblioteca GPT-NeoX com dados do The Pile, um conjunto de dados open source de 800 GB hospedado pelo The Eye.

O GPT-NeoX-20B foi desenvolvido principalmente para fins de pesquisa e tem 20 bilhões de parâmetros que você pode usar e customizar.

Para quem é?
O GPT-NeoX-20B é ideal para empresas de médio/grande porte que precisam de geração de conteúdo avançado, como agências de marketing e empresas de mídia. Essas empresas precisarão ter pessoal qualificado e o poder computacional necessário para executar um LLM maior.

Para quem não é?
Este LLM não é adequado para pequenas empresas ou indivíduos sem recursos financeiros e técnicos para gerenciar os requisitos computacionais. 

Complexidade de uso
Como ele não se destina à implantação no estado em que se encontra, você precisará de conhecimento técnico para implantar e ajustar o GPT-NeoX-20B para suas tarefas e necessidades específicas.

Também desenvolvido pela EleutherAI, o GPT-J-6b é um modelo transformador generativo pré-treinado, projetado para produzir texto semelhante ao humano a partir de um prompt. Ele foi criado usando o modelo GPT-J e tem 6 bilhões de parâmetros treináveis (daí o nome).

Foi treinado em um conjunto de dados somente no idioma inglês, o que o torna inadequado para traduções ou geração de texto em idiomas diferentes do inglês.

Para quem é?
Por sua facilidade de uso e por ser relativamente pequeno, o GPT-J-6b é ideal para startups e empresas de médio porte que buscam um equilíbrio entre desempenho e consumo de recursos.

Para quem não é?
Este LLM pode não ser a melhor escolha para empresas que exigem desempenho e customização de modelos mais avançados. Também não é adequado para empresas que precisam de suporte multilíngue.

Complexidade de uso
O GPT-J-6b é um LLM moderadamente fácil de usar que se beneficia por ter uma comunidade atuante, tornando-o acessível para empresas com conhecimento técnico médio.

A resposta da Meta aos populares LLMs do Google e da OpenAI, o Llama 2 é treinado em fontes de dados online disponíveis publicamente e foi projetado para criar experiências orientadas por IA . Ele pode ser ajustado para tarefas específicas e é totalmente gratuito para pesquisa e uso comercial.

Com base no trabalho da Meta no LLaMA, o Llama 2 vem em três tamanhos de modelo: 7 bilhões, 13 bilhões e 70 bilhões de parâmetros, o que faz dele um opção dinâmica e escalável.

Para quem é?
Devido às opções de tamanho do modelo, o Llama 2 é uma ótima opção para pesquisadores e desenvolvedores educacionais que desejam aproveitar modelos de linguagem abrangentes. Ele pode ser executado até mesmo em computadores comuns, o que o torna uma boa opção para amadores.

Para quem não é?
O Llama 2 não é adequado para aplicações de mais alto risco ou de nicho, pois não se destina a tarefas altamente especializadas. Além disso, há algumas preocupações quanto à confiabilidade dos resultados.

Complexidade de uso
É um LLM relativamente fácil de usar, com foco em aplicações educacionais, mas provavelmente exigirá customização para obter os melhores resultados.

O BLOOM é um modelo de linguagem de transformador somente decodificador que tem a impressionante quantidade de 176 bilhões de parâmetros. Ele foi projetado para gerar texto a partir de um prompt e pode ser ajustado para executar tarefas específicas como geração de texto, sumarização, embeddings, classificação e busca semântica.

Foi treinado em um conjunto de dados que inclui centenas de fontes em 46 idiomas diferentes, o que também faz dele uma ótima opção para tradução de idiomas e produção multilíngue.

Para quem é?
O BLOOM é ótimo para empresas maiores voltadas para um público global que precisa de suporte multilíngue. Devido ao tamanho do modelo, as empresas também precisarão ter amplos recursos disponíveis para executá-lo.

Para quem não é?
As empresas que operam exclusivamente em mercados de língua inglesa podem achar supérfluas suas capacidades multilíngues, especialmente com os recursos consideráveis necessários para customizar e treinar um modelo tão grande.

Complexidade de uso
Com a necessidade de compreender as nuances da linguagem e sua implantação em diferentes contextos linguísticos, o BLOOM tem uma complexidade moderada a alta.

O Falcon é um LLM que olhou para o BLOOM e disse “Nhé, só 176 bilhões de parâmetros?”

OK, na verdade, eles não disseram isso, mas o modelo de linguagem open source deles vem em três tamanhos impressionantes: 7 bilhões, 40 bilhões e 180 bilhões.

Licenciado sob a Licença Apache 2.0, o Falcon é um LLM autorregressivo, projetado para gerar texto a partir de um prompt e baseado no conjunto de dados RefinedWeb de alta qualidade.

Para quem é?
Devido a seu excelente desempenho e escalabilidade, o Falcon é ideal para empresas maiores interessadas em soluções multilíngues como criação de sites e marketing, análise de investimentos e segurança cibernética.

Para quem não é?
Embora exista a opção de 7 bilhões, essa ainda não é a melhor escolha para empresas que buscam uma solução plug-and-play simples para geração de conteúdo. O custo de customização e treinamento do modelo ainda seria muito alto para esses tipos de tarefas.

Complexidade de uso
Apesar do enorme tamanho do modelo maior, o Falcon é relativamente fácil de usar em comparação com outros LLMs. No entanto, você ainda precisa conhecer as nuances das suas tarefas específicas para aproveitá-las ao máximo.

Este LLM da Salesforce é diferente de qualquer outro nesta lista porque, em vez de gerar respostas de texto ou conteúdo, ele gera código de computador. CodeGen é a abreviação de “geração de código” e é exatamente isso que ele faz. Ele foi treinado para gerar código com base em código existente ou em prompts de linguagem natural.

Disponível em tamanhos de 7 bilhões, 13 bilhões e 34 bilhões de parâmetros, o CodeGen foi criado para oferecer uma abordagem simplificada para o desenvolvimento de software.

Para quem é?
O CodeGen é destinado a empresas de tecnologia e equipes de desenvolvimento de software que buscam automatizar tarefas de codificação e melhorar a produtividade do desenvolvedor.

Para quem não é?
Se sua empresa não escreve ou trabalha com código de computador, este LLM não é para você!

Complexidade de uso
A integração do CodeGen aos fluxos de trabalho de desenvolvimento existentes pode ser complexa e requer uma sólida experiência em engenharia de software.

Um dos primeiros LLMs modernos, o BERT é uma arquitetura de transformador somente codificador criada pelo Google em 2018. Ele foi projetado para compreender, gerar e manipular a linguagem humana.

O BERT tem sido usado pelo próprio Google para melhorar a compreensão das consultas na busca e também tem sido eficaz em outras tarefas como geração de texto, resposta a perguntas e análise de sentimentos.

Para quem é?
Considerando que é uma parte fundamental da própria busca do Google, o BERT é a melhor opção para especialistas em SEO e criadores de conteúdo que desejam otimizar sites e conteúdo para mecanismos de busca e melhorar a relevância do conteúdo.

Para quem não é?
Fora do SEO, o BERT provavelmente não será a melhor opção em muitas situações devido à sua idade, o que o torna redundante em comparação com alternativas maiores e mais recentes.

Complexidade de uso
O BERT é bastante simples para quem está familiarizado com SEO e otimização de conteúdo, mas pode exigir ajustes para acompanhar as mudanças nas recomendações de SEO mais recentes do Google.

O T5 (abreviação de Text-to-Text Transfer Transformer) é uma arquitetura baseada em transformador que usa uma abordagem de texto para texto. Ele converte problemas de PLN em um formato onde a entrada e a saída são sempre strings de texto, o que permite que o T5 seja utilizado em uma variedade de tarefas como tradução, resposta a perguntas e classificação. Está disponível em cinco tamanhos diferentes, que variam de 60 milhões de parâmetros a 11 bilhões.

Para quem é?
O T5 é ótimo para empresas que precisam de uma ferramenta versátil para diversas tarefas de processamento de texto para texto, como sumarização, tradução e classificação.

Para quem não é?
Apesar da relativa flexibilidade do T5, ele não é adequado para tarefas que exigem qualquer tipo de saída que não seja texto. 

Complexidade de uso
O T5 geralmente é considerado fácil de usar em comparação com outros LLMs, com uma variedade de modelos pré-treinados disponíveis. Entretanto, ainda pode ser necessário algum conhecimento para adaptação a tarefas mais específicas ou de nicho.

Aviso de isenção: todos os parâmetros e tamanhos de modelo estavam corretos no momento da publicação, mas podem ter mudado desde então.

Existem vários critérios importantes que você precisa considerar ao decidir qual LLM open source usar:

• Custo. Como esses LLMs são open source, você não precisa pagar pelos modelos em si. No entanto, você precisa pensar no custo de hospedagem, treinamento, recursos etc. Quanto maior e mais complexo for um LLM, mais ele provavelmente custará. Isso ocorre porque um LLM maior exigirá mais custos de armazenamento de dados, poder de processamento, uma infraestrutura maior e custos de manutenção.

• Acurácia. Avaliar a acurácia de suas opções é essencial. Você precisa comparar a acurácia com que diferentes LLMs podem realizar os tipos de tarefas de que você precisa. Por exemplo, alguns modelos serão específicos do domínio e alguns podem ser melhorados com ajuste fino ou geração aumentada de recuperação (RAG).

• Desempenho. O desempenho de um LLM é medido com aspectos como fluência linguística, coerência e compreensão do contexto. Quanto melhor o LLM for nesses aspectos, melhor será seu desempenho. Isso aprimorará a experiência do usuário e a eficácia das tarefas, além de proporcionar uma vantagem competitiva. 

• Segurança dos dados. A segurança dos seus dados é outra consideração fundamental. É especialmente importante se você lida com dados sensíveis ou informações de identificação pessoal. Essa é outra área em que um RAG pode ser útil, pois você pode controlar o acesso aos dados usando segurança no nível do documento e restringir as permissões de segurança a dados específicos.

• Específico para uma tarefa ou de finalidade geral. Considere se você precisa de um LLM que resolva casos de uso mais específicos ou que cubra um espectro mais amplo de tarefas. Como alguns modelos são específicos do domínio, você precisa ter cuidado ao selecionar um modelo dentro do seu domínio ou encontrar um com um escopo mais amplo. 

• Qualidade dos dados de treinamento. Se a qualidade dos dados não for boa, os resultados também não serão. Avalie os dados que cada LLM usa e escolha aquele em que você confia. O RAG também ajudará com isso, pois você pode usar dados customizados, que podem ser preparados e ajustados para melhorar diretamente a qualidade da saída.

• Conjunto de habilidades. Outro grande fator a considerar é o conjunto de habilidades existente em sua equipe de projeto. Experiência em ciência de dados, MLOps e PLN é obrigatória. Quanto mais complexo o LLM, mais profundo será o conjunto de habilidades que sua equipe precisará ter. Se houver mais limitações nesse aspecto, vale a pena se concentrar nos LLMs mais simples ou até mesmo buscar trazer um pessoal com mais experiência.

Usando esses critérios, você poderá decidir qual dos LLMs que abordamos é o mais adequado para suas circunstâncias específicas.

A melhor abordagem é reservar um tempo, analisar as opções listadas e avaliá-las com base na melhor forma de ajudar você a resolver seus problemas. Todos esses LLMs open source são extremamente poderosos e podem ser transformadores se utilizados de forma eficaz.