Inteligência Artificial Open Source

Os custos para desenvolver modelos de inteligência artificial são elevados, por isso até pouco tempo atrás criar e utilizar modelos proprietários de IA nos negócios eram capacidades exclusivas das grandes empresas de tecnologia, que possuíam recursos e mão de obra para desenvolver e manter os modelos.

Hoje, com a disponibilidade de modelos de base de código aberto e com a utilização de técnicas de aperfeiçoamento como o Fine Tuning, é possível construir aplicações proprietárias de inteligência artificial para resolver problemas específicos de negócios, gastando muito menos tempo e recursos.

Neste artigo vamos entender o que são os modelos de base e como as empresas podem aperfeiçoá-los para resolver problemas complexos nos negócios.

O que são os modelos de base?

Os modelos de base também conhecidos como Foundation Models, são modelos de inteligência artificial pré-treinados com uma vasta quantidade de dados, eles são modelos com propósitos gerais capazes de resolver uma ampla variedade de tarefas.

Esses modelos podem ser aperfeiçoados para realizar tarefas mais específicas como: análises de sentimento, responder perguntas técnicas, reconhecer objetos entre várias outras.

Como utilizar esses os modelos de base?

Hoje milhares de modelos de base de código aberto podem ser encontrados e utilizados em plataformas como a Hugging Face, Kaggle, entre outras. A variedade dos modelos open source é muito grande, e inclui modelos com diferentes arquiteturas, tamanhos e propósitos.

Um exemplo de modelo de base open source presente no Hugging Face é o modelo disponibilizado pela NASA em parceria com a IBM, chamado de Geospatial Foundation Model. O modelo foi treinado com os dados de satélites da Nasa e aberto ao público visando democratizar o acesso a IA.

Quais as vantagens de se utilizar os modelos de base?

Os modelos de base oferecem acessibilidade e um nível de sofisticação em inteligência artificial que muitas organizações não têm recursos para alcançar por conta própria. Ao adotar e construir sobre os modelos de base, as empresas podem superar obstáculos comuns na adoção da IA, como, por exemplo:

• Acesso limitado a dados de qualidade. Os modelos de base fornecem um modelo construído em dados aos quais a maioria das organizações não tem acesso.
• Desempenho/precisão do modelo. Os modelos de base fornecem uma qualidade de precisão como linha de base que pode levar meses ou até anos de esforço para uma organização construir sozinha.
• Tempo para valor. Treinar um modelo de aprendizado de máquina pode levar muito tempo e requer muitos recursos. Os modelos de base fornecem uma base de pré-treinamento que as organizações possam ajustar para obter um resultado personalizado.
• Falta de recursos. Os modelos de base fornecem uma maneira para as organizações usarem IA/ML sem precisar investir pesadamente em recursos de ciência de dados.
• Gerenciamento de despesas: O uso de um modelo de base reduz a necessidade de hardware caro necessário para o treinamento inicial. Embora ainda haja um custo associado à implementação e ajuste fino do modelo finalizado, é apenas uma fração do que custaria treinar o próprio modelo de base.

Em resumo, os modelos de base permitem que as organizações superem barreiras de recursos e tempo para adotar a IA de maneira mais rápida e econômica, desbloqueando oportunidades e otimizando seus processos.

As técnicas de aperfeiçoamento.

Os modelos de base podem não performar tão bem para resolver tarefas específicas que exigem um grau mais elevado de personalização. Mas isso não é um problema, existem diferentes técnicas de aperfeiçoamento que podem ser utilizadas para aumentar a capacidade dos modelos para executar tarefas de domínios específicos na sua empresa.

Algumas das técnicas de aperfeiçoamento são: fine tuning, prompt-based AI e retrieval-augmented generation (RAG). A seguir apresentaremos como funciona cada uma dessas técnicas e quando utilizar cada uma delas no seu negócio.

Fine tuning

O fine tuning é uma técnica de aprendizado de transferência que consiste em ajustar os parâmetros de um modelo pré-treinado para uma tarefa específica. O objetivo é melhorar o desempenho do modelo na tarefa em questão, sem ter que treiná-lo do zero.

A OpenAI utilizou o fine tuning para otimizar os resultados do seu modelo de base, o GPT-3. Com essa técnica, foi possível aperfeiçoar o modelo de base, resultando em um novo modelo, mais aprimorado para tarefas de geração de textos.

Exemplo dos resultados com o modelo de base VS os resultados com o modelo aperfeiçoado:

Como os ajustes são feitos através do fine-tuning?

• Ajustando todos os parâmetros do modelo. Esta abordagem é a mais completa e mais assertiva, mas também é a que requer mais pode computacional.
• Ajustando apenas os parâmetros de algumas camadas do modelo. Esta abordagem é menos computacionalmente intensiva, mas pode não produzir resultados tão bons quanto a abordagem anterior.

Exemplos de aplicações do fine tuning:

• Reconhecimento de objetos: Um modelo pré-treinado em um conjunto de dados de imagens de objetos genéricos pode ser otimizado para reconhecer objetos específicos, como carros ou rostos humanos.
• Geração de texto: Um modelo pré-treinado em um conjunto de dados de texto pode ser otimizado para gerar texto criativo, como poemas, histórias ou código.

(RAG) Retrieval Augmented Generation

RAG, ou Retrieval Augmented Generation, é uma técnica de Machine Learning que combina as capacidades dos modelos de linguagem pré-treinados com os benefícios de sistemas de recuperação de informações como bancos de dados de vetores. O objetivo principal do RAG é aprimorar as capacidades de grandes modelos de linguagem (LLM), particularmente em tarefas que exigem uma compreensão profunda e a geração de respostas contextualmente relevantes.

O RAG é projetado para abordar as limitações dos modelos de linguagem tradicionais que geram respostas com base apenas na entrada que recebem e nas informações em que foram treinados. Embora esses modelos sejam eficazes em muitos cenários, eles podem ter dificuldade em tarefas que exigem conhecimento específico e factual ou a capacidade de referenciar várias fontes de informação.

Nesse contexto essa técnica serve para fornecer maior contexto aos modelos de ML, permitindo que eles sejam mais assertivos e factuais em suas respostas.

Prompt Base AI

Os prompts são instruções ou diretrizes fornecidas a um modelo de aprendizado de máquina para ajudá-lo a realizar uma tarefa específica. Eles podem ser usados para fornecer ao modelo informações sobre o formato ou conteúdo dos dados de entrada, ou para fornecer uma orientação geral sobre o tipo de saída desejada.

Muitas vezes a utilização dos Prompts corretos podem ser suficientes para obter bons resultados com modelos de IA para tarefas específicas. No exemplo abaixo retirado do vídeo do Andrew NG, mostra a economia de tempo e recursos obtidas com a utilização de modelos de linguagens e técnicas de prompt engineer na criação de aplicações funcionais de machine learning.

Qual técnica devo utilizar?

A escolha de como aperfeiçoar os modelos para realizar tarefas específicas no seu negócio dependerá da tarefa em questão, dos recursos disponíveis e dos objetivos a serem alcançados.

Normalmente os Prompts são utilizados para resolver tarefas mais triviais nas quais os modelos de base já entregam por si só um resultado satisfatório. Para tarefas que exigem mais contexto para melhorar os resultados, as técnicas de RAG são recomendadas, já que fornecem contexto adicional para os LLMs.

Para casos mais complexos e usos empresarias em larga escala, a técnica de fine-tuning é uma boa escolha, por permitir maior controle no treinamento e nos ajustes realizados nos modelos.

Se você está buscando utilizar a IA no seu negócio, fale com nossa equipe para entendermos sua situação e objetivos e traçarmos um caminho adequado para a adoção da tecnologia.