Engenharia de prompts

A engenharia de prompts (em inglês: Prompt Engineering), ou engenharia de comandos, é uma disciplina emergente no campo da inteligência artificial que se dedica à criação e otimização de instruções, conhecidas como prompts (de simples à especialistas), para orientar modelos de linguagem generativa (Icomo o GPT-3 e GPT-4), a produzirem respostas mais precisas e relevantes; pois este tipo de IA gera saídas específicas e de precisas de acordo com a qualidade dos prompts do usuário. Essa prática envolve a elaboração de comandos claros e contextuais, buscando maximizar a eficácia das respostas geradas e minimizar vieses dos modelos de IA generativa.

Com o avanço dos modelos de IA baseados em aprendizado profundo, a engenharia de prompts tornou-se essencial em diversas aplicações, incluindo assistentes virtuais, geração automatizada de texto, programação assistida por IA e criação de arte digital. A qualidade das instruções fornecidas influencia diretamente a eficácia e a utilidade das respostas geradas, destacando a importância dessa disciplina na interação humano-máquina.

Tanto pesquisadores quanto profissionais que trabalham com IA generativa usa a engenharia de prompts para aprimorar o desempenho dos modelos sem a necessidade de ajustes complexos no treinamento. O desenvolvimento contínuo dessa área promete métodos mais eficientes para guiar inteligências artificiais, tornando-as mais acessíveis e úteis em diversos setores.

História

Engenharia de prompts é uma prática desenvolvida por volta de 2022, impulsionada pelo avanço da inteligência artificial generativa (IA generativa), notadamente com o desenvolvimento de modelos de linguagem como o GPT-3, criado pela OpenAI. A técnica visa melhorar a interação entre humanos e sistemas de IA, assegurando respostas mais precisas e alinhadas às expectativas dos usuários.

Segundo o artigo do Instituto de Tecnologia e Sociedade do Rio, a engenharia de prompts envolve formular comandos claros e específicos para orientar inteligências artificiais na geração de conteúdo de alta qualidade. Esta prática depende de formatos, termos, expressões e símbolos que direcionam eficientemente a IA durante interações com usuários.

A evolução da engenharia de prompts acompanhou o avanço de modelos de linguagem e geração de imagens, como o GPT e o DALL·E, desenvolvidos pela OpenAI. Estes modelos permitem aos usuários criar textos e imagens a partir de descrições textuais detalhadas, dependendo da precisão e clareza dos prompts fornecidos.

A OpenAI publicou um guia abrangente sobre engenharia de prompts, destacando estratégias para otimizar a interação com modelos como o GPT-4. Lançado em 17 de dezembro de 2023, o guia detalha técnicas para refinar prompts e melhorar a eficácia da IA. Avanços recentes, como o DALL·E 3, têm simplificado interações com prompts menos complexos, permitindo uma abordagem mais intuitiva e conversacional.

Benefícios

O prompt avançado é a compreensão do contexto mais amplo que os modelos de IA operam: a intenção do usuário, o histórico de conversas, a estrutura dos dados de treinamento e, o comportamento de diferentes modelos; a engenharia de contexto permite moldar a forma de perguntar e como o modelo interpreta e deve responder. Usar técnicas como: geração aumentada de recuperação (RAG), sumarização e entradas estruturadas (como JSON). Quer esteja trabalhando na geração de código, criação de conteúdo ou, análise de dados; abordagens quem aprimoram o desempenho do LLM (Modelos de Linguagem de Grande Escala ou Modelos de Linguagem de Grande Porte) e melhora a confiabilidade das saídas no mundo real.

• Controle e Direcionamento: prompts bem elaborados fornecem contexto e intenção aos modelos de IA, melhor desempenho e consistencia, permitindo uma compreensão mais precisa das necessidades dos usuários e respostas mais alinhadas às expectativas;
• Eficiência na Interação: instruções claras reduzem ambiguidades, facilitando comunicações fluidas e eficientes. Em contextos como atendimento ao cliente, respostas rápidas e precisas são cruciais;
• Personalização: através de prompts específicos, é possível adaptar respostas de IA ao contexto ou perfil do usuário, oferecendo uma experiência mais personalizada e satisfatória;
• Redução de viés e inadequado: prompts bem elaborados reduz o viés e reduz o geração de conteúdo ofensivo/inadequado.

Prompt estruturado

Estruturar a entrada e o contexto em tópicos para a IA geralmente proporciona uma resposta mais otimizada, que usar um prompt não estruturado (prompt em linguagem natural), como por exemplo usar a técnica de: JSON prompting, XML e, markdown. O JSON (sigla de JavaScript Object Notation) é atualmente o formato mais popular em uso para organizar os dados; é a linguagem nativa do software moderno (API, bancos de dados, serviços web e, arquivos de configuração).

Ao usar o prompt não estruturado a ambiguidade pode surgir e a IA preenche as lacunas com palpites: e às vezes acerta e ás vezes erra, gerando resultados completamente diferentes a cada vez que executa o mesmo prompt (linguagem natural). O prompt estruturado organiza as informações e facilita a leitura, seja para extrair dados de e-mails, gerar payloads de API, analisar o feedback do usuário, o prompt estruturado garante resultados úteis e utilizáveis:

• Especialista em dados estruturados: os modelos LLM entendem intrinsecamente/nativamente um prompt estruturado (linguagem não natural), pois foram treinamentos com milhões de exemplos estruturados, principalmente em JSON;
• Linguagem natural limitada: mesmo o prompt na linguagem natural que teve uma formulação altamente cuidadosa é superado por qualquer prompt estruturado, pequenas variações na construção de prompts resultam em grandes diferenças na acurácia e eficiência das respostas;
• Consistência crítica: quando empresas introduziram a IA no trabalho real, estes modelos foram obrigados a ter resultados previsíveis;
• Especificação do objetivo: quando o usuário usa uma entrada com dados estruturados, ele não está tendo uma conversa com a IA (parágrafos com informações de contexto), o usuário esta indicando uma especificação detalhada de algo; "diretrizes específicas e formato de resposta";
• Criação de modelos: estrutura do prompt organizado é um modelo reutilizável e compartilhável que mantem a otimização, resultados consistentes.

O prompt estruturado segue a lógica da vida real, onde as pessoas organizam as informações naturalmente: listas de compras divididos em categorias (laticínios, etc.); pautas das reuniões divididos em tópicos e tempo; planos de projeto divididos em fases e datas.

A criação de prompt estruturado pode ser comparado ao ato de dirigir um filme, cada elemento planejado para garantir um resultado final coeso, sub-dividindo as tarefas em partes menores para facilitar o entendimento. Iniciando pelo contexto, que é essencial para orientar as respostas dos modelos em situações específicas, para as respostas não serem genéricas/inadequadas. A persona no prompt representa o personagem de um filme; personalidade ou tom é um perfil que indica qual característica o modelo deve adotar, indica o tom e o estilo de pensamento (como por exemplo: profissional, diréto ou, técnico). Informar a tarefa principal a ser executar e informar os dados que serão usados na tarefa. Delimitadores são usados para estruturar a informação e criar limites, criar regras ou restrições de como as cenas do filme serão.

A estrutura básica do prompt estruturado em JSON, um objeto de dados organizado no formato chave-valor colocados dentro das chaves {} para fácil entendimento:

{
"task": "principal tarefa a ser executar",
"input": "dados que devem ser trabalhados",
"format": "formato da resposta",
"constraints": "delimitadores/regras/restrições da resposta",
"examples": 
  [{
    "input": "Exemplo de entrada",
    "output": "Exemplo de saída esperada"
  }]
}

Meta prompting

O meta prompting é um método que auxilia a LLM nos problemas complexos, fornecendo um modelo testado e reutilizável (em linguagem natural) de como a IA deve pensar - frameworks estruturados para um desempenho avançado - baseado nos conceitos matemáticos teoria dos tipos e teoria das categorias a LLM que irá resolver uma categoria de problemas complexos de forma inteligente e com consistência nos resultados. Normalmente os LLMs conseguem lidar com muitas tarefas, mas as vezes tropeçam em raciocínios complexos, mesmo usando a cadeia de pensamento e árvore de pensamento, estes métodos ajudam na solução, mas ainda não se igualam ao raciocínio humano.

O meta prompting permite que o modelo resolva uma categoria inteira de tarefas complexas, em vez de um único prompt para um único problema, ensinando o LLM a analisar a resolução do problema através da engenharia de prompts, focando na: estrutura, sintaxe e, raciocínio. Como por exemplo, um usuário solicita a resolução de um sistema com duas equações lineares com variáveis x e y, o meta prompt para treinar a IA seria:

• Insira coeficientes em cada equação;
• Escolha um método de resolução das equações;
• Mostre a solução passo a passo, derivação de cada variável;
• Insira valores em cada equações e verifique o resultado.

Uma arquitetura que possui adaptabilidade, saídas de alta qualidade, solução de problemas complexos usando poucos novos prompts e, que evita raciocínios irrelevantes. O meta prompting ao usar as teorias (de tipos e das categorias) faz o mapeamento dos relacionamentos, onde uma categoria é um "mundo" com vários tipos que estão relacionados (objetos). E quando o usuário alterar a tarefa como "solicitação de sumarização", o framework testado e reutilizável permanece o mesmo, mas o prompt é ajustado adequadamente:

• Categoria T: um conjunto de tarefas como "resolver um sistema de equações";
• Categoria P: um conjunto de prompts estruturados para essas tarefas;
• O fator de meta prompting M traduz cada tarefa na categoria T para um prompt estruturado correspondente na categoria P, usando sempre a mesma estrutura de pensamento.

Engenheiro de prompt

As empresas de tecnologia contrataram engenheiros de prompts para: criarem um novo conteúdo criativo, responder as perguntas complexas, melhorar a tradução de máquina e, melhorar as tarefas de NLP. Assim algumas habilidades que este engenheiro deve ter são:

• Familiaridade com LLM: entender o funcionamento dos modelos de linguagem grande (LLM), os recursos e as limitações para a elaboração de prompts otimizados;
• Explicar conceitos técnicos: traduzir em prompts compreensíveis o palavreado técnico que pode ser complexo, preparando o comportamento da IA para o stakeholder não técnicos (elemento do planejamento estratégico de negócios e elemento da gestão de projetos);
• Especializado em programação: entender linguagens de programação (como o python) para: interagir com API, personalizar soluções com IA e, automatizar os trabalhos;
• Domínio de estruturas de dados: conhecer as estruturas de dados otimiza os prompts por compreender mecanismos subjacentes dos sistemas da IA;
• Conhecer os benefícios/riscos de novas tecnologias: compreender de forma realista garante o uso responsável e ético das novas tecnologias de IA;

• Prompt zero-shot: dominar a técnica que fornece ao modelo de aprendizado uma tarefa que não foi explicitamente treinado para fazer, testando a capacidade do modelo gerar resultados sem depender de exemplos anteriores;
• Prompt few-shot: dominar a técnica onde o modelo recebe algumas amostras de saídas (shots/contextos) que ensina a IA o que o usuário deseja;
• Prompt de cadeia de pensamentos (CoT): dominar a técnica que fornece um guia de raciocínio passo a passo para a IA seguir, dividindo uma tarefa complexa em etapas intermediárias (cadeias de raciocínio), criando saídas precisas.

Desafios e limitações

Viés nos modelos de IA

Quando dados e algoritmos discriminatórios são integrados aos modelos de IA, o modelo aprende e reproduz esses vieses, propagando e amplificando seus efeitos deletérios (discriminatório) em grande escala. Esse problema pode se originar de diversas fontes, dentre as quais se destacam os próprios dados de treinamento. Se o modelo incorporar preconceitos ou distorções presentes nos dados de treinamento, produzirá respostas injustas, discriminatórias ou imprecisas. Por exemplo, um modelo treinado com textos que associam certas profissões a um gênero específico pode reforçar estereótipos, como a ideia de que enfermeiras são sempre mulheres ou que engenheiros são sempre homens (Mehrabi et al., 2021).

Outra fonte frequente de viés são as falhas na coleta de dados. Dados desequilibrados ou falta de representação de determinados grupos pode resultar em modelos que não atendem de forma igual a todos os usuários. Um caso emblemático é o dos sistemas de reconhecimento facial, que frequentemente apresentam desempenho inferior para indivíduos de pele mais escura em razão de um viés nos dados de treinamento. Isso ocorre porque, se o modelo foi treinado predominantemente com imagens de pessoas de pele clara, ele pode apresentar dificuldades para reconhecer rostos com outros tons de pele, resultando em taxas de erro mais altas para grupos sub-representados (Sambasivan et al., 2021).

Dependência do treinamento do modelo

A dependência do treinamento do modelo é um fator crucial para o desempenho dos sistemas de inteligência artificial mas também apresenta desafios consideráveis. A qualidade e a variedade dos dados de treinamento são fundamentais, pois informações não confiáveis, incompletas, desatualizadas ou irrelevantes podem comprometer a precisão do modelo. Por exemplo, um modelo de tradução treinado com textos mal traduzidos pode gerar resultados imprecisos. Ademais, a coleta, limpeza e organização de grandes volumes de dados são processos dispendiosos e demorados, exigindo investimentos significativos de tempo e recursos. Além disso, a necessidade de atualização constante dos modelos para mantê-los relevantes aumenta a complexidade e os custos (Zhang et al., 2021).

Dificuldade na generalização

A dificuldade na generalização é uma das restrições mais desafiadoras dos modelos de Inteligência Artificial. Ela refere-se à capacidade de um modelo de apresentar bom desempenho em cenários novos e desconhecidos após o treinamento. Uma das causas mais comuns é o overfitting, que ocorre quando o modelo se ajusta excessivamente aos dados de treinamento, capturando até mesmo ruídos, o que prejudica seu desempenho em dados novos. Por exemplo, um modelo de reconhecimento de imagens pode aprender a identificar gatos apenas em determinadas posições vistas durante o treinamento, sem generalizar para outras variações.

Outro desafio é o underfitting, que acontece quando o modelo é simplificado demais, impossibilitando a identificação de padrões relevantes e resultando em um desempenho insuficiente, tanto no treinamento quanto em novos cenários (Caruana, 1997).

Futuro

A automação na criação de prompts está transformando a maneira pela qual interagimos com modelos de IA, permitindo a geração automática de instruções otimizadas, o que reduz a necessidade de intervenção humana. Isso é possível através de técnicas como aprendizado de reforço, geração de linguagem natural e o uso de bancos de dados com prompts pré-treinados. Um exemplo disso é o ChatGPT, que facilita a criação de prompts para usuários iniciantes. Em vez de exigir um comando detalhado, a IA pode perguntar *"Que tipo de resposta você deseja?"* e, com base na resposta do usuário, gerar automaticamente um prompt otimizado. Esse processo elimina a necessidade de conhecimentos técnicos avançados por parte do usuário.

A engenharia de prompts também é essencial na integração da IA com outras tecnologias, tais como assistentes virtuais, visão computacional e automação robótica. Essa integração facilita a interação entre sistemas diferentes de IA de maneira mais eficiente, sem a necessidade de ajustes manuais constantes. Nos assistentes de voz, como Alexa e Google Assistant, por exemplo, os prompts são combinados com modelos de reconhecimento de voz e processamento de linguagem natural, permitindo que eles interpretem e respondam comandos de maneira mais precisa. Isso faz com que um usuário consiga dizer *"Organize minha agenda e envie um resumo por e-mail"* e a IA compreenda automaticamente a sequência de ações, executando-a sem múltiplos comandos.

Além disso, a engenharia de prompts tem um impacto significativo na acessibilidade, tornando a IA mais intuitiva e acessível para pessoas sem conhecimento técnico e para aquelas com deficiência. Ferramentas assistivas, como o *Be My Eyes*, utilizam IA para interpretar imagens e fornecer respostas personalizadas por meio de prompts adaptativos. Por exemplo, um usuário com deficiência visual pode tirar uma foto de um cardápio e receber uma descrição detalhada em áudio, ajustada conforme suas necessidades. Essa tecnologia ajuda a tornar a IA mais inclusiva.

Ver também

• Aplicações da inteligência artifical
• Cérebro artificial
• Inteligência artificial generativa

Bibliografia

• MEHRABI, N.; MORSTATTER, F.; SAXENA, N.; LERMAN, K.; GALSTYAN, A. (2021). «A Survey on Bias and Fairness in Machine Learning». ACM Computing Surveys (CSUR). Consultado em 3 de março de 2025  !CS1 manut: Nomes múltiplos: lista de autores (link)
• SAMBASIVAN, N.; KAPANIA, S.; HIGHFILL, H.; AKRONG, D.; PARITOSH, P.; AROYO, L. (2021). «Everyone wants to do the model work, not the data work: Data Cascades in High-Stakes AI». Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. Consultado em 2 de março de 2025  !CS1 manut: Nomes múltiplos: lista de autores (link)
• ZHANG, C.; BENGIO, S.; HARDT, M.; RECHT, B.; VINYALS, O. (2021). «Understanding Deep Learning (Still) Requires Rethinking Generalization». Communications of the ACM. Consultado em 6 de março de 2025  !CS1 manut: Nomes múltiplos: lista de autores (link)
• CARUANA, R. (1997). «Multitask Learning». Machine Learning. pp. 41–75. Consultado em 1 de março de 2025 .