Como escalar o uso de grandes modelos de linguagem em marketing

A IA generativa e os modelos de linguagem ampla estão prontos para mudar o setor de marketing como o conhecemos.

Para se manter competitivo, você precisará entender a tecnologia e como ela afetará nossos esforços de marketing, disse Christopher Penn, cientista-chefe de dados da TrustInsights.ai, falando na Conferência MarTech.

Aprenda maneiras de dimensionar o uso de modelos de linguagem grandes (LLMs), o valor da engenharia imediata e como os profissionais de marketing podem se preparar para o que está por vir.

A premissa por trás dos grandes modelos de linguagem

Desde o seu lançamento, o ChatGPT tem sido um tópico de tendência na maioria dos setores. Você não pode ficar online sem ver a opinião de todos. No entanto, muitas pessoas não entendem a tecnologia por trás disso, disse Penn.

O ChatGPT é um chatbot de IA baseado nos LLMs GPT-3.5 e GPT-4 da OpenAI.

Os LLMs são construídos com base em uma premissa de 1957 do linguista inglês John Rupert Firth: “Você conhecerá uma palavra pela companhia que ela mantém”.

Isso significa que o significado de uma palavra pode ser entendido com base nas palavras que normalmente aparecem ao lado dela. Simplificando, as palavras são definidas não apenas por sua definição de dicionário, mas também pelo contexto em que são usadas.

Essa premissa é a chave para entender o processamento de linguagem natural.

Por exemplo, observe as seguintes frases:

• “Estou preparando o chá.”
• “Estou derramando o chá.”

O primeiro refere-se a uma bebida quente, enquanto o último é uma gíria para fofocar. “Chá” nesses casos tem significados muito diferentes.

A ordem das palavras também é importante.

• “Estou preparando o chá.”
• “O chá que estou preparando.”

As frases acima têm diferentes assuntos de foco, embora usem o mesmo verbo, “brewing”.

Como funcionam os modelos de linguagem grandes

Abaixo está um diagrama de sistema de transformadores, o modelo de arquitetura no qual grandes modelos de linguagem são construídos.

Simplificando, um transformador pega uma entrada e a transforma (ou seja, “transforma”) em outra coisa.

Os LLMs podem ser usados ​​para criar, mas são melhores para transformar uma coisa em outra.

A OpenAI e outras empresas de software começam ingerindo um enorme corpus de dados, incluindo milhões de documentos, artigos acadêmicos, artigos de notícias, análises de produtos, comentários em fóruns e muito mais.

Considere a frequência com que a frase “estou preparando o chá” pode aparecer em todos esses textos ingeridos.

As análises de produtos da Amazon e os comentários do Reddit acima são alguns exemplos.

Observe a "companhia" que essa frase mantém - ou seja, todas as palavras que aparecem perto de "estou preparando o chá".

“Sabor”, “cheiro”, “café”, “aroma” e muito mais fornecem contexto a esses LLMs.

Máquinas não podem ler. Então, para processar todo esse texto, eles usam embeddings, o primeiro passo na arquitetura do transformador.

A incorporação permite que os modelos atribuam a cada palavra um valor numérico, e esse valor numérico ocorre repetidamente no corpus de texto.

A posição da palavra também é importante para esses modelos.

No exemplo acima, os valores numéricos permanecem os mesmos, mas estão em uma sequência diferente. Esta é a codificação posicional.

Em termos simples, grandes modelos de linguagem funcionam assim:

• As máquinas recebem dados de texto.
• Atribua valores numéricos a todas as palavras.
• Observe as frequências estatísticas e as distribuições entre as diferentes palavras.
• Tente descobrir qual será a próxima palavra na sequência.

Tudo isso requer poder de computação, tempo e recursos significativos.

Engenharia de alerta: uma habilidade que você deve aprender

Quanto mais contexto e instruções fornecermos aos LLMs, maior a probabilidade de eles retornarem melhores resultados. Este é o valor da engenharia imediata.

Penn considera os prompts como proteções para o que as máquinas produzirão. As máquinas captam as palavras em nossa entrada e se apegam a elas para obter contexto à medida que desenvolvem a saída.

Por exemplo, ao escrever prompts do ChatGPT, você notará que instruções detalhadas tendem a retornar respostas mais satisfatórias.

De certa forma, os prompts são como resumos criativos para escritores. Se você quer que seu projeto seja feito corretamente, você não dará ao seu escritor uma instrução de uma linha.

Em vez disso, você enviará um resumo de tamanho decente cobrindo tudo o que deseja que eles escrevam e como deseja que sejam escritos.

Escalando o uso de LLMs

Quando você pensa em chatbots de IA, pode pensar imediatamente em uma interface da Web na qual os usuários podem inserir prompts e aguardar a resposta da ferramenta. Isso é o que todo mundo está acostumado a ver.

“Este não é o jogo final para essas ferramentas de forma alguma. Este é o parque de diversões. É aqui que os humanos podem mexer na ferramenta”, disse Penn. “Não é assim que as empresas vão trazer isso para o mercado.”

Pense na escrita rápida como programação. Você é um desenvolvedor escrevendo instruções para um computador para fazer algo.

Depois de ajustar seus prompts para casos de uso específicos, você pode aproveitar as APIs e fazer com que desenvolvedores reais envolvam esses prompts em código adicional para que você possa enviar e receber dados programaticamente em escala.

É assim que os LLMs vão escalar e mudar os negócios para melhor.

Como essas ferramentas estão sendo implementadas em todos os lugares, é fundamental lembrar que todos são desenvolvedores.

Essa tecnologia estará no Microsoft Office — Word, Excel e PowerPoint — e em muitas outras ferramentas e serviços que usamos diariamente.

“Como você está programando em linguagem natural, não são necessariamente os programadores tradicionais que terão as melhores ideias”, acrescentou Penn.

Uma vez que os LLMs são movidos por profissionais de redação, marketing ou relações públicas - não programadores - podem desenvolver maneiras inovadoras de usar as ferramentas.

Uma dica extra para profissionais de marketing de pesquisa

Estamos começando a ver o impacto de grandes modelos de linguagem no marketing, especificamente na pesquisa.

Em fevereiro, a Microsoft revelou o novo Bing, desenvolvido pelo ChatGPT. Os usuários podem conversar com o mecanismo de pesquisa e obter respostas diretas às suas perguntas sem clicar em nenhum link.

“Você deve esperar que essas ferramentas atrapalhem sua pesquisa sem marca porque estão respondendo a perguntas de maneiras que não precisam de cliques”, disse Penn.

“Já enfrentamos isso como profissionais de SEO, com snippets em destaque e resultados de pesquisa com clique zero… mas vai piorar para nós.”

Ele recomenda acessar o Bing Webmaster Tools ou o Google Search Console e observar a porcentagem de tráfego que seu site obtém de pesquisas informativas sem marca, pois é a maior área de risco para SEO.