As armadilhas e realidades práticas do uso de IA generativa em seu fluxo de trabalho analítico

Ouvimos muito sobre como a IA generativa está definida para mudar o marketing digital nos últimos meses. Como consultores, trabalhamos com marcas para aproveitar a tecnologia para marketing inovador. Mergulhamos rapidamente no potencial do ChatGPT, o chatbot baseado em modelo de linguagem grande mais badalado do mercado. Agora, vemos como a IA generativa pode atuar como assistente, gerando rascunhos iniciais de código e visualizações, que nossos especialistas refinam em materiais utilizáveis.

Em nossa opinião, a chave para um projeto de IA generativa bem-sucedido é que o usuário final tenha uma expectativa clara para o resultado final, de modo que qualquer material gerado por IA possa ser editado e modelado. O primeiro princípio do uso de IA generativa é que você não deve confiar nela para fornecer respostas completamente corretas às suas perguntas.

O ChatGPT respondeu corretamente a apenas 12 das 42 perguntas do GA4

Decidimos testar o ChatGPT em algo que nossos consultores fazem regularmente - respondendo a perguntas comuns dos clientes sobre o GA4. Os resultados não foram tão impressionantes: das 42 perguntas que fizemos, o ChatGPT forneceu apenas 12 respostas que consideramos aceitáveis ​​e enviamos aos nossos clientes, uma taxa de sucesso de apenas 29%.

Outras oito respostas (19%) foram “semi-corretas”. Eles interpretaram mal a pergunta e forneceram uma resposta diferente do que foi perguntado (embora factualmente correto) ou tiveram uma pequena quantidade de informações erradas em uma resposta correta.

Por exemplo, o ChatGPT nos disse que a linha "Outro" que você encontra em alguns relatórios do GA4 é um agrupamento de muitas linhas de dados de baixo volume (correto), mas que as instâncias em que isso ocorre são definidas pelos "algoritmos de aprendizado de máquina do Google". Isso está incorreto. Existem regras padrão em vigor para definir isso.

Vá mais fundo: Inteligência Artificial: um guia para iniciantes

Limitações do conhecimento do ChatGPT — e seu excesso de confiança

Os 52% restantes das respostas foram factualmente incorretos e, em alguns casos, ativamente enganosos. O motivo mais comum é que o ChatGPT não usa dados de treinamento além de 2021, portanto, muitas atualizações recentes não são consideradas em suas respostas.

Por exemplo, o Google só anunciou oficialmente a descontinuação do Universal Analytics em 2022, então o ChatGPT não poderia dizer quando isso aconteceria. Nesse caso, o bot pelo menos alertou sua resposta com esse contexto, iniciando com “… quanto ao meu conhecimento, o corte é em 2021…”

No entanto, algumas perguntas restantes foram respondidas erroneamente com uma quantidade preocupante de confiança. Como o bot nos dizendo que “o GA4 usa uma abordagem baseada em aprendizado de máquina para rastrear eventos e pode identificar automaticamente eventos de compra com base nos dados que coleta”.   

Embora o GA4 tenha eventos de “medição aprimorada” rastreados automaticamente, eles geralmente são definidos ouvindo um código simples nos metadados de uma página da Web, em vez de qualquer aprendizado de máquina ou modelo estatístico. Além disso, os eventos de compra certamente não estão dentro do escopo da medição aprimorada.

Então, como podemos usar o ChatGPT e outras ferramentas generativas de IA?

Conforme demonstrado em nosso teste GA4, o “conhecimento” limitado contido no ChatGPT o torna uma fonte não confiável de fatos. Mas continua sendo um assistente muito eficiente, fornecendo primeiros rascunhos de análises e códigos para um especialista reduzir o tempo necessário para as tarefas.

Não pode substituir o papel de um analista experiente que conhece o tipo de saída que espera ver. Em vez disso, pode-se economizar tempo instruindo o ChatGPT a produzir análises a partir de dados de amostra sem programação pesada. A partir disso, você pode obter uma aproximação aproximada em segundos e instruir o ChatGPT a modificar sua saída ou manipulá-la você mesmo.

Por exemplo, recentemente usamos o ChatGPT para analisar e otimizar as cestas de compras de um varejista. Queríamos analisar os tamanhos médios de cestas e entender o tamanho ideal para oferecer frete grátis aos clientes. Isso exigia uma análise de rotina da distribuição de receita e margem e uma compreensão da variação ao longo do tempo.

Instruímos o ChatGPT a analisar como os tamanhos das cestas variaram ao longo de 14 meses usando um conjunto de dados do GA4. Em seguida, sugerimos algumas consultas SQL iniciais para análise posterior no BigQuery e algumas opções de visualização de dados para os insights encontrados.

Embora as opções fossem imperfeitas, elas ofereciam áreas úteis para exploração adicional. Nosso analista adaptou as consultas do ChatGPT para finalizar a saída. Isso reduziu o tempo de um analista sênior trabalhando com o suporte júnior para criar a saída de aproximadamente três dias para um dia.

Vá mais fundo: 3 etapas para fazer a IA trabalhar para você

Automatizando tarefas manuais e economizando tempo

Outro exemplo é usá-lo para automatizar tarefas mais manuais dentro de um determinado processo, como verificações de garantia de qualidade para uma tabela de dados ou um trecho de código que foi produzido. Este é um aspecto central de qualquer projeto, e sinalizar discrepâncias ou anomalias pode ser trabalhoso.

No entanto, usar o ChatGPT para validar um trecho de código de mais de 500 linhas para combinar e processar vários conjuntos de dados - garantindo que não haja erros - pode economizar muito tempo. Nesse cenário, o que normalmente levaria duas horas para alguém revisar a si mesmo manualmente, agora pode ser feito em 30 minutos.

As verificações finais do controle de qualidade ainda precisam ser realizadas por um especialista, e a qualidade da saída do ChatGPT depende muito dos parâmetros específicos que você definiu em suas instruções. No entanto, uma tarefa com parâmetros muito claros e sem ambiguidade na saída (os números correspondem ou não) é ideal para a IA generativa lidar com a maior parte do trabalho pesado.

Trate a IA generativa como um assistente em vez de um especialista

O progresso feito pelo ChatGPT nos últimos meses é notável. Simplificando, agora podemos usar o inglês de conversação para solicitar materiais altamente técnicos que podem ser usados ​​para uma ampla variedade de tarefas em programação, comunicação e visualização.

Como demonstramos acima, os resultados dessas ferramentas precisam ser tratados com cuidado e julgamento especializado para torná-los valiosos. Um bom caso de uso é aumentar a eficiência na criação de análises em nosso trabalho diário ou acelerar tarefas longas e complexas que normalmente seriam feitas manualmente. Tratamos os resultados com ceticismo e usamos nosso conhecimento técnico para transformá-los em materiais de valor agregado para nossos clientes.

Embora a IA generativa, exemplificada pelo ChatGPT, tenha mostrado imenso potencial para revolucionar vários aspectos de nossos fluxos de trabalho digitais, é crucial abordar seus aplicativos com uma perspectiva equilibrada. Existem limitações de precisão, principalmente em relação a atualizações recentes e detalhes diferenciados.

No entanto, à medida que a tecnologia amadurece, o potencial aumentará para que a IA seja usada como uma ferramenta para aumentar nossas capacidades e gerar eficiência em nosso trabalho diário. Acho que devemos nos concentrar menos na IA generativa substituindo o especialista e mais em como ela pode melhorar nossa produtividade.