Les pièges et les réalités pratiques de l'utilisation de l'IA générative dans votre flux de travail d'analyse

Nous avons beaucoup entendu parler de la façon dont l'IA générative est sur le point de changer le marketing numérique au cours des derniers mois. En tant que consultants, nous travaillons avec des marques pour exploiter la technologie pour un marketing innovant. Nous nous sommes rapidement penchés sur le potentiel de ChatGPT, le chatbot basé sur un modèle de grande langue le plus en vogue du quartier. Maintenant, nous voyons comment l'IA générative peut agir comme un assistant en générant des ébauches initiales de code et de visualisations, que nos experts affinent en matériaux utilisables.

À notre avis, la clé d'un projet d'IA générative réussi est que l'utilisateur final ait une attente claire pour le résultat final afin que tout matériel généré par l'IA puisse être modifié et façonné. Le premier principe de l'utilisation de l'IA générative est que vous ne devez pas lui faire confiance pour fournir des réponses complètement correctes à vos requêtes.

ChatGPT n'a répondu qu'à 12 des 42 questions GA4

Nous avons décidé de mettre ChatGPT à l'épreuve sur quelque chose que nos consultants font régulièrement - répondre aux questions courantes des clients sur GA4. Les résultats n'étaient pas si impressionnants : sur les 42 questions que nous avons posées, ChatGPT n'a fourni que 12 réponses que nous jugeons acceptables et que nous envoyons à nos clients, soit un taux de réussite de seulement 29 %.

Huit autres réponses (19 %) étaient « semi-correctes ». Ceux-ci ont soit mal interprété la question et fourni une réponse différente de ce qui a été demandé (bien que factuellement correct) ou avaient une petite quantité de désinformation dans une réponse par ailleurs correcte.

Par exemple, ChatGPT nous a dit que la ligne "Autre" que vous trouvez dans certains rapports GA4 est un regroupement de plusieurs lignes de données à faible volume (correct) mais que les cas où cela se produit sont définis par les "algorithmes d'apprentissage automatique de Google". Ceci est une erreur. Il existe des règles standard en place pour définir cela.

Creusez plus profondément : Intelligence artificielle : guide du débutant

Limites des connaissances de ChatGPT - et c'est un excès de confiance

Les 52 % de réponses restantes étaient factuellement incorrectes et, dans certains cas, activement trompeuses. La raison la plus courante est que ChatGPT n'utilise pas les données de formation au-delà de 2021, de sorte que de nombreuses mises à jour récentes ne sont pas prises en compte dans ses réponses.

Par exemple, Google n'a officiellement annoncé l'abandon d'Universal Analytics qu'en 2022, donc ChatGPT n'a pas pu dire quand ce serait. Dans ce cas, le bot a au moins mis en garde sa réponse avec ce contexte, en commençant par "... à ma connaissance, la coupure est en 2021..."

Cependant, certaines questions restantes ont reçu une réponse erronée avec une confiance inquiétante. Comme le bot nous disant que "GA4 utilise une approche basée sur l'apprentissage automatique pour suivre les événements et peut identifier automatiquement les événements d'achat en fonction des données qu'il collecte".   

Bien que GA4 dispose d'événements de « mesure améliorée » suivis automatiquement, ceux-ci sont généralement définis en écoutant un code simple dans les métadonnées d'une page Web plutôt que par le biais d'un apprentissage automatique ou d'un modèle statistique. De plus, les événements d'achat n'entrent certainement pas dans le cadre d'une mesure améliorée.

Alors, comment pouvons-nous utiliser ChatGPT et d'autres outils d'IA générative ?

Comme démontré dans notre test GA4, les « connaissances » limitées détenues dans ChatGPT en font une source de faits peu fiable. Mais il reste un assistant très efficace, fournissant des premières ébauches d'analyses et de code à un expert pour réduire le temps nécessaire aux tâches.

Il ne peut pas remplacer le rôle d'un analyste averti qui connaît le type de résultat qu'il s'attend à voir. Au lieu de cela, vous pouvez gagner du temps en demandant à ChatGPT de produire des analyses à partir d'échantillons de données sans programmation lourde. À partir de là, vous pouvez obtenir une approximation proche en quelques secondes et demander à ChatGPT de modifier sa sortie ou de la manipuler vous-même.

Par exemple, nous avons récemment utilisé ChatGPT pour analyser et optimiser les paniers d'achat d'un commerçant. Nous voulions analyser les tailles moyennes des paniers et comprendre la taille optimale pour offrir la livraison gratuite aux clients. Cela nécessitait une analyse de routine de la répartition des revenus et de la marge et une compréhension de la variance dans le temps.

Nous avons demandé à ChatGPT d'examiner la variation de la taille des paniers sur 14 mois à l'aide d'un ensemble de données GA4. Nous avons ensuite suggéré quelques requêtes SQL initiales pour une analyse plus approfondie dans BigQuery et certaines options de visualisation des données pour les informations trouvées.

Bien que les options soient imparfaites, elles offraient des domaines utiles pour une exploration plus approfondie. Notre analyste a adapté les requêtes de ChatGPT pour finaliser la sortie. Cela a réduit le temps nécessaire à un analyste senior travaillant avec un support junior pour créer la sortie d'environ trois jours à un jour.

Creusez plus profondément : 3 étapes pour que l'IA fonctionne pour vous

Automatisation des tâches manuelles et gain de temps

Un autre exemple consiste à l'utiliser pour automatiser davantage de tâches manuelles au sein d'un processus donné, telles que des contrôles d'assurance qualité pour une table de données ou un morceau de code qui a été produit. Il s'agit d'un aspect essentiel de tout projet, et signaler les écarts ou les anomalies peut souvent être laborieux.

Cependant, utiliser ChatGPT pour valider un morceau de code de plus de 500 lignes afin de combiner et de traiter plusieurs ensembles de données - en s'assurant qu'ils sont sans erreur - peut être un énorme gain de temps. Dans ce scénario, ce qui aurait normalement pris deux heures à quelqu'un pour s'examiner manuellement pourrait désormais être réalisé en 30 minutes.

Les contrôles QA finaux doivent toujours être effectués par un expert, et la qualité de la sortie de ChatGPT dépend fortement des paramètres spécifiques que vous définissez dans vos instructions. Cependant, une tâche qui a des paramètres très clairs et n'a aucune ambiguïté dans la sortie (les nombres correspondent ou non) est idéale pour que l'IA générative gère la plupart des tâches lourdes.

Traitez l'IA générative comme un assistant plutôt qu'un expert

Les progrès réalisés par ChatGPT ces derniers mois sont remarquables. En termes simples, nous pouvons désormais utiliser l'anglais conversationnel pour demander du matériel hautement technique pouvant être utilisé pour le plus large éventail de tâches de programmation, de communication et de visualisation.

Comme nous l'avons démontré ci-dessus, les résultats de ces outils doivent être traités avec soin et jugement d'expert pour les rendre précieux. Un bon cas d'utilisation consiste à améliorer l'efficacité des analyses de construction dans notre travail quotidien ou à accélérer les tâches longues et complexes qui seraient normalement effectuées manuellement. Nous traitons les résultats avec scepticisme et utilisons nos connaissances techniques pour les affiner en matériaux à valeur ajoutée pour nos clients.

Alors que l'IA générative, illustrée par ChatGPT, a montré un immense potentiel pour révolutionner divers aspects de nos flux de travail numériques, il est crucial d'aborder ses applications avec une perspective équilibrée. Il existe des limites de précision, en particulier concernant les mises à jour récentes et les détails nuancés.

Cependant, à mesure que la technologie mûrit, le potentiel augmentera pour que l'IA soit utilisée comme un outil pour augmenter nos capacités et améliorer l'efficacité de notre travail quotidien. Je pense que nous devrions moins nous concentrer sur l'IA générative remplaçant l'expert et davantage sur la façon dont elle peut améliorer notre productivité.