Le insidie ​​e le realtà pratiche dell'utilizzo dell'IA generativa nel tuo flusso di lavoro di analisi

Abbiamo sentito parlare molto di come l'IA generativa sia destinata a cambiare il marketing digitale negli ultimi mesi. In qualità di consulenti, lavoriamo con i marchi per sfruttare la tecnologia per un marketing innovativo. Abbiamo rapidamente approfondito il potenziale di ChatGPT, il chatbot basato su un modello di linguaggio di grandi dimensioni più interessante del blocco. Ora vediamo come l'IA generativa può fungere da assistente generando bozze iniziali di codice e visualizzazioni, che i nostri esperti perfezionano in materiali utilizzabili.

A nostro avviso, la chiave per un progetto di IA generativa di successo è che l'utente finale abbia una chiara aspettativa per l'output finale in modo che qualsiasi materiale generato dall'IA possa essere modificato e modellato. Il primo principio dell'utilizzo dell'IA generativa è che non dovresti fidarti di essa per fornire risposte completamente corrette alle tue domande.

ChatGPT ha risposto correttamente solo a 12 delle 42 domande GA4

Abbiamo deciso di mettere alla prova ChatGPT su qualcosa che i nostri consulenti fanno regolarmente: rispondere alle domande più comuni dei clienti su GA4. I risultati non sono stati così impressionanti: delle 42 domande che abbiamo posto, ChatGPT ha fornito solo 12 risposte che avremmo ritenuto accettabili e che avremmo inviato ai nostri clienti, una percentuale di successo di appena il 29%.

Altre otto risposte (19%) erano "semi-corrette". Questi hanno interpretato male la domanda e hanno fornito una risposta diversa a ciò che è stato chiesto (sebbene effettivamente corretto) o hanno avuto una piccola quantità di disinformazione in una risposta altrimenti corretta.

Ad esempio, ChatGPT ci ha detto che la riga "Altro" che trovi in ​​alcuni rapporti GA4 è un raggruppamento di molte righe di dati a basso volume (corretto) ma che le istanze in cui ciò si verifica sono definite da "algoritmi di apprendimento automatico di Google". Questo non è corretto. Esistono regole standard per definirlo.

Scava più a fondo: Intelligenza artificiale: una guida per principianti

Limitazioni della conoscenza di ChatGPT - ed è eccessiva sicurezza

Il restante 52% delle risposte era effettivamente errato e, in alcuni casi, attivamente fuorviante. Il motivo più comune è che ChatGPT non utilizza i dati di addestramento oltre il 2021, quindi molti aggiornamenti recenti non vengono presi in considerazione nelle sue risposte.

Ad esempio, Google ha annunciato ufficialmente il ritiro di Universal Analytics solo nel 2022, quindi ChatGPT non ha potuto dire quando sarebbe stato. In questo caso, il bot ha almeno ammonito la sua risposta con questo contesto, iniziando con "... per quanto ne so, l'interruzione è nel 2021..."

Tuttavia, ad alcune domande rimanenti è stata data una risposta errata con un livello di fiducia preoccupante. Come il bot che ci dice che "GA4 utilizza un approccio basato sull'apprendimento automatico per tenere traccia degli eventi e può identificare automaticamente gli eventi di acquisto in base ai dati che raccoglie".   

Sebbene GA4 disponga di eventi di "misurazione avanzata" con tracciamento automatico, questi sono generalmente definiti ascoltando un semplice codice all'interno dei metadati di una pagina Web piuttosto che attraverso qualsiasi apprendimento automatico o modello statistico. Inoltre, gli eventi di acquisto non rientrano certamente nell'ambito della misurazione avanzata.

Quindi, come possiamo utilizzare ChatGPT e altri strumenti di intelligenza artificiale generativa?

Come dimostrato nel nostro test GA4, la "conoscenza" limitata contenuta all'interno di ChatGPT lo rende una fonte di fatti inaffidabile. Ma rimane un assistente molto efficiente, che fornisce le prime bozze di analisi e codice a un esperto per ridurre il tempo necessario per le attività.

Non può sostituire il ruolo di un analista esperto che conosce il tipo di output che si aspettano di vedere. Invece, è possibile risparmiare tempo istruendo ChatGPT a produrre analisi da dati di esempio senza una programmazione pesante. Da questo, puoi ottenere un'approssimazione ravvicinata in pochi secondi e istruire ChatGPT a modificare il suo output o manipolarlo tu stesso.

Ad esempio, di recente abbiamo utilizzato ChatGPT per analizzare e ottimizzare i carrelli della spesa di un rivenditore. Volevamo analizzare le dimensioni medie del carrello e capire la dimensione ottimale per offrire la spedizione gratuita ai clienti. Ciò ha richiesto un'analisi di routine della distribuzione dei ricavi e del margine e una comprensione della varianza nel tempo.

Abbiamo incaricato ChatGPT di esaminare in che modo le dimensioni del paniere variavano nell'arco di 14 mesi utilizzando un set di dati GA4. Abbiamo quindi suggerito alcune query SQL iniziali per un'ulteriore analisi all'interno di BigQuery e alcune opzioni di visualizzazione dei dati per gli approfondimenti trovati.

Sebbene le opzioni fossero imperfette, offrivano aree utili per ulteriori esplorazioni. Il nostro analista ha adattato le query di ChatGPT per finalizzare l'output. Ciò ha ridotto il tempo per un analista senior che lavora con il supporto junior per creare l'output da circa tre giorni a un giorno.

Scava più a fondo: 3 passaggi per far funzionare l'IA per te

Automatizzare le attività manuali e risparmiare tempo

Un altro esempio è utilizzarlo per automatizzare più attività manuali all'interno di un determinato processo, come i controlli di garanzia della qualità per una tabella di dati o un pezzo di codice che è stato prodotto. Questo è un aspetto fondamentale di qualsiasi progetto e la segnalazione di discrepanze o anomalie può spesso essere laboriosa.

Tuttavia, l'utilizzo di ChatGPT per convalidare un pezzo di codice di oltre 500 righe per combinare ed elaborare più set di dati, garantendo che siano privi di errori, può essere un enorme risparmio di tempo. In questo scenario, ciò che normalmente avrebbe richiesto due ore prima che qualcuno si esaminasse manualmente potrebbe ora essere raggiunto entro 30 minuti.

I controlli di qualità finali devono ancora essere eseguiti da un esperto e la qualità dell'output di ChatGPT dipende fortemente dai parametri specifici impostati nelle istruzioni. Tuttavia, un'attività che ha parametri molto chiari e non presenta ambiguità nell'output (i numeri corrispondono o meno) è l'ideale per l'IA generativa per gestire la maggior parte del lavoro pesante.

Tratta l'IA generativa come un assistente piuttosto che come un esperto

I progressi compiuti da ChatGPT negli ultimi mesi sono notevoli. In poche parole, ora possiamo utilizzare l'inglese colloquiale per richiedere materiali altamente tecnici che possono essere utilizzati per la più ampia gamma di attività di programmazione, comunicazione e visualizzazione.

Come abbiamo dimostrato in precedenza, i risultati di questi strumenti devono essere trattati con cura e giudizio esperto per renderli preziosi. Un buon caso d'uso è promuovere l'efficienza nella creazione di analisi nel nostro lavoro quotidiano o accelerare attività lunghe e complesse che normalmente verrebbero eseguite manualmente. Trattiamo i risultati con scetticismo e utilizziamo le nostre conoscenze tecniche per perfezionarli in materiali a valore aggiunto per i nostri clienti.

Sebbene l'IA generativa, esemplificata da ChatGPT, abbia mostrato un immenso potenziale nel rivoluzionare vari aspetti dei nostri flussi di lavoro digitali, è fondamentale affrontare le sue applicazioni con una prospettiva equilibrata. Ci sono limitazioni nella precisione, in particolare per quanto riguarda gli aggiornamenti recenti e i dettagli sfumati.

Tuttavia, man mano che la tecnologia matura, crescerà il potenziale per l'IA da utilizzare come strumento per aumentare le nostre capacità e promuovere l'efficienza nel nostro lavoro quotidiano. Penso che dovremmo concentrarci meno sull'IA generativa che sostituisce l'esperto e più su come può migliorare la nostra produttività.