Capcanele și realitățile practice ale utilizării AI generative în fluxul dvs. de lucru de analiză

Am auzit multe despre modul în care AI generativă va schimba marketingul digital în ultimele luni. În calitate de consultanți, lucrăm cu mărci pentru a valorifica tehnologia pentru marketing inovator. Am explorat rapid potențialul ChatGPT, cel mai popular chatbot bazat pe modele de limbă mare din bloc. Acum, vedem cum AI generativă poate acționa ca asistent prin generarea de schițe inițiale de cod și vizualizări, pe care experții noștri le perfecționează în materiale utilizabile.

În opinia noastră, cheia unui proiect AI generativ de succes este ca utilizatorul final să aibă o așteptare clară pentru rezultatul final, astfel încât orice materiale generate de AI să poată fi editate și modelate. Primul principiu al utilizării AI generative este că nu ar trebui să aveți încredere în el pentru a oferi răspunsuri complet corecte la întrebările dvs.

ChatGPT a răspuns corect la doar 12 din 42 de întrebări GA4

Am decis să punem ChatGPT la încercare pentru ceva ce fac consultanții noștri în mod regulat – răspunzând la întrebările obișnuite ale clienților despre GA4. Rezultatele nu au fost atât de impresionante: din cele 42 de întrebări pe care le-am pus, ChatGPT a oferit doar 12 răspunsuri pe care le-am considera acceptabile și le-am trimis clienților noștri, o rată de succes de doar 29%.

Alte opt răspunsuri (19%) au fost „semi-corecte”. Acestea fie au interpretat greșit întrebarea și au oferit un răspuns diferit la ceea ce a fost întrebat (deși corect din punct de vedere faptic), fie au avut o cantitate mică de informații greșite într-un răspuns altfel corect.

De exemplu, ChatGPT ne-a spus că rândul „Altele” pe care îl găsiți în unele rapoarte GA4 este o grupare de mai multe rânduri de date cu volum redus (corecte), dar că cazurile în care se întâmplă acest lucru sunt definite de „algoritmi de învățare automată Google”. Acest lucru este incorect. Există reguli standard pentru a defini acest lucru.

Sapă mai adânc: Inteligența artificială: un ghid pentru începători

Limitările cunoștințelor ChatGPT - și este excesul de încredere

Restul de 52% dintre răspunsuri au fost incorecte din punct de vedere faptic și, în unele cazuri, au fost în mod activ înșelătoare. Motivul cel mai frecvent este că ChatGPT nu utilizează date de antrenament dincolo de 2021, așa că multe actualizări recente nu sunt luate în considerare în răspunsurile sale.

De exemplu, Google a anunțat oficial anularea Universal Analytics abia în 2022, așa că ChatGPT nu a putut spune când va fi acest lucru. În acest caz, botul și-a avertizat cel puțin răspunsul cu acest context, conducând cu „... din câte știu, întreruperea este în 2021...”

Cu toate acestea, unele întrebări rămase au primit răspuns greșit cu o cantitate îngrijorătoare de încredere. Cum ar fi botul care ne spune că „GA4 folosește o abordare bazată pe învățarea automată pentru a urmări evenimentele și poate identifica automat evenimentele de cumpărare pe baza datelor pe care le colectează”.   

Deși GA4 are evenimente de „măsurare îmbunătățită” urmărite automat, acestea sunt, în general, definite prin ascultarea unui cod simplu din metadatele unei pagini web, mai degrabă decât prin orice model de învățare automată sau statistică. În plus, evenimentele de cumpărare nu se încadrează cu siguranță în domeniul de aplicare al măsurării îmbunătățite.

Deci, cum putem folosi ChatGPT și alte instrumente AI generative?

După cum sa demonstrat în testul nostru GA4, „cunoștințele” limitate deținute în ChatGPT îl fac o sursă de fapte nesigură. Dar rămâne un asistent foarte eficient, oferind primele schițe de analize și cod pentru ca un expert să reducă timpul necesar sarcinilor.

Nu poate înlocui rolul unui analist informat care cunoaște tipul de rezultate pe care se așteaptă să îl vadă. În schimb, se poate economisi timp prin instruirea ChatGPT să producă analize din date eșantioane fără programare grea. Din aceasta, puteți obține o aproximare apropiată în câteva secunde și puteți instrui ChatGPT să-și modifice rezultatul sau să o manipuleze singur.

De exemplu, recent am folosit ChatGPT pentru a analiza și optimiza coșurile de cumpărături ale unui comerciant. Am vrut să analizăm dimensiunile medii ale coșurilor și să înțelegem dimensiunea optimă pentru a oferi transport gratuit clienților. Acest lucru a necesitat o analiză de rutină a distribuției veniturilor și a marjei și o înțelegere a variației în timp.

Am instruit ChatGPT să examineze modul în care dimensiunile coșurilor au variat pe parcursul a 14 luni folosind un set de date GA4. Apoi am sugerat câteva interogări SQL inițiale pentru analize ulterioare în BigQuery și câteva opțiuni de vizualizare a datelor pentru informațiile găsite.

Deși opțiunile erau imperfecte, acestea ofereau zone utile pentru explorare ulterioară. Analistul nostru a adaptat interogările de la ChatGPT pentru a finaliza rezultatul. Acest lucru a redus timpul pentru un analist senior care lucrează cu suport junior pentru a crea rezultatul de la aproximativ trei zile la o zi.

Sapă mai adânc: 3 pași pentru ca AI să funcționeze pentru tine

Automatizarea sarcinilor manuale și economisirea timpului

Un alt exemplu este utilizarea acestuia pentru a automatiza mai multe sarcini manuale în cadrul unui proces dat, cum ar fi verificările de asigurare a calității pentru un tabel de date sau o bucată de cod care a fost produsă. Acesta este un aspect de bază al oricărui proiect, iar semnalarea discrepanțelor sau a anomaliilor poate fi adesea laborioasă.

Cu toate acestea, folosirea ChatGPT pentru a valida o bucată de cod de peste 500 de rânduri pentru a combina și procesa mai multe seturi de date - asigurându-vă că acestea sunt fără erori - poate fi o economie de timp uriașă. În acest scenariu, ceea ce ar fi durat în mod normal două ore pentru ca cineva să se revizuiască manual ar putea fi acum realizat în 30 de minute.

Verificările finale QA trebuie încă efectuate de un expert, iar calitatea rezultatelor ChatGPT depinde în mare măsură de parametrii specifici pe care îi setați în instrucțiunile dvs. Cu toate acestea, o sarcină care are parametri foarte clari și nu are ambiguitate în rezultat (numerele se potrivesc sau nu) este ideală pentru ca AI generativă să se ocupe de majoritatea sarcinilor grele.

Tratează IA generativă mai degrabă ca pe un asistent decât ca pe un expert

Progresul realizat de ChatGPT în ultimele luni este remarcabil. Mai simplu spus, acum putem folosi engleza conversațională pentru a solicita materiale foarte tehnice care pot fi folosite pentru cea mai largă gamă de sarcini din programare, comunicare și vizualizare.

După cum am demonstrat mai sus, rezultatele acestor instrumente trebuie tratate cu grijă și judecată expertă pentru a le face valoroase. Un caz de utilizare bun este creșterea eficienței în construirea analizelor în munca noastră de zi cu zi sau accelerarea sarcinilor îndelungate și complexe care ar fi în mod normal efectuate manual. Tratăm rezultatele cu scepticism și ne folosim cunoștințele tehnice pentru a le perfecționa în materiale de valoare adăugată pentru clienții noștri.

În timp ce AI generativă, exemplificată de ChatGPT, a arătat un potențial imens în revoluționarea diferitelor aspecte ale fluxurilor noastre de lucru digitale, este crucial să abordăm aplicațiile sale cu o perspectivă echilibrată. Există limitări în ceea ce privește acuratețea, în special în ceea ce privește actualizările recente și detaliile nuanțate.

Cu toate acestea, pe măsură ce tehnologia se maturizează, potențialul va crește ca IA să fie folosită ca instrument pentru a ne spori capacitățile și a crește eficiența în munca noastră de zi cu zi. Cred că ar trebui să ne concentrăm mai puțin pe inteligența artificială generativă care înlocuiește expertul și mai mult pe modul în care ne poate îmbunătăți productivitatea.