Pułapki i praktyczne realia korzystania z generatywnej sztucznej inteligencji w przepływie pracy analitycznej

Wiele słyszeliśmy o tym, jak generatywna sztuczna inteligencja zmieni marketing cyfrowy w ciągu ostatnich kilku miesięcy. Jako konsultanci współpracujemy z markami, aby wykorzystać technologię do innowacyjnego marketingu. Szybko zagłębiliśmy się w potencjał ChatGPT, najbardziej popularnego chatbota opartego na dużych modelach językowych na rynku. Teraz widzimy, jak generatywna sztuczna inteligencja może działać jako asystent, generując wstępne wersje kodu i wizualizacje, które nasi eksperci udoskonalają w użyteczne materiały.

Naszym zdaniem kluczem do udanego projektu generatywnej sztucznej inteligencji jest, aby użytkownik końcowy miał jasne oczekiwania co do ostatecznego wyniku, tak aby wszelkie materiały generowane przez sztuczną inteligencję można było edytować i kształtować. Pierwszą zasadą korzystania z generatywnej sztucznej inteligencji jest to, że nie należy ufać, że udzieli całkowicie poprawnych odpowiedzi na pytania.

ChatGPT odpowiedział poprawnie tylko na 12 z 42 pytań GA4

Postanowiliśmy przetestować ChatGPT w czymś, co nasi konsultanci robią regularnie — odpowiadając na często zadawane przez klientów pytania dotyczące GA4. Wyniki nie były aż tak imponujące: z 42 zadanych przez nas pytań ChatGPT dostarczył tylko 12 odpowiedzi, które uznamy za akceptowalne i prześlemy je naszym klientom, co daje wskaźnik sukcesu wynoszący zaledwie 29%.

Kolejne osiem odpowiedzi (19%) było „częściowo poprawne”. Ci albo błędnie zinterpretowali pytanie i udzielili innej odpowiedzi na zadane pytanie (chociaż zgodnej z faktami), albo zawierali niewielką ilość błędnych informacji w skądinąd poprawnej odpowiedzi.

Na przykład ChatGPT powiedział nam, że wiersz „Inne”, który można znaleźć w niektórych raportach GA4, to grupa wielu wierszy danych o małej objętości (poprawnie), ale przypadki, w których to się dzieje, są definiowane przez „algorytmy uczenia maszynowego Google”. To jest niepoprawne. Istnieją standardowe zasady określające to.

Kop głębiej: sztuczna inteligencja: przewodnik dla początkujących

Ograniczenia wiedzy ChatGPT — i to nadmierna pewność siebie

Pozostałe 52% odpowiedzi było merytorycznie niepoprawnych, aw niektórych przypadkach aktywnie wprowadzało w błąd. Najczęstszym powodem jest to, że ChatGPT nie korzysta z danych szkoleniowych po 2021 roku, więc wiele ostatnich aktualizacji nie jest uwzględnianych w odpowiedziach.

Na przykład Google oficjalnie ogłosił wycofanie Universal Analytics dopiero w 2022 r., więc ChatGPT nie mógł powiedzieć, kiedy to nastąpi. W tym przypadku bot przynajmniej zastrzegł swoją odpowiedź w tym kontekście, prowadząc do „…z tego, co wiem, koniec jest w 2021 r.…”

Jednak na niektóre pozostałe pytania udzielono błędnych odpowiedzi z niepokojącą pewnością siebie. Na przykład bot, który mówi nam, że „GA4 wykorzystuje podejście oparte na uczeniu maszynowym do śledzenia zdarzeń i może automatycznie identyfikować zdarzenia zakupowe na podstawie gromadzonych danych”.   

Chociaż GA4 ma automatycznie śledzone zdarzenia „pomiarów rozszerzonych”, są one generalnie definiowane przez słuchanie prostego kodu w metadanych strony internetowej, a nie przez systemy uczące się lub model statystyczny. Co więcej, zdarzenia zakupowe z pewnością nie wchodzą w zakres rozszerzonego pomiaru.

Jak więc możemy korzystać z ChatGPT i innych generatywnych narzędzi sztucznej inteligencji?

Jak wykazano w naszym teście GA4, ograniczona „wiedza” w ChatGPT sprawia, że ​​jest to niewiarygodne źródło faktów. Ale pozostaje bardzo wydajnym asystentem, dostarczając ekspertom pierwsze szkice analiz i kodu, aby skrócić czas potrzebny na wykonanie zadań.

Nie może zastąpić roli doświadczonego analityka, który wie, jakiego rodzaju wyników oczekuje. Zamiast tego można zaoszczędzić czas, instruując ChatGPT, aby generował analizy z przykładowych danych bez ciężkiego programowania. Na tej podstawie możesz uzyskać bliskie przybliżenie w ciągu kilku sekund i poinstruować ChatGPT, aby zmodyfikował swoje dane wyjściowe lub samodzielnie nimi manipulował.

Na przykład niedawno użyliśmy ChatGPT do analizy i optymalizacji koszyków zakupowych sprzedawcy. Chcieliśmy przeanalizować średnie rozmiary koszyków i ustalić optymalny rozmiar, aby zaoferować klientom bezpłatną wysyłkę. Wymagało to rutynowej analizy rozkładu przychodów i marży oraz zrozumienia wariancji w czasie.

Poinstruowaliśmy ChatGPT, aby sprawdził, jak rozmiary koszyków zmieniały się w ciągu 14 miesięcy, korzystając ze zbioru danych GA4. Następnie zasugerowaliśmy kilka wstępnych zapytań SQL do dalszej analizy w BigQuery oraz kilka opcji wizualizacji danych dla znalezionych spostrzeżeń.

Chociaż opcje były niedoskonałe, oferowały przydatne obszary do dalszej eksploracji. Nasz analityk dostosował zapytania z ChatGPT, aby sfinalizować dane wyjściowe. Skróciło to czas potrzebny starszemu analitykowi pracującemu z młodszym wsparciem na utworzenie danych wyjściowych z około trzech dni do jednego dnia.

Kop głębiej: 3 kroki, aby sztuczna inteligencja pracowała dla Ciebie

Automatyzacja ręcznych zadań i oszczędność czasu

Innym przykładem jest użycie go do automatyzacji bardziej ręcznych zadań w ramach danego procesu, takich jak kontrola jakości dla tabeli danych lub wytworzonego fragmentu kodu. Jest to podstawowy aspekt każdego projektu, a oznaczanie rozbieżności lub anomalii może być często pracochłonne.

Jednak używanie ChatGPT do sprawdzania poprawności ponad 500 wierszy kodu w celu łączenia i przetwarzania wielu zestawów danych — upewniając się, że są one wolne od błędów — może być ogromną oszczędnością czasu. W tym scenariuszu ręczne sprawdzenie, co normalnie zajęłoby komuś dwie godziny, teraz można osiągnąć w ciągu 30 minut.

Ostateczne kontrole QA nadal muszą być przeprowadzane przez eksperta, a jakość danych wyjściowych ChatGPT w dużym stopniu zależy od określonych parametrów ustawionych w instrukcjach. Jednak zadanie, które ma bardzo jasne parametry i nie ma dwuznaczności w danych wyjściowych (liczby albo się zgadzają, albo nie), jest idealne dla generatywnej sztucznej inteligencji, która poradzi sobie z większością ciężkich zadań.

Traktuj generatywną sztuczną inteligencję jak asystenta, a nie eksperta

Postęp poczyniony przez ChatGPT w ostatnich miesiącach jest niezwykły. Mówiąc najprościej, możemy teraz używać konwersacyjnego języka angielskiego, aby poprosić o wysoce techniczne materiały, które można wykorzystać do najszerszego zakresu zadań w zakresie programowania, komunikacji i wizualizacji.

Jak wykazaliśmy powyżej, dane wyjściowe z tych narzędzi należy traktować z ostrożnością i fachową oceną, aby były wartościowe. Dobrym przykładem użycia jest zwiększanie wydajności w budowaniu analiz w naszej codziennej pracy lub przyspieszanie długich, złożonych zadań, które normalnie byłyby wykonywane ręcznie. Podchodzimy do wyników sceptycznie i wykorzystujemy naszą wiedzę techniczną, aby udoskonalić je w materiały o wartości dodanej dla naszych klientów.

Chociaż generatywna sztuczna inteligencja, której przykładem jest ChatGPT, wykazała ogromny potencjał w rewolucjonizowaniu różnych aspektów naszych cyfrowych przepływów pracy, kluczowe znaczenie ma podejście do jej zastosowań z wyważoną perspektywą. Istnieją ograniczenia dokładności, szczególnie w odniesieniu do ostatnich aktualizacji i szczegółowych informacji.

Jednak wraz z dojrzewaniem technologii wzrośnie potencjał wykorzystania sztucznej inteligencji jako narzędzia do zwiększania naszych możliwości i zwiększania wydajności w naszej codziennej pracy. Myślę, że powinniśmy mniej skupiać się na generatywnej sztucznej inteligencji zastępującej eksperta, a bardziej na tym, jak może poprawić naszą produktywność.