Die Fallstricke und praktischen Realitäten des Einsatzes generativer KI in Ihrem Analyse-Workflow

Wir haben in den letzten Monaten viel darüber gehört, wie generative KI das digitale Marketing verändern wird. Als Berater arbeiten wir mit Marken zusammen, um Technologie für innovatives Marketing zu nutzen. Wir haben uns schnell mit dem Potenzial von ChatGPT befasst, dem angesagtesten, auf großen Sprachmodellen basierenden Chatbot auf dem Markt. Jetzt sehen wir, wie generative KI als Assistent fungieren kann, indem sie erste Code-Entwürfe und Visualisierungen generiert, die unsere Experten zu nutzbaren Materialien verfeinern.

Unserer Ansicht nach liegt der Schlüssel zu einem erfolgreichen generativen KI-Projekt darin, dass der Endbenutzer eine klare Erwartung an das Endergebnis hat, damit alle KI-generierten Materialien bearbeitet und geformt werden können. Der erste Grundsatz beim Einsatz generativer KI besteht darin, dass Sie nicht darauf vertrauen sollten, dass sie vollständig korrekte Antworten auf Ihre Fragen liefert.

ChatGPT hat nur 12 von 42 GA4-Fragen richtig beantwortet

Wir haben beschlossen, ChatGPT anhand einer regelmäßigen Aufgabe unserer Berater auf die Probe zu stellen – der Beantwortung häufiger Kundenfragen zu GA4. Die Ergebnisse waren nicht besonders beeindruckend: Von den 42 von uns gestellten Fragen lieferte ChatGPT nur 12 Antworten, die wir für akzeptabel hielten und an unsere Kunden weiterleiteten, was einer Erfolgsquote von nur 29 % entspricht.

Weitere acht Antworten (19 %) waren „halb richtig“. Entweder interpretierten sie die Frage falsch und gaben eine andere Antwort als die gestellte Frage (obwohl sie sachlich korrekt war) oder sie enthielten in einer ansonsten korrekten Antwort ein paar Fehlinformationen.

ChatGPT hat uns beispielsweise mitgeteilt, dass die Zeile „Sonstiges“, die Sie in einigen GA4-Berichten finden, eine Gruppierung vieler Zeilen mit Daten geringer Menge ist (richtig), dass die Fälle, in denen dies auftritt, jedoch durch „Google-Algorithmen für maschinelles Lernen“ definiert werden. Das ist falsch. Es gibt Standardregeln, um dies zu definieren.

Gehen Sie tiefer: Künstliche Intelligenz: Ein Leitfaden für Einsteiger

Grenzen des Wissens von ChatGPT – und es ist Selbstüberschätzung

Die restlichen 52 % der Antworten waren sachlich falsch und in einigen Fällen sogar aktiv irreführend. Der häufigste Grund ist, dass ChatGPT keine Trainingsdaten über 2021 hinaus verwendet, sodass viele aktuelle Aktualisierungen nicht in die Antworten einbezogen werden.

Beispielsweise hat Google die Einstellung von Universal Analytics erst im Jahr 2022 offiziell angekündigt, ChatGPT konnte daher nicht sagen, wann dies der Fall sein wird. In diesem Fall hat der Bot seine Antwort zumindest in diesem Kontext eingeschränkt und mit „... soweit ich weiß, ist der Stichtag im Jahr 2021 …“ begonnen.

Einige verbleibende Fragen wurden jedoch mit besorgniserregendem Selbstvertrauen falsch beantwortet. So wie uns der Bot sagt, dass „GA4 einen auf maschinellem Lernen basierenden Ansatz zur Verfolgung von Ereignissen verwendet und Kaufereignisse anhand der gesammelten Daten automatisch identifizieren kann.“   

GA4 verfügt zwar über automatisch verfolgte „erweiterte Messereignisse“, diese werden jedoch im Allgemeinen durch das Abhören von einfachem Code in den Metadaten einer Webseite definiert und nicht durch maschinelles Lernen oder statistische Modelle. Darüber hinaus fallen Kaufereignisse sicherlich nicht in den Bereich der erweiterten Messung.

Wie können wir also ChatGPT und andere generative KI-Tools nutzen?

Wie in unserem GA4-Test gezeigt, ist ChatGPT aufgrund des begrenzten „Wissens“ eine unzuverlässige Informationsquelle. Aber es bleibt ein sehr effizienter Assistent, der einem Experten erste Entwürfe von Analysen und Code bereitstellt, um den Zeitaufwand für Aufgaben zu verkürzen.

Es kann nicht die Rolle eines sachkundigen Analysten ersetzen, der weiß, welche Art von Ergebnis er erwartet. Stattdessen kann Zeit gespart werden, indem man ChatGPT anweist, Analysen aus Beispieldaten ohne großen Programmieraufwand zu erstellen. Daraus können Sie in Sekundenschnelle eine genaue Annäherung erhalten und ChatGPT anweisen, seine Ausgabe zu ändern oder selbst zu manipulieren.

Beispielsweise haben wir kürzlich ChatGPT verwendet, um die Warenkörbe eines Einzelhändlers zu analysieren und zu optimieren. Wir wollten die durchschnittlichen Warenkorbgrößen analysieren und die optimale Größe ermitteln, um unseren Kunden kostenlosen Versand anzubieten. Dies erforderte eine routinemäßige Analyse der Verteilung von Umsatz und Marge sowie ein Verständnis der Varianz im Zeitverlauf.

Wir haben ChatGPT beauftragt, mithilfe eines GA4-Datensatzes zu überprüfen, wie sich die Warenkorbgrößen über einen Zeitraum von 14 Monaten verändert haben. Anschließend schlugen wir einige anfängliche SQL-Abfragen zur weiteren Analyse in BigQuery sowie einige Datenvisualisierungsoptionen für die gewonnenen Erkenntnisse vor.

Die Optionen waren zwar unvollkommen, boten aber nützliche Bereiche für weitere Erkundungen. Unser Analyst hat die Abfragen von ChatGPT angepasst, um die Ausgabe abzuschließen. Dadurch verkürzte sich die Zeit, die ein leitender Analyst in Zusammenarbeit mit einem Junior-Support für die Erstellung der Ergebnisse benötigte, von etwa drei Tagen auf einen Tag.

Gehen Sie tiefer: 3 Schritte, damit KI für Sie funktioniert

Manuelle Aufgaben automatisieren und Zeit sparen

Ein weiteres Beispiel ist die Automatisierung weiterer manueller Aufgaben innerhalb eines bestimmten Prozesses, beispielsweise Qualitätssicherungsprüfungen für eine Datentabelle oder einen erstellten Code. Dies ist ein zentraler Aspekt jedes Projekts, und das Erkennen von Unstimmigkeiten oder Anomalien kann oft mühsam sein.

Allerdings kann die Verwendung von ChatGPT zur Validierung eines über 500 Zeilen umfassenden Codes zum Kombinieren und Verarbeiten mehrerer Datensätze – um sicherzustellen, dass sie fehlerfrei sind – eine enorme Zeitersparnis bedeuten. Was normalerweise zwei Stunden gedauert hätte, bis sich jemand manuell überprüft hätte, könnte in diesem Szenario nun innerhalb von 30 Minuten erreicht werden.

Abschließende QA-Prüfungen müssen noch von einem Experten durchgeführt werden, und die Qualität der ChatGPT-Ausgabe hängt stark von den spezifischen Parametern ab, die Sie in Ihren Anweisungen festlegen. Allerdings ist eine Aufgabe mit sehr klaren Parametern und ohne Mehrdeutigkeit in der Ausgabe (die Zahlen stimmen entweder überein oder nicht) ideal für die generative KI, um den Großteil der schweren Arbeit zu bewältigen.

Behandeln Sie generative KI wie einen Assistenten und nicht wie einen Experten

Die Fortschritte, die ChatGPT in den letzten Monaten gemacht hat, sind bemerkenswert. Vereinfacht ausgedrückt können wir jetzt Konversationsenglisch verwenden, um hochtechnische Materialien anzufordern, die für die unterschiedlichsten Aufgaben in den Bereichen Programmierung, Kommunikation und Visualisierung verwendet werden können.

Wie wir oben gezeigt haben, müssen die Ergebnisse dieser Tools mit Sorgfalt und Expertenmeinung behandelt werden, damit sie wertvoll sind. Ein guter Anwendungsfall ist die Steigerung der Effizienz bei der Erstellung von Analysen in unserer täglichen Arbeit oder die Beschleunigung langwieriger, komplexer Aufgaben, die normalerweise manuell erledigt werden müssten. Wir stehen den Ergebnissen skeptisch gegenüber und nutzen unser technisches Wissen, um daraus wertschöpfende Materialien für unsere Kunden zu entwickeln.

Während generative KI, am Beispiel von ChatGPT, ein enormes Potenzial für die Revolutionierung verschiedener Aspekte unserer digitalen Arbeitsabläufe gezeigt hat, ist es entscheidend, ihre Anwendungen aus einer ausgewogenen Perspektive anzugehen. Es bestehen Einschränkungen hinsichtlich der Genauigkeit, insbesondere im Hinblick auf aktuelle Aktualisierungen und nuancierte Details.

Mit zunehmender Reife der Technologie wächst jedoch das Potenzial für den Einsatz von KI als Werkzeug zur Erweiterung unserer Fähigkeiten und zur Steigerung der Effizienz in unserer täglichen Arbeit. Ich denke, wir sollten uns weniger darauf konzentrieren, dass generative KI den Experten ersetzt, sondern mehr darauf, wie sie unsere Produktivität verbessern kann.