分析ワークフローで生成 AI を使用する場合の落とし穴と現実

ここ数か月間、生成 AI がデジタル マーケティングをどのように変えるかについて多くの話を聞いてきました。 私たちはコンサルタントとして、ブランドと協力してテクノロジーを活用して革新的なマーケティングを行っています。 私たちは、業界で最も話題性のある大規模な言語モデルベースのチャットボットである ChatGPT の可能性をすぐに掘り下げました。 ここで、生成 AI がコードとビジュアライゼーションの初期草案を生成し、それを専門家が使用可能な資料に洗練することで、どのようにアシスタントとして機能するかがわかります。

私たちの見解では、生成 AI プロジェクトを成功させる鍵は、エンド ユーザーが最終出力に対する明確な期待を持ち、AI で生成されたマテリアルを編集して形成できるようにすることです。 生成 AI を使用する際の第一の原則は、クエリに対して完全に正しい答えを提供すると信頼すべきではないということです。

ChatGPT は GA4 の質問 42 問中 12 問だけ正解しました

私たちは、コンサルタントが定期的に行っていること、つまり GA4 に関するクライアントのよくある質問に答えることについて、ChatGPT をテストすることにしました。 結果はそれほど印象的なものではありませんでした。私たちが尋ねた 42 の質問のうち、ChatGPT が提供したのは、許容できると判断してクライアントに送信できる 12 の回答のみで、成功率はわずか 29% でした。

さらに 8 件の回答 (19%) は「半正解」でした。 これらは、質問を誤解し、質問された内容とは異なる回答を提供したか（事実は正しいですが）、そうでなければ正しい回答に少量の誤った情報が含まれていました。

たとえば、ChatGPT は、一部の GA4 レポートにある「その他」の行は、大量の少量データの行をグループ化したものである (正しい) が、これが発生するインスタンスは「Google 機械学習アルゴリズム」によって定義されていると述べました。 これは間違いです。 これを定義するための標準ルールが用意されています。

さらに詳しく: 人工知能: 初心者向けガイド

ChatGPT の知識の限界 — そしてそれは過信

残りの 52% の回答は事実が間違っており、場合によっては積極的に誤解を招くものでした。 最も一般的な理由は、ChatGPT が 2021 年以降トレーニング データを使用しないため、最近の更新の多くがその回答に考慮されていないことです。

たとえば、Google は 2022 年にユニバーサル アナリティクスの廃止を正式に発表したばかりなので、ChatGPT はそれがいつになるかを言うことができませんでした。 この例では、ボットは少なくともこの文脈での回答に警告を発し、「…私の知識に関しては 2021 年に切れてしまいます…」で始まります。

しかし、残りのいくつかの質問は、心配するほど自信を持って不正解でした。 たとえば、ボットは「GA4 は機械学習ベースのアプローチを使用してイベントを追跡し、収集したデータに基づいて購入イベントを自動的に識別できます。」と伝えます。   

GA4 には自動追跡される「拡張測定」イベントがありますが、これらは通常、機械学習や統計モデルを通じてではなく、Web ページのメタデータ内の単純なコードをリッスンすることによって定義されます。 さらに、購入イベントは強化された測定の範囲内にないことは確かです。

では、ChatGPT やその他の生成 AI ツールをどのように使用できるのでしょうか?

GA4 テストで実証されたように、ChatGPT 内に保持されている「知識」が限られているため、信頼性の低い事実情報源となります。 しかし、依然として非常に効率的なアシスタントであり、専門家がタスクに必要な時間を短縮するために分析とコードの初稿を提供します。

期待される出力の種類を知っている知識豊富なアナリストの役割に代わることはできません。 代わりに、ChatGPT に、複雑なプログラミングを行わずにサンプル データから分析を生成するように指示することで、時間を節約できます。 これから、数秒で近い近似値を取得し、出力を変更するか自分で操作するように ChatGPT に指示できます。

たとえば、私たちは最近、ChatGPT を使用して小売業者の買い物かごを分析し、最適化しました。 私たちは平均的なバスケットのサイズを分析し、顧客に送料無料を提供するための最適なサイズを理解したいと考えました。 これには、収益と利益の分布を定期的に分析し、時間の経過に伴う変動を理解する必要がありました。

ChatGPT に、GA4 データセットを使用して 14 か月間でバスケット サイズがどのように変化したかを確認するように指示しました。 次に、BigQuery 内でさらに分析するためのいくつかの初期 SQL クエリと、見つかった分析情報のためのいくつかのデータ視覚化オプションを提案しました。

オプションは不完全ではありましたが、さらなる探索に役立つ領域を提供してくれました。 私たちのアナリストは ChatGPT からのクエリを調整して出力を完成させました。 これにより、シニア アナリストがジュニア サポートと協力して出力を作成する時間が、およそ 3 日から 1 日に短縮されました。

さらに詳しく: AI を活用するための 3 つのステップ

手動タスクを自動化し、時間を節約する

もう 1 つの例は、データ テーブルや生成されたコードの品質保証チェックなど、特定のプロセス内のより多くの手動タスクを自動化するために使用することです。 これはあらゆるプロジェクトの中核となる側面であり、矛盾や異常を報告するのは多くの場合、骨の折れる作業です。

ただし、ChatGPT を使用して 500 行以上のコードを検証し、複数のデータセットを結合して処理し、エラーがないことを確認すると、時間を大幅に節約できます。 このシナリオでは、手動で自己レビューを行うのに通常 2 時間かかっていた作業が、30 分以内に完了できるようになりました。

最終的な QA チェックは依然として専門家によって実行される必要があり、ChatGPT の出力の品質は、指示で設定した特定のパラメーターに大きく依存します。 ただし、パラメーターが非常に明確で、出力に曖昧さがない (数値が一致するか一致しない) タスクは、生成 AI が面倒な作業のほとんどを処理するのに理想的です。

生成 AI を専門家ではなくアシスタントのように扱う

ここ数か月における ChatGPT の進歩は目覚ましいものがあります。 簡単に言えば、会話英語を使用して、プログラミング、コミュニケーション、ビジュアライゼーションにわたる幅広いタスクに使用できる高度な技術的な資料をリクエストできるようになりました。

上記で示したように、これらのツールからの出力を価値あるものにするためには、専門家の判断と慎重な取り扱いが必要です。 良い使用例は、日常業務で分析を構築する際の効率を高めたり、通常は手動で行われる長くて複雑なタスクを高速化することです。 私たちは成果物を懐疑的に扱い、技術的知識を活用してクライアントにとって付加価値のある資料に磨きをかけます。

ChatGPT に代表される生成 AI は、デジタル ワークフローのさまざまな側面に革命をもたらす計り知れない可能性を示していますが、バランスの取れた視点でそのアプリケーションにアプローチすることが重要です。 特に最近の更新や微妙な詳細に関しては、正確性に限界があります。

しかし、テクノロジーが成熟するにつれて、AI が私たちの能力を強化し、日常業務の効率を高めるツールとして使用される可能性が高まります。 私たちは、専門家に代わる生成 AI に焦点を当てるのではなく、生成 AI がどのように生産性を向上させることができるかにもっと焦点を当てるべきだと思います。

マーテックを手に入れましょう！ 毎日。 無料。 受信箱にあります。

ビジネスメールアドレス

購読 処理...

規約を参照してください。