在分析工作流程中使用生成 AI 的陷阱和實際情況

在過去的幾個月裡，我們已經聽到很多關於生成式人工智能將如何改變數字營銷的消息。 作為顧問，我們與品牌合作，利用技術進行創新營銷。 我們很快深入研究了 ChatGPT 的潛力，這是該街區最受關注的基於大型語言模型的聊天機器人。 現在，我們看到生成式人工智能如何通過生成代碼和可視化的初始草稿來充當助手，我們的專家將其提煉成可用的材料。

在我們看來，一個成功的生成式 AI 項目的關鍵是讓最終用戶對最終輸出有明確的期望，這樣任何 AI 生成的材料都可以被編輯和塑造。 使用生成式 AI 的首要原則是你不應該相信它會為你的查詢提供完全正確的答案。

ChatGPT 僅正確回答了 42 個 GA4 問題中的 12 個

我們決定讓 ChatGPT 對我們的顧問經常做的事情進行測試——回答有關 GA4 的常見客戶問題。 結果並不那麼令人印象深刻：在我們提出的 42 個問題中，ChatGPT 只提供了 12 個我們認為可以接受並發送給客戶的答案，成功率僅為 29%。

還有八個答案 (19%) 是“半正確的”。 這些要么誤解了問題並對所問內容提供了不同的答案（儘管事實上是正確的），要么在原本正確的回答中有少量錯誤信息。

例如，ChatGPT 告訴我們，您在某些 GA4 報告中找到的“其他”行是許多行低容量數據的分組（正確），但發生這種情況的實例是由“谷歌機器學習算法”定義的。 這是不正確的。 有適當的標準規則來定義它。

深入挖掘：人工智能：初學者指南

ChatGPT 知識的局限性——過於自信

其餘 52% 的答案實際上是不正確的，在某些情況下還具有誤導性。 最常見的原因是 ChatGPT 不使用 2021 年以後的訓練數據，因此其答案中未考慮許多最近的更新。

例如，Google 直到 2022 年才正式宣布棄用 Universal Analytics，因此 ChatGPT 無法說明具體時間。 在這種情況下，機器人至少在這種情況下給出了答案，開頭是“……據我所知，截止日期是 2021 年……”

然而，一些剩餘的問題卻以令人擔憂的信心錯誤地回答了。 例如機器人告訴我們“GA4 使用基於機器學習的方法來跟踪事件，並且可以根據它收集的數據自動識別購買事件。”   

雖然 GA4 確實具有自動跟踪的“增強測量”事件，但這些事件通常是通過偵聽網頁元數據中的簡單代碼而不是通過任何機器學習或統計模型來定義的。 此外，購買事件當然不在增強計量範圍內。

那麼，我們如何使用 ChatGPT 和其他生成式 AI 工具呢？

正如我們在 GA4 測試中所證明的那樣，ChatGPT 中所擁有的有限“知識”使其成為不可靠的事實來源。 但它仍然是一個非常高效的助手，為專家提供分析和代碼的初稿，以減少任務所需的時間。

它不能取代知識淵博的分析師的角色，他們知道他們期望看到的輸出類型。 相反，可以通過指示 ChatGPT 從樣本數據生成分析而無需大量編程來節省時間。 由此，您可以在幾秒鐘內獲得近似值，並指示 ChatGPT 修改其輸出或自行操作。

例如，我們最近使用 ChatGPT 來分析和優化零售商的購物籃。 我們想分析購物籃的平均尺寸並了解為客戶提供免費送貨服務的最佳尺寸。 這需要對收入和利潤的分配進行例行分析，並了解隨時間變化的變化。

我們指示 ChatGPT 使用 GA4 數據集查看購物籃大小在 14 個月內的變化情況。 然後，我們建議了一些初始 SQL 查詢以在 BigQuery 中進行進一步分析，並建議了一些數據可視化選項以獲取其發現的見解。

雖然這些選項並不完美，但它們為進一步探索提供了有用的領域。 我們的分析師調整了 ChatGPT 的查詢以最終確定輸出。 這將高級分析師與初級支持人員一起創建輸出的時間從大約三天縮短到一天。

深入挖掘：讓 AI 為你工作的 3 個步驟

自動化手動任務並節省時間

另一個例子是使用它在給定流程中自動執行更多手動任務，例如對數據表或已生成的一段代碼進行質量保證檢查。 這是任何項目的核心方面，標記差異或異常通常很費力。

但是，使用 ChatGPT 驗證 500 多行代碼以組合和處理多個數據集（確保它們沒有錯誤）可以節省大量時間。 在這種情況下，人工審核通常需要兩個小時才能完成的工作現在可以在 30 分鐘內完成。

最終的 QA 檢查仍然需要由專家執行，ChatGPT 輸出的質量在很大程度上取決於您在說明中設置的具體參數。 但是，具有非常明確的參數且輸出沒有歧義（數字匹配或不匹配）的任務非常適合生成 AI 來處理大部分繁重的工作。

像對待助手而不是專家一樣對待生成式人工智能

ChatGPT 近幾個月取得的進步令人矚目。 簡而言之，我們現在可以使用會話英語來請求可用於編程、通信和可視化等最廣泛任務的高科技材料。

正如我們上面所展示的，這些工具的輸出需要謹慎對待和專家判斷才能使它們有價值。 一個很好的用例是提高我們日常工作中構建分析的效率，或者加快通常需要手動完成的冗長、複雜的任務。 我們以懷疑的態度對待產出，並利用我們的技術知識將它們磨練成為我們的客戶增值的材料。

雖然以 ChatGPT 為代表的生成式 AI 在徹底改變我們數字工作流程的各個方面顯示出巨大潛力，但以平衡的視角處理其應用程序至關重要。 準確性存在局限性，特別是關於最近的更新和細微的細節。

然而，隨著技術的成熟，人工智能被用作增強我們能力和提高日常工作效率的工具的潛力將會增加。 我認為我們應該少關注替代專家的生成人工智能，而多關注它如何提高我們的生產力。

獲取營銷技術！ 日常的。 自由的。 在您的收件箱中。

企業電子郵件地址

訂閱 加工...

見條款。