在分析工作流程中使用生成 AI 的陷阱和实际情况

在过去的几个月里，我们已经听到很多关于生成式人工智能将如何改变数字营销的消息。 作为顾问，我们与品牌合作，利用技术进行创新营销。 我们很快深入研究了 ChatGPT 的潜力，这是该街区最受关注的基于大型语言模型的聊天机器人。 现在，我们看到生成式人工智能如何通过生成代码和可视化的初始草稿来充当助手，我们的专家将其提炼成可用的材料。

在我们看来，一个成功的生成式 AI 项目的关键是让最终用户对最终输出有明确的期望，这样任何 AI 生成的材料都可以被编辑和塑造。 使用生成式 AI 的首要原则是你不应该相信它会为你的查询提供完全正确的答案。

ChatGPT 仅正确回答了 42 个 GA4 问题中的 12 个

我们决定让 ChatGPT 对我们的顾问经常做的事情进行测试——回答有关 GA4 的常见客户问题。 结果并不那么令人印象深刻：在我们提出的 42 个问题中，ChatGPT 只提供了 12 个我们认为可以接受并发送给客户的答案，成功率仅为 29%。

还有八个答案 (19%) 是“半正确的”。 这些要么误解了问题并对所问内容提供了不同的答案（尽管事实上是正确的），要么在原本正确的回答中有少量错误信息。

例如，ChatGPT 告诉我们，您在某些 GA4 报告中找到的“其他”行是许多行低容量数据的分组（正确），但发生这种情况的实例是由“谷歌机器学习算法”定义的。 这是不正确的。 有适当的标准规则来定义它。

深入挖掘：人工智能：初学者指南

ChatGPT 知识的局限性——过于自信

其余 52% 的答案实际上是不正确的，在某些情况下还具有误导性。 最常见的原因是 ChatGPT 不使用 2021 年以后的训练数据，因此其答案中未考虑许多最近的更新。

例如，Google 直到 2022 年才正式宣布弃用 Universal Analytics，因此 ChatGPT 无法说明具体时间。 在这种情况下，机器人至少在这种情况下给出了答案，开头是“……据我所知，截止日期是 2021 年……”

然而，一些剩余的问题却以令人担忧的信心错误地回答了。 例如机器人告诉我们“GA4 使用基于机器学习的方法来跟踪事件，并且可以根据它收集的数据自动识别购买事件。”   

虽然 GA4 确实具有自动跟踪的“增强测量”事件，但这些事件通常是通过侦听网页元数据中的简单代码而不是通过任何机器学习或统计模型来定义的。 此外，购买事件当然不在增强计量范围内。

那么，我们如何使用 ChatGPT 和其他生成式 AI 工具呢？

正如我们在 GA4 测试中所证明的那样，ChatGPT 中所拥有的有限“知识”使其成为不可靠的事实来源。 但它仍然是一个非常高效的助手，为专家提供分析和代码的初稿，以减少任务所需的时间。

它不能取代知识渊博的分析师的角色，他们知道他们期望看到的输出类型。 相反，可以通过指示 ChatGPT 从样本数据生成分析而无需大量编程来节省时间。 由此，您可以在几秒钟内获得近似值，并指示 ChatGPT 修改其输出或自行操作。

例如，我们最近使用 ChatGPT 来分析和优化零售商的购物篮。 我们想分析购物篮的平均尺寸并了解为客户提供免费送货服务的最佳尺寸。 这需要对收入和利润的分配进行例行分析，并了解随时间变化的变化。

我们指示 ChatGPT 使用 GA4 数据集查看购物篮大小在 14 个月内的变化情况。 然后，我们建议了一些初始 SQL 查询以在 BigQuery 中进行进一步分析，并建议了一些数据可视化选项以获取其发现的见解。

虽然这些选项并不完美，但它们为进一步探索提供了有用的领域。 我们的分析师调整了 ChatGPT 的查询以最终确定输出。 这将高级分析师与初级支持人员一起创建输出的时间从大约三天缩短到一天。

深入挖掘：让 AI 为你工作的 3 个步骤

自动化手动任务并节省时间

另一个例子是使用它在给定流程中自动执行更多手动任务，例如对数据表或已生成的一段代码进行质量保证检查。 这是任何项目的核心方面，标记差异或异常通常很费力。

但是，使用 ChatGPT 验证 500 多行代码以组合和处理多个数据集（确保它们没有错误）可以节省大量时间。 在这种情况下，人工审核通常需要两个小时才能完成的工作现在可以在 30 分钟内完成。

最终的 QA 检查仍然需要由专家执行，ChatGPT 输出的质量在很大程度上取决于您在说明中设置的具体参数。 但是，具有非常明确的参数且输出没有歧义（数字匹配或不匹配）的任务非常适合生成 AI 来处理大部分繁重的工作。

像对待助手而不是专家一样对待生成式人工智能

ChatGPT 近几个月取得的进步令人瞩目。 简而言之，我们现在可以使用会话英语来请求可用于编程、通信和可视化等最广泛任务的高科技材料。

正如我们上面所展示的，这些工具的输出需要谨慎对待和专家判断才能使它们有价值。 一个很好的用例是提高我们日常工作中构建分析的效率，或者加快通常需要手动完成的冗长、复杂的任务。 我们以怀疑的态度对待产出，并利用我们的技术知识将它们磨练成为我们的客户增值的材料。

虽然以 ChatGPT 为代表的生成式 AI 在彻底改变我们数字工作流程的各个方面显示出巨大潜力，但以平衡的视角处理其应用程序至关重要。 准确性存在局限性，特别是关于最近的更新和细微的细节。

然而，随着技术的成熟，人工智能被用作增强我们能力和提高日常工作效率的工具的潜力将会增加。 我认为我们应该少关注替代专家的生成人工智能，而多关注它如何提高我们的生产力。

获取营销技术！ 日常的。 自由的。 在您的收件箱中。

企业电子邮件地址

订阅 加工...

见条款。