분석 워크플로에서 생성 AI를 사용하는 함정과 실제 현실

우리는 지난 몇 달 동안 제너레이티브 AI가 디지털 마케팅을 어떻게 변화시킬 것인지에 대해 많이 들었습니다. 컨설턴트로서 우리는 브랜드와 협력하여 혁신적인 마케팅을 위한 기술을 활용합니다. 우리는 블록에서 가장 인기 있는 대규모 언어 모델 기반 챗봇인 ChatGPT의 잠재력을 빠르게 탐구했습니다. 이제 생성적 AI가 초기 코드 초안과 시각화를 생성하여 어떻게 보조자 역할을 할 수 있는지 살펴보겠습니다. 이를 전문가가 사용 가능한 자료로 다듬습니다.

우리의 관점에서 성공적인 생성 AI 프로젝트의 핵심은 최종 사용자가 AI 생성 자료를 편집하고 모양을 만들 수 있도록 최종 출력에 대한 명확한 기대를 갖는 것입니다. 제너레이티브 AI를 사용하는 첫 번째 원칙은 쿼리에 대해 완전히 정확한 답변을 제공한다고 믿어서는 안 된다는 것입니다.

ChatGPT는 GA4 질문 42개 중 12개만 맞혔습니다.

우리는 컨설턴트가 정기적으로 수행하는 GA4에 대한 일반적인 고객 질문에 답변하는 것에 대해 ChatGPT를 테스트하기로 결정했습니다. 그 결과는 그리 인상적이지 않았습니다. 우리가 질문한 42개의 질문 중 ChatGPT는 우리가 받아들일 수 있다고 판단하고 고객에게 보낼 수 있는 12개의 답변만 제공했으며 성공률은 29%에 불과했습니다.

추가로 8개의 답변(19%)은 "반정답"이었습니다. 이들은 질문을 잘못 해석하고 질문에 대해 다른 답변을 제공했거나(사실상 정확하지만) 올바른 답변에 약간의 잘못된 정보를 포함했습니다.

예를 들어 ChatGPT는 일부 GA4 보고서에서 찾은 '기타' 행이 소량 데이터(올바른)의 여러 행을 그룹화한 것이지만 이것이 발생하는 인스턴스는 'Google 기계 학습 알고리즘'에 의해 정의된다고 말했습니다. 이것은 잘못된 것입니다. 이를 정의하는 표준 규칙이 있습니다.

자세히 알아보기: 인공 지능: 초보자 가이드

ChatGPT 지식의 한계와 과신

나머지 52%의 답변은 사실과 다르며 어떤 경우에는 적극적으로 오해의 소지가 있습니다. 가장 일반적인 이유는 ChatGPT가 2021년 이후의 훈련 데이터를 사용하지 않기 때문에 많은 최근 업데이트가 답변에 반영되지 않기 때문입니다.

예를 들어 Google은 공식적으로 2022년에 유니버설 애널리틱스의 지원 중단을 발표했기 때문에 ChatGPT는 언제가 될지 말할 수 없습니다. 이 경우 봇은 "…

그러나 나머지 몇 가지 질문은 걱정스러운 자신감으로 잘못 대답했습니다. "GA4는 기계 학습 기반 접근 방식을 사용하여 이벤트를 추적하고 수집한 데이터를 기반으로 구매 이벤트를 자동으로 식별할 수 있습니다."라고 말하는 봇과 같은 것입니다.   

GA4에는 자동 추적된 '향상된 측정' 이벤트가 있지만 일반적으로 이러한 이벤트는 기계 학습이나 통계 모델을 통하지 않고 웹페이지의 메타데이터 내에서 간단한 코드를 수신하여 정의됩니다. 또한 구매 이벤트는 확실히 향상된 측정 범위에 속하지 않습니다.

그렇다면 ChatGPT 및 기타 생성 AI 도구를 어떻게 사용할 수 있습니까?

GA4 테스트에서 입증된 바와 같이 ChatGPT 내에서 보유하고 있는 제한된 "지식"으로 인해 신뢰할 수 없는 사실 소스가 됩니다. 그러나 전문가가 작업에 필요한 시간을 단축할 수 있도록 첫 번째 분석 초안과 코드를 제공하는 매우 효율적인 도우미 역할을 합니다.

기대하는 출력 유형을 알고 있는 지식이 풍부한 분석가의 역할을 대체할 수 없습니다. 대신 과도한 프로그래밍 없이 샘플 데이터에서 분석을 생성하도록 ChatGPT에 지시하여 시간을 절약할 수 있습니다. 이를 통해 몇 초 안에 근사값을 얻고 ChatGPT가 출력을 수정하거나 직접 조작하도록 지시할 수 있습니다.

예를 들어, 최근 ChatGPT를 사용하여 소매업체의 장바구니를 분석하고 최적화했습니다. 우리는 평균 바구니 크기를 분석하고 고객에게 무료 배송을 제공하기 위한 최적의 크기를 이해하고 싶었습니다. 이를 위해서는 수익 및 마진 분포에 대한 일상적인 분석과 시간 경과에 따른 변화에 대한 이해가 필요했습니다.

우리는 GA4 데이터 세트를 사용하여 14개월 동안 바구니 크기가 어떻게 변했는지 검토하도록 ChatGPT에 지시했습니다. 그런 다음 BigQuery 내에서 추가 분석을 위한 몇 가지 초기 SQL 쿼리와 발견한 인사이트를 위한 몇 가지 데이터 시각화 옵션을 제안했습니다.

옵션은 불완전했지만 추가 탐색을 위한 유용한 영역을 제공했습니다. 우리 분석가는 ChatGPT의 쿼리를 조정하여 출력을 마무리했습니다. 이로 인해 수석 분석가가 하위 지원과 함께 작업하여 결과를 생성하는 시간이 약 3일에서 하루로 단축되었습니다.

더 깊이 알아보기: AI가 당신을 위해 일하도록 만드는 3단계

수동 작업 자동화 및 시간 절약

또 다른 예는 생성된 코드 또는 데이터 테이블에 대한 품질 보증 검사와 같이 지정된 프로세스 내에서 더 많은 수동 작업을 자동화하는 데 사용하는 것입니다. 이것은 모든 프로젝트의 핵심 측면이며 불일치 또는 이상 징후를 표시하는 것은 종종 힘들 수 있습니다.

그러나 ChatGPT를 사용하여 500개 이상의 코드 행 조각을 검증하여 여러 데이터 세트를 결합하고 처리하여 오류가 없는지 확인하면 시간을 크게 절약할 수 있습니다. 이 시나리오에서는 누군가가 수동으로 자신을 검토하는 데 일반적으로 2시간이 걸리던 작업을 이제 30분 이내에 달성할 수 있습니다.

최종 QA 확인은 여전히 ​​전문가가 수행해야 하며 ChatGPT의 출력 품질은 지침에서 설정한 특정 매개 변수에 따라 크게 달라집니다. 그러나 매개변수가 매우 명확하고 출력에 모호성이 없는 작업(숫자가 일치하거나 일치하지 않음)은 생성 AI가 대부분의 어려운 작업을 처리하는 데 이상적입니다.

전문가가 아닌 조수처럼 생성 AI를 다루십시오.

최근 몇 달 동안 ChatGPT가 이룬 진전은 놀랍습니다. 간단히 말해서, 우리는 이제 대화형 영어를 사용하여 프로그래밍, 커뮤니케이션 및 시각화 전반에 걸쳐 가장 광범위한 작업에 사용할 수 있는 고도의 기술 자료를 요청할 수 있습니다.

위에서 설명한 것처럼 이러한 도구의 출력을 가치있게 만들기 위해서는 신중하고 전문가의 판단으로 처리해야 합니다. 좋은 사용 사례는 일상 업무에서 분석을 구축하는 효율성을 높이거나 일반적으로 수동으로 수행되는 길고 복잡한 작업의 속도를 높이는 것입니다. 우리는 출력물을 회의적으로 취급하고 우리의 기술 지식을 사용하여 고객을 위한 부가가치 자료로 연마합니다.

ChatGPT로 예시되는 생성 AI는 디지털 워크플로의 다양한 측면을 혁신하는 데 엄청난 잠재력을 보여 주었지만 균형 잡힌 관점에서 응용 프로그램에 접근하는 것이 중요합니다. 특히 최근 업데이트 및 미묘한 세부 정보와 관련하여 정확성에는 한계가 있습니다.

그러나 기술이 발전함에 따라 AI가 우리의 능력을 강화하고 일상 업무의 효율성을 높이는 도구로 사용될 가능성이 커질 것입니다. 전문가를 대체하는 제너럴 AI보다는 어떻게 생산성을 향상시킬 수 있는지에 초점을 맞춰야 한다고 생각합니다.

마테크를 잡아라! 일일. 무료. 받은편지함에서

비즈니스 이메일 주소

구독하다 처리 중...

용어를 참조하십시오.