Las trampas y las realidades prácticas del uso de IA generativa en su flujo de trabajo de análisis

Hemos escuchado mucho sobre cómo la IA generativa cambiará el marketing digital en los últimos meses. Como consultores, trabajamos con marcas para aprovechar la tecnología para un marketing innovador. Profundizamos rápidamente en el potencial de ChatGPT, el chatbot basado en un modelo de lenguaje grande más comentado en el bloque. Ahora, vemos cómo la IA generativa puede actuar como asistente al generar borradores iniciales de código y visualizaciones, que nuestros expertos refinan en materiales utilizables.

Desde nuestro punto de vista, la clave para un proyecto de IA generativa exitoso es que el usuario final tenga una expectativa clara para el resultado final, de modo que cualquier material generado por IA pueda ser editado y moldeado. El primer principio del uso de la IA generativa es que no debe confiar en ella para proporcionar respuestas completamente correctas a sus consultas.

ChatGPT respondió correctamente solo 12 de 42 preguntas de GA4

Decidimos poner a prueba ChatGPT en algo que nuestros consultores hacen regularmente: responder preguntas comunes de los clientes sobre GA4. Los resultados no fueron tan impresionantes: de las 42 preguntas que hicimos, ChatGPT solo proporcionó 12 respuestas que consideramos aceptables y enviamos a nuestros clientes, una tasa de éxito de solo el 29 %.

Otras ocho respuestas (19%) fueron "semi-correctas". Estos malinterpretaron la pregunta y proporcionaron una respuesta diferente a lo que se preguntó (aunque objetivamente correcta) o tenían una pequeña cantidad de información errónea en una respuesta correcta.

Por ejemplo, ChatGPT nos dijo que la fila "Otro" que encuentra en algunos informes de GA4 es una agrupación de muchas filas de datos de bajo volumen (correcto), pero que las instancias en las que esto ocurre están definidas por los "algoritmos de aprendizaje automático de Google". Esto es incorrecto. Existen reglas estándar para definir esto.

Profundice: Inteligencia artificial: una guía para principiantes

Limitaciones del conocimiento de ChatGPT, y su exceso de confianza

El 52% restante de las respuestas eran objetivamente incorrectas y, en algunos casos, engañosas. La razón más común es que ChatGPT no usa datos de entrenamiento más allá de 2021, por lo que muchas actualizaciones recientes no se tienen en cuenta en sus respuestas.

Por ejemplo, Google solo anunció oficialmente la desaprobación de Universal Analytics en 2022, por lo que ChatGPT no pudo decir cuándo sería. En este caso, el bot al menos advirtió su respuesta con este contexto, comenzando con "... que yo sepa, el corte es en 2021..."

Sin embargo, algunas preguntas restantes fueron respondidas incorrectamente con una confianza preocupante. Como el bot que nos dice que "GA4 utiliza un enfoque basado en el aprendizaje automático para realizar un seguimiento de los eventos y puede identificar automáticamente los eventos de compra en función de los datos que recopila".   

Si bien GA4 tiene eventos de "medición mejorada" con seguimiento automático, estos generalmente se definen al escuchar un código simple dentro de los metadatos de una página web en lugar de a través de cualquier modelo estadístico o de aprendizaje automático. Además, los eventos de compra ciertamente no están dentro del alcance de la medición mejorada.

Entonces, ¿cómo podemos usar ChatGPT y otras herramientas generativas de IA?

Como se demostró en nuestra prueba GA4, el "conocimiento" limitado que se tiene en ChatGPT lo convierte en una fuente de información poco confiable. Pero sigue siendo un asistente muy eficiente, que proporciona los primeros borradores de los análisis y el código para que un experto reduzca el tiempo necesario para las tareas.

No puede reemplazar el papel de un analista experto que conoce el tipo de resultado que esperan ver. En cambio, se puede ahorrar tiempo instruyendo a ChatGPT para que produzca análisis a partir de datos de muestra sin una programación pesada. A partir de esto, puede obtener una aproximación cercana en segundos e indicarle a ChatGPT que modifique su salida o la manipule usted mismo.

Por ejemplo, recientemente usamos ChatGPT para analizar y optimizar las cestas de la compra de un minorista. Queríamos analizar los tamaños promedio de las canastas y comprender el tamaño óptimo para ofrecer envío gratuito a los clientes. Esto requería un análisis de rutina de la distribución de ingresos y márgenes y una comprensión de la variación a lo largo del tiempo.

Le indicamos a ChatGPT que revisara cómo los tamaños de las cestas variaron durante 14 meses utilizando un conjunto de datos GA4. Luego, sugerimos algunas consultas SQL iniciales para un análisis más detallado dentro de BigQuery y algunas opciones de visualización de datos para la información que encontró.

Si bien las opciones eran imperfectas, ofrecían áreas útiles para una mayor exploración. Nuestro analista adaptó las consultas de ChatGPT para finalizar el resultado. Esto redujo el tiempo de un analista senior que trabaja con soporte junior para crear la salida de aproximadamente tres días a un día.

Profundice más: 3 pasos para que la IA trabaje para usted

Automatización de tareas manuales y ahorro de tiempo.

Otro ejemplo es usarlo para automatizar más tareas manuales dentro de un proceso determinado, como controles de control de calidad para una tabla de datos o una pieza de código que se ha producido. Este es un aspecto central de cualquier proyecto, y marcar discrepancias o anomalías a menudo puede ser laborioso.

Sin embargo, usar ChatGPT para validar un código de más de 500 filas para combinar y procesar múltiples conjuntos de datos, asegurándose de que no tengan errores, puede ahorrar mucho tiempo. En este escenario, lo que normalmente habría tomado dos horas para que alguien se revisara manualmente ahora podría lograrse en 30 minutos.

Las verificaciones finales de control de calidad aún deben ser realizadas por un experto, y la calidad de la salida de ChatGPT depende en gran medida de los parámetros específicos que establezca en sus instrucciones. Sin embargo, una tarea que tiene parámetros muy claros y no tiene ambigüedad en el resultado (los números coinciden o no) es ideal para que la IA generativa maneje la mayor parte del trabajo pesado.

Trate a la IA generativa como un asistente en lugar de un experto

El progreso realizado por ChatGPT en los últimos meses es notable. En pocas palabras, ahora podemos usar el inglés conversacional para solicitar materiales altamente técnicos que se pueden usar para la más amplia gama de tareas en programación, comunicación y visualización.

Como hemos demostrado anteriormente, los resultados de estas herramientas deben tratarse con cuidado y juicio experto para que sean valiosos. Un buen caso de uso es impulsar la eficiencia en la creación de análisis en nuestro trabajo diario o acelerar tareas largas y complejas que normalmente se realizarían manualmente. Tratamos los resultados con escepticismo y usamos nuestro conocimiento técnico para perfeccionarlos y convertirlos en materiales de valor agregado para nuestros clientes.

Si bien la IA generativa, ejemplificada por ChatGPT, ha mostrado un inmenso potencial para revolucionar varios aspectos de nuestros flujos de trabajo digitales, es crucial abordar sus aplicaciones con una perspectiva equilibrada. Existen limitaciones en la precisión, particularmente en lo que respecta a actualizaciones recientes y detalles matizados.

Sin embargo, a medida que la tecnología madure, crecerá el potencial de que la IA se utilice como una herramienta para aumentar nuestras capacidades e impulsar la eficiencia en nuestro trabajo diario. Creo que deberíamos centrarnos menos en la IA generativa que reemplaza al experto y más en cómo puede mejorar nuestra productividad.