Perangkap dan realitas praktis menggunakan AI generatif dalam alur kerja analitik Anda

Kami telah mendengar banyak tentang bagaimana AI generatif diatur untuk mengubah pemasaran digital selama beberapa bulan terakhir. Sebagai konsultan, kami bekerja dengan merek untuk memanfaatkan teknologi untuk pemasaran yang inovatif. Kami dengan cepat menyelidiki potensi ChatGPT, chatbot berbasis model bahasa besar yang paling menarik di blok ini. Sekarang, kami melihat bagaimana AI generatif dapat bertindak sebagai asisten dengan membuat draf awal kode dan visualisasi, yang disempurnakan oleh pakar kami menjadi materi yang dapat digunakan.

Dalam pandangan kami, kunci keberhasilan proyek AI generatif adalah agar pengguna akhir memiliki harapan yang jelas untuk hasil akhir sehingga setiap materi yang dihasilkan AI dapat diedit dan dibentuk. Prinsip pertama menggunakan AI generatif adalah Anda tidak boleh mempercayainya untuk memberikan jawaban yang sepenuhnya benar atas pertanyaan Anda.

ChatGPT hanya menjawab 12 dari 42 pertanyaan GA4 dengan benar

Kami memutuskan untuk menguji ChatGPT pada sesuatu yang dilakukan konsultan kami secara rutin — menjawab pertanyaan umum klien tentang GA4. Hasilnya tidak terlalu mengesankan: Dari 42 pertanyaan yang kami ajukan, ChatGPT hanya memberikan 12 jawaban yang kami anggap dapat diterima dan dikirimkan ke klien kami, dengan tingkat keberhasilan hanya 29%.

Delapan jawaban selanjutnya (19%) adalah "semi-benar". Ini salah menafsirkan pertanyaan dan memberikan jawaban yang berbeda untuk apa yang ditanyakan (walaupun secara faktual benar) atau memiliki sedikit informasi yang salah dalam jawaban yang benar.

Misalnya, ChatGPT memberi tahu kami bahwa baris "Lainnya" yang Anda temukan di beberapa laporan GA4 adalah pengelompokan dari banyak baris data bervolume rendah (benar), tetapi kejadian saat hal ini terjadi ditentukan oleh "algoritme pembelajaran mesin Google". Ini salah. Ada aturan standar untuk mendefinisikan ini.

Gali lebih dalam: Kecerdasan Buatan: Panduan pemula

Keterbatasan pengetahuan ChatGPT — dan terlalu percaya diri

52% jawaban yang tersisa salah secara faktual dan, dalam beberapa kasus, secara aktif menyesatkan. Alasan paling umum adalah ChatGPT tidak menggunakan data pelatihan setelah tahun 2021, sehingga banyak pembaruan terkini tidak diperhitungkan dalam jawabannya.

Misalnya, Google baru secara resmi mengumumkan penghentian Universal Analytics pada tahun 2022, sehingga ChatGPT tidak dapat mengatakan kapan hal itu akan terjadi. Dalam hal ini, bot setidaknya mempermasalahkan jawabannya dengan konteks ini, yang diawali dengan “… sejauh pengetahuan saya terpotong pada tahun 2021…”

Namun, beberapa pertanyaan yang tersisa dijawab dengan salah dengan rasa percaya diri yang mengkhawatirkan. Seperti bot yang memberi tahu kami bahwa "GA4 menggunakan pendekatan berbasis pembelajaran mesin untuk melacak peristiwa dan dapat secara otomatis mengidentifikasi peristiwa pembelian berdasarkan data yang dikumpulkannya."   

Meskipun GA4 memang memiliki peristiwa "pengukuran yang disempurnakan" yang dilacak secara otomatis, peristiwa tersebut umumnya ditentukan dengan mendengarkan kode sederhana dalam metadata halaman web, bukan melalui pembelajaran mesin atau model statistik apa pun. Selain itu, peristiwa pembelian tentu saja tidak berada dalam lingkup pengukuran yang ditingkatkan.

Jadi, bagaimana kita bisa menggunakan ChatGPT dan alat AI generatif lainnya?

Seperti yang ditunjukkan dalam pengujian GA4 kami, "pengetahuan" terbatas yang dimiliki dalam ChatGPT menjadikannya sumber fakta yang tidak dapat diandalkan. Tapi itu tetap menjadi asisten yang sangat efisien, menyediakan draf analisis dan kode pertama bagi seorang ahli untuk memangkas waktu yang diperlukan untuk tugas.

Itu tidak dapat menggantikan peran seorang analis berpengetahuan yang mengetahui jenis keluaran yang mereka harapkan untuk dilihat. Alih-alih, waktu dapat dihemat dengan menginstruksikan ChatGPT untuk menghasilkan analisis dari data sampel tanpa pemrograman yang berat. Dari sini, Anda dapat memperoleh perkiraan yang mendekati dalam hitungan detik dan menginstruksikan ChatGPT untuk memodifikasi keluarannya atau memanipulasinya sendiri.

Misalnya, baru-baru ini kami menggunakan ChatGPT untuk menganalisis dan mengoptimalkan keranjang belanja pengecer. Kami ingin menganalisis ukuran keranjang rata-rata dan memahami ukuran optimal untuk menawarkan pengiriman gratis kepada pelanggan. Hal ini memerlukan analisis rutin terhadap distribusi pendapatan dan marjin serta pemahaman tentang varian dari waktu ke waktu.

Kami menginstruksikan ChatGPT untuk meninjau bagaimana ukuran keranjang bervariasi selama 14 bulan menggunakan kumpulan data GA4. Kami kemudian menyarankan beberapa kueri SQL awal untuk analisis lebih lanjut dalam BigQuery dan beberapa opsi visualisasi data untuk wawasan yang ditemukannya.

Meskipun opsinya tidak sempurna, mereka menawarkan area yang berguna untuk eksplorasi lebih lanjut. Analis kami menyesuaikan kueri dari ChatGPT untuk menyelesaikan hasilnya. Hal ini mengurangi waktu analis senior yang bekerja dengan dukungan junior untuk menghasilkan output dari kira-kira tiga hari menjadi satu hari.

Gali lebih dalam: 3 langkah untuk membuat AI bekerja untuk Anda

Mengotomatiskan tugas manual dan menghemat waktu

Contoh lain adalah menggunakannya untuk mengotomatiskan lebih banyak tugas manual dalam proses tertentu, seperti pemeriksaan jaminan kualitas untuk tabel data atau kode yang telah dihasilkan. Ini adalah aspek inti dari proyek apa pun, dan menandai ketidaksesuaian atau anomali seringkali bisa melelahkan.

Namun, menggunakan ChatGPT untuk memvalidasi 500+ baris kode untuk menggabungkan dan memproses beberapa set data — memastikannya bebas dari kesalahan — dapat sangat menghemat waktu. Dalam skenario ini, apa yang biasanya memakan waktu dua jam bagi seseorang untuk meninjau dirinya sendiri secara manual sekarang dapat dicapai dalam 30 menit.

Pemeriksaan QA akhir masih perlu dilakukan oleh seorang ahli, dan kualitas keluaran ChatGPT sangat bergantung pada parameter spesifik yang Anda atur dalam instruksi Anda. Namun, tugas yang memiliki parameter yang sangat jelas dan tidak memiliki ambiguitas dalam output (angkanya cocok atau tidak) ideal untuk AI generatif untuk menangani sebagian besar pekerjaan berat.

Perlakukan AI generatif seperti asisten daripada ahli

Kemajuan yang dibuat oleh ChatGPT dalam beberapa bulan terakhir sangat luar biasa. Sederhananya, kami sekarang dapat menggunakan bahasa Inggris percakapan untuk meminta materi yang sangat teknis yang dapat digunakan untuk berbagai tugas terluas di seluruh pemrograman, komunikasi, dan visualisasi.

Seperti yang telah kami tunjukkan di atas, keluaran dari alat ini perlu ditangani dengan hati-hati dan penilaian ahli agar bermanfaat. Kasus penggunaan yang baik adalah mendorong efisiensi dalam membuat analisis dalam pekerjaan kita sehari-hari atau mempercepat tugas yang panjang dan rumit yang biasanya dilakukan secara manual. Kami memperlakukan hasilnya dengan skeptis dan menggunakan pengetahuan teknis kami untuk mengasahnya menjadi materi yang memberi nilai tambah bagi klien kami.

Meskipun AI generatif, yang dicontohkan oleh ChatGPT, telah menunjukkan potensi yang sangat besar dalam merevolusi berbagai aspek alur kerja digital kami, sangat penting untuk mendekati penerapannya dengan perspektif yang seimbang. Ada batasan dalam akurasi, terutama terkait pembaruan terkini dan detail bernuansa.

Namun, seiring dengan semakin matangnya teknologi, potensi AI untuk digunakan sebagai alat untuk meningkatkan kemampuan kita dan mendorong efisiensi dalam pekerjaan kita sehari-hari akan meningkat. Saya pikir kita harus lebih fokus pada AI generatif menggantikan ahli dan lebih pada bagaimana hal itu dapat meningkatkan produktivitas kita.