Cara memantau kualitas data — panduan terperinci

Mencegah kesalahan dalam pengumpulan data lebih mudah daripada menangani konsekuensinya. Kebijaksanaan keputusan bisnis Anda tergantung pada kualitas data Anda. Dalam artikel ini, kami memberi tahu Anda cara memeriksa kualitas data di semua tahap pengumpulan, mulai dari laporan kerja hingga laporan yang diselesaikan.

Sayangnya, banyak perusahaan yang menghabiskan banyak sumber daya untuk menyimpan dan memproses data masih membuat keputusan penting berdasarkan intuisi dan harapan mereka sendiri alih-alih data.

Mengapa itu terjadi? Ketidakpercayaan data diperburuk oleh situasi di mana data memberikan jawaban yang bertentangan dengan harapan pembuat keputusan. Selain itu, jika seseorang pernah mengalami kesalahan dalam data atau laporan di masa lalu, mereka cenderung menyukai intuisi. Hal ini dapat dimengerti, karena keputusan yang dibuat berdasarkan data yang salah dapat membuat Anda mundur daripada membuat Anda maju.

Bayangkan Anda memiliki proyek multi-mata uang. Analis Anda telah menyiapkan Google Analytics dalam satu mata uang, dan pemasar yang bertanggung jawab atas periklanan kontekstual telah menyiapkan biaya impor ke Google Analytics dalam mata uang lain. Akibatnya, Anda memiliki laba atas belanja iklan (ROAS) yang tidak realistis dalam laporan kampanye iklan Anda. Jika Anda tidak menyadari kesalahan ini tepat waktu, Anda dapat menonaktifkan kampanye yang menguntungkan atau meningkatkan anggaran untuk kampanye yang merugi.

Selain itu, pengembang biasanya sangat sibuk, dan menerapkan analisis web adalah tugas sekunder bagi mereka. Saat menerapkan fungsi baru — misalnya, desain baru untuk unit dengan aksesori — pengembang mungkin lupa untuk memeriksa apakah data sedang dikumpulkan di Google Analytics. Akibatnya, ketika tiba saatnya untuk mengevaluasi efektivitas desain baru, ternyata pengumpulan data rusak dua minggu lalu. Kejutan.

Bayangkan Anda telah membuat kesalahan selama fase spesifikasi. Jika Anda menemukannya dan segera memperbaikinya, perbaikannya akan relatif murah. Jika kesalahan terungkap setelah implementasi, saat membuat laporan, atau bahkan saat mengambil keputusan, biaya perbaikannya akan sangat tinggi.

Pengumpulan data biasanya terdiri dari lima langkah utama:

1. Merumuskan tantangan bisnis. Katakanlah Anda perlu menilai efisiensi algoritme untuk memilih barang di blok rekomendasi.
2. Analis atau orang yang bertanggung jawab atas pengumpulan data merancang sistem metrik untuk dilacak di situs.
3. Orang tersebut menyiapkan Google Analytics dan Google Pengelola Tag.
4. Yang satu mengirimkan kerangka acuan untuk diimplementasikan oleh pengembang.
5. Setelah pengembang menerapkan metrik dan menyiapkan pengumpulan data, analis bekerja dengan laporan.

Pada hampir semua tahapan ini, sangat penting untuk memeriksa data Anda. Anda perlu menguji dokumentasi teknis, setelan Google Analytics dan Google Pengelola Tag dan, tentu saja, kualitas data yang dikumpulkan di situs atau aplikasi seluler Anda.

Sebelum Anda masuk ke setiap langkah, mari kita lihat beberapa persyaratan untuk pengujian data:

• Anda tidak dapat menguji tanpa alat. Minimal, Anda harus bekerja dengan konsol pengembang di browser.
• Tidak ada hasil abstrak yang diharapkan. Anda perlu tahu persis apa yang Anda harus berakhir dengan. Kami selalu memiliki serangkaian parameter tertentu yang perlu kami kumpulkan untuk setiap interaksi pengguna dengan sebuah situs. Dan kami tahu nilai yang harus diambil oleh parameter ini.
• Diperlukan pengetahuan khusus. Minimal, Anda harus terbiasa dengan dokumentasi untuk alat analisis web yang Anda gunakan, praktik, dan pengalaman pelaku pasar.

Seperti yang telah kami sebutkan, akan lebih mudah untuk memperbaiki kesalahan jika Anda mengetahuinya dalam spesifikasi. Oleh karena itu, pengecekan dokumentasi dimulai jauh sebelum pengumpulan data. Mari cari tahu mengapa kami perlu memeriksa dokumentasi Anda.

Tujuan dokumentasi pengujian:

• Perbaiki kesalahan dengan sedikit usaha. Kesalahan dalam dokumentasi hanyalah kesalahan dalam teks tertulis, jadi yang harus Anda lakukan hanyalah mengedit dengan cepat.
• Cegah kebutuhan akan perubahan di masa mendatang yang dapat memengaruhi arsitektur situs/aplikasi.
• Lindungi reputasi analis. Instrumen dengan kesalahan dalam pengembangan dapat mempertanyakan kompetensi orang yang menyusunnya.

Kesalahan paling umum dalam spesifikasi:

1. salah ketik. Pengembang dapat menyalin nama parameter tanpa membacanya. Ini bukan tentang kesalahan tata bahasa atau ejaan, melainkan tentang nama parameter atau nilai yang salah yang dimiliki parameter ini.
2. Mengabaikan bidang saat melacak peristiwa. Misalnya, pesan kesalahan mungkin diabaikan jika formulir tidak berhasil dikirim.
3. Nama bidang tidak valid dan tidak cocok dengan skema e-niaga yang disempurnakan. Menerapkan e-niaga yang disempurnakan dengan variabel dataLayer memerlukan dokumentasi yang jelas. Oleh karena itu, lebih baik untuk memeriksa semua bidang dua kali saat menyusun spesifikasi Anda.
4. Anda tidak memiliki dukungan mata uang untuk situs multi-mata uang. Masalah ini relevan dengan semua laporan terkait pendapatan.
5. Batas hit tidak diperhitungkan. Misalnya, katakanlah ada hingga 30 produk berbeda di halaman katalog. Jika kami mentransfer informasi tentang tampilan secara bersamaan untuk semua produk, kemungkinan klik di Google Analytics tidak akan ditransfer.

Langkah selanjutnya setelah Anda memeriksa dokumentasi teknis adalah memeriksa setelan Google Analytics dan Google Pengelola Tag.

Mengapa menguji setelan Google Analytics dan Google Tag Manager?

• Pastikan bahwa parameter diproses dengan benar oleh sistem pengumpulan data. Google Analytics dan Google Pengelola Tag dapat dikonfigurasi secara paralel dengan penerapan metrik di situs Anda. Dan sampai analis selesai, data tidak akan muncul di Google Analytics.
• Permudah pengujian metrik yang disematkan di situs. Anda hanya perlu berkonsentrasi pada sebagian pekerjaan pengembang. Pada tahap akhir X, Anda harus mencari penyebab kesalahan langsung di situs, bukan di pengaturan platform.
• Biaya perbaikan rendah karena tidak perlu melibatkan pengembang.

Kesalahan paling umum di Google Analytics:

1. Variabel khusus tidak dibuat. Ini sangat relevan untuk akun Google Analytics 360, yang dapat memiliki hingga 200 metrik dan 200 parameter. Dalam hal ini, sangat mudah untuk melewatkan satu.
2. Cakupan akses yang ditentukan tidak valid. Anda tidak akan dapat mengetahui kesalahan ini selama fase peninjauan dataLayer atau dengan meninjau klik yang Anda kirim, namun saat membuat laporan, Anda akan melihat bahwa data tidak terlihat seperti yang diharapkan.
3. Anda mendapatkan duplikat dari parameter yang ada. Kesalahan ini tidak memengaruhi data yang dikirim, tetapi dapat menyebabkan masalah saat memeriksa dan membuat laporan.

Kesalahan paling umum di Google Pengelola Tag:

1. Tidak ada parameter yang ditambahkan, seperti ke tag Universal Analytics atau variabel Setelan Google Analytics.
2. Indeks dalam tag tidak cocok dengan parameter di Google Analytics, sehingga menimbulkan risiko bahwa nilai akan diteruskan ke parameter yang salah. Misalnya, Anda menentukan indeks parameter jumlah pengguna di GTM untuk parameter peringkat item. Kesalahan ini kemungkinan akan segera ditemukan saat membuat laporan, tetapi Anda tidak lagi dapat memengaruhi data yang dikumpulkan.
3. Nama variabel yang ditentukan di dataLayer tidak valid. Saat Anda membuat dataLayer, pastikan untuk menentukan dengan nama mana variabel akan ditemukan dalam larik dataLayer. Jika Anda mengetik atau menulis nilai lain, variabel ini tidak akan pernah dibaca dari dataLayer.
4. Pelacakan e-niaga yang disempurnakan tidak diaktifkan.
5. Pemicu mulai tidak dikonfigurasi dengan benar. Misalnya, ekspresi reguler untuk memicu X ditulis dengan tidak benar atau ada kesalahan dalam nama peristiwa.

Tahap pengujian terakhir adalah pengujian langsung di situs. Tahap ini membutuhkan lebih banyak pengetahuan teknis karena Anda harus melihat kodenya, memeriksa cara penampung dipasang, dan membaca log. Jadi, Anda harus cerdas dan menggunakan alat yang tepat.

Mengapa menguji metrik yang disematkan?

• Periksa apakah yang diterapkan sesuai dengan spesifikasi dan catat kesalahan apa pun.
• Periksa apakah nilai yang akan dikirim sudah memadai. Verifikasi bahwa parameter mentransmisikan nilai yang akan ditransmisikan. Misalnya, kategori barang tidak melewati namanya.
• Berikan umpan balik kepada pengembang tentang kualitas implementasi. Berdasarkan umpan balik ini, pengembang dapat membuat perubahan pada situs.

Kesalahan paling umum:

1. Tidak semua skenario tercakup. Misalnya, katakanlah sebuah item dapat ditambahkan ke keranjang di halaman produk, katalog, promo, atau master — yaitu, di mana pun ada tautan ke item tersebut. Dengan begitu banyak titik masuk, Anda bisa melewatkan sesuatu.
2. Tugas tidak diterapkan di semua halaman. Artinya, untuk beberapa halaman atau beberapa partisi/direktori, data tidak dikumpulkan sama sekali atau hanya sebagian dikumpulkan. Untuk mencegah situasi seperti itu, kita dapat membuat daftar periksa. Dalam beberapa kasus, kita dapat memiliki sebanyak 100 pemeriksaan untuk satu fungsi.
3. Tidak semua parameter diimplementasikan; yaitu, dataLayer hanya diimplementasikan sebagian.
4. Skema dataLayer untuk e-niaga yang disempurnakan rusak. Hal ini terutama berlaku untuk acara seperti menambahkan item ke troli, berpindah antar langkah checkout, dan mengklik item. Salah satu kesalahan paling umum dalam menerapkan e-niaga yang disempurnakan adalah tidak adanya tanda kurung siku pada larik Produk .
5. DataLayer menggunakan string kosong alih-alih null atau tidak terdefinisi untuk nol parameter. Dalam hal ini, laporan Google Analytics berisi baris kosong. Jika Anda menggunakan null atau undefined, opsi ini bahkan tidak akan disertakan dalam klik yang Anda kirim.

Alat yang kami gunakan untuk menguji data:

• Ekstensi Chrome Google Analytics Debugger
• GTM Debugger, yang dapat Anda gunakan untuk mengaktifkan mode pratinjau di Google Pengelola Tag
• Perintah dataLayer di konsol pengembang
• Tab Jaringan di konsol pengembang
• Ekstensi Chrome Google Tag Assistant

Mari kita lihat lebih dekat alat-alat ini.

Untuk memulai, Anda perlu menginstal ekstensi ini di browser Anda dan mengaktifkannya. Kemudian buka ID halaman dan buka tab Konsol. Informasi yang Anda lihat disediakan oleh ekstensi.

Layar ini menunjukkan parameter yang ditransmisikan dengan klik dan nilai yang ditransmisikan untuk parameter tersebut:

Ada juga blok e-niaga yang diperluas. Anda dapat menemukannya di konsol sebagai ec :

Selain itu, pesan kesalahan ditampilkan di sini, seperti melebihi batas ukuran klik.

Jika Anda perlu memeriksa komposisi dataLayer, cara termudah untuk melakukannya adalah dengan mengetikkan perintah dataLayer di konsol:

Berikut adalah semua parameter yang ditransmisikan. Anda dapat mempelajarinya secara mendetail dan memverifikasinya. Setiap tindakan di situs tercermin dalam dataLayer. Katakanlah Anda memiliki tujuh objek. Jika Anda mengklik bidang kosong dan memanggil perintah dataLayer lagi, objek kedelapan akan muncul di konsol.

Untuk mengakses Google Tag Manager Debugger, buka akun Google Tag Manager Anda dan klik tombol Pratinjau :

Kemudian buka situs Anda dan segarkan halaman. Di panel bawah, sebuah panel akan muncul yang menunjukkan semua tag yang berjalan di halaman itu.

Peristiwa yang ditambahkan ke dataLayer ditampilkan di sebelah kiri. Dengan mengkliknya, Anda dapat memeriksa komposisi dataLayer secara real-time.

Fitur pengujian browser seluler:

• Di ponsel cerdas dan tablet, situs dapat diluncurkan dalam mode adaptif atau mungkin ada versi situs seluler yang terpisah. Jika Anda menjalankan versi seluler situs di desktop, itu akan berbeda dari versi yang sama di ponsel Anda.
• Secara umum, ekstensi tidak dapat dipasang di browser seluler.
• Untuk mengimbanginya, Anda harus mengaktifkan mode Debug di tag Universal Analytics atau di kode pelacakan Google Analytics di situs.

Fitur pengujian aplikasi seluler:

• Bekerja dengan kode aplikasi membutuhkan lebih banyak pengetahuan teknis.
• Anda memerlukan server proxy lokal untuk mencegat hit. Untuk melacak jumlah permintaan yang dikirim perangkat, Anda dapat memfilter permintaan berdasarkan nama aplikasi atau host tujuan pengirimannya.
• Semua klik dikumpulkan dalam format Measurement Protocol dan memerlukan pemrosesan tambahan. Setelah klik dikumpulkan dan difilter, klik tersebut harus disalin dan diuraikan ke dalam parameter. Anda dapat menggunakan alat yang mudah digunakan untuk melakukan ini: Hit Builder, formula di Google Sheets, atau aplikasi JavaScript atau Python. Itu semua tergantung pada apa yang lebih nyaman bagi Anda. Selain itu, Anda memerlukan pengetahuan tentang parameter Measurement Protocol untuk mengidentifikasi kesalahan dalam klik yang dikirim.

1. Hubungkan perangkat seluler Anda ke laptop Anda melalui USB.
2. Buka Google Chrome di perangkat Anda.
3. Di konsol pengembang Chrome, buka laporan Perangkat Jarak Jauh:

1. Konfirmasikan koneksi ke perangkat Anda dengan mengklik Ok di kotak dialog. Kemudian pilih tab yang ingin Anda periksa dan klik Inspect .
2. Sekarang Anda dapat bekerja dengan konsol pengembang dalam mode standar, seperti di browser. Anda akan memiliki semua tab yang sudah dikenal: Konsol, Jaringan, dan lainnya.

1. Untuk bekerja dengan aplikasi seluler, Anda harus menginstal dan menjalankan server proxy. Kami merekomendasikan Charles.
2. Setelah server proxy Anda diinstal, periksa alamat IP mana yang terhubung dengan aplikasi:

3. Kemudian ambil perangkat Anda dan konfigurasikan koneksi Wi-Fi melalui server proxy menggunakan port 8888. Ini adalah port yang digunakan Charles secara default.

4. Setelah itu, saatnya mengumpulkan hits. Perhatikan bahwa dalam aplikasi, klik tidak dikirim untuk dikumpulkan tetapi ke batch. Batch adalah paket permintaan yang membantu Anda mengirim banyak permintaan. Pertama, menghemat sumber daya aplikasi. Kedua, jika ada masalah jaringan, permintaan akan disimpan dalam aplikasi dan satu kumpulan umum akan dikirim segera setelah koneksi jaringan dibangun kembali.

5. Akhirnya, data yang dikumpulkan harus diuraikan (dibongkar) menjadi parameter, diperiksa secara berurutan, dan diperiksa sesuai spesifikasi.

Langkah ini adalah yang tercepat dan termudah. Pada saat yang sama, ini memastikan data yang dikumpulkan di Google Analytics masuk akal. Dalam laporan Anda, Anda dapat memeriksa ratusan skenario yang berbeda dan melihat indikator tergantung pada perangkat, browser, dll. Jika Anda menemukan anomali dalam data, Anda dapat memutar skrip di perangkat tertentu dan di browser tertentu.

Anda juga dapat menggunakan laporan Google Analytics untuk memeriksa kelengkapan data yang ditransfer ke dataLayer. Artinya, tergantung pada masing-masing skenario, variabel diisi, apakah ada semua parameter di dalamnya, apakah parameter mengambil nilai yang benar, dll.

Kami ingin membagikan laporan yang paling berguna (menurut kami). Anda dapat menggunakannya sebagai daftar periksa pengumpulan data:

• Laporan e-niaga:
  • Kinerja Produk
  • Kinerja Daftar Produk
  • Promosi Internal
• Perilaku — Acara — Acara teratas
• Akuisisi — Kampanye — Analisis Biaya
• Laporan khusus — Misalnya, laporan yang menunjukkan pesanan duplikat

Mari kita lihat seperti apa tampilan laporan ini di antarmuka dan laporan mana yang perlu Anda perhatikan terlebih dahulu.

Tab paling berharga dalam laporan ini adalah Perilaku Belanja. Ini menganalisis kelengkapan pengumpulan data di setiap tahap e-niaga yang disempurnakan. Artinya, kita dapat melihat apakah Google Analytics mentransfer tampilan daftar produk, klik, tampilan detail produk, penambahan/penghapusan produk ke/dari keranjang, dan pembelian itu sendiri.

Apa yang harus kita perhatikan di sini? Pertama, sangat aneh jika Anda memiliki nilai nol di salah satu kolom. Kedua, jika Anda memiliki lebih banyak nilai pada tahap tertentu daripada tahap sebelumnya, kemungkinan besar Anda akan mengalami masalah dalam mengumpulkan data. Misalnya, katakanlah jumlah pembelian unik suatu item lebih besar daripada jumlah checkout. Itu aneh dan perlu diperhatikan.

Anda juga dapat beralih di antara parameter lain dalam laporan ini, yang juga harus dikirim ke Enhanced E-commerce. Misalnya, jika Anda memilih Kategori Barang sebagai opsi utama, Anda mungkin melihat ada penjualan untuk kategori barang tertentu tetapi tidak ada tampilan untuk barang tersebut, tidak ada penambahan ke troli, dll.

Pertama-tama, Anda perlu menelusuri semua parameter yang dikirimkan ke Google Analytics dan melihat nilai yang diambil setiap parameter. Biasanya langsung jelas apakah semuanya baik-baik saja. Analisis lebih rinci untuk setiap peristiwa dapat dilakukan dalam laporan khusus.

Laporan standar lain yang dapat berguna untuk memeriksa pengimporan data pengeluaran ke Google Analytics adalah Analisis Biaya.

Kami sering melihat laporan di mana ada pengeluaran untuk beberapa sumber atau kampanye iklan tetapi tidak ada sesi. Ini dapat disebabkan oleh masalah atau kesalahan pada tag UTM. Atau, filter di Google Analytics dapat mengecualikan sesi dari sumber tertentu. Laporan-laporan ini perlu diperiksa dari waktu ke waktu.

Kami ingin menyoroti laporan khusus yang memungkinkan Anda melacak transaksi duplikat. Sangat mudah untuk menyiapkannya: parameter harus berupa ID transaksi dan dimensi kunci harus berupa transaksi.

Perhatikan bahwa bila ada lebih dari satu transaksi dalam laporan, ini berarti informasi tentang pesanan yang sama dikirim lebih dari sekali.

Jika Anda menemukan masalah serupa, baca petunjuk terperinci ini tentang cara memperbaikinya.

Google Analytics memiliki alat Peringatan Khusus yang sangat bagus yang memungkinkan Anda melacak perubahan penting tanpa melihat laporan. Misalnya, jika Anda berhenti mengumpulkan informasi tentang sesi Google Analytics, Anda dapat menerima pemberitahuan email.

Sebaiknya Anda menyiapkan notifikasi untuk setidaknya empat metrik berikut:

• Jumlah sesi
• Tingkat bouncing
• Pendapatan
• Jumlah transaksi

Dalam pengalaman kami, ini adalah tugas yang paling sulit dan memakan waktu — garis sempit di mana kesalahan adalah yang paling umum.

Untuk menghindari masalah dengan implementasi dataLayer, pemeriksaan harus dilakukan setidaknya seminggu sekali. Secara umum, frekuensi harus bergantung pada seberapa sering Anda menerapkan perubahan di situs. Idealnya, Anda perlu menguji dataLayer setelah setiap perubahan signifikan. Ini memakan waktu untuk melakukan ini secara manual, jadi kami memutuskan untuk mengotomatisasi proses.

Untuk mengotomatiskan pengujian, kami telah membangun solusi berbasis cloud yang memungkinkan kami untuk:

• Periksa apakah variabel dataLayer di situs cocok dengan nilai referensi
• Periksa ketersediaan dan fungsi kode Google Pengelola Tag
• Periksa apakah data dikirim ke Google Analytics dan OWOX BI
• Kumpulkan laporan kesalahan di Google BigQuery

Keuntungan dari otomatisasi pengujian:

• Secara signifikan meningkatkan kecepatan pengujian. Dalam pengalaman kami, Anda dapat menguji ribuan halaman dalam beberapa jam.
• Dapatkan hasil yang lebih akurat, karena faktor manusia dikecualikan.
• Turunkan biaya pengujian, karena Anda membutuhkan lebih sedikit spesialis.
• Tingkatkan frekuensi pengujian, karena Anda dapat menjalankan pengujian setelah setiap perubahan pada situs.

Skema algoritma yang disederhanakan yang kami gunakan:

Saat Anda masuk ke aplikasi kami, Anda perlu menentukan halaman yang ingin Anda verifikasi. Anda dapat melakukannya dengan mengunggah file CSV, menentukan tautan ke peta situs, atau cukup menentukan URL situs, dalam hal ini aplikasi akan menemukan peta situs itu sendiri.

Maka penting untuk menentukan skema dataLayer untuk setiap skenario yang akan diuji: halaman, peristiwa, skrip (urutan tindakan, seperti untuk checkout). Kemudian Anda dapat menggunakan ekspresi reguler untuk menentukan bahwa jenis halaman cocok dengan URL.

Setelah menerima semua informasi ini, aplikasi kami menjalankan semua halaman dan acara sesuai jadwal, memeriksa setiap skrip, dan mengunggah hasil pengujian ke Google BigQuery. Berdasarkan data ini, kami menyiapkan email dan notifikasi Slack.

PS Jika Anda memerlukan audit situs web lengkap, Anda dapat meminta layanan konsultasi dari OWOX BI. Mendaftar untuk demo dan kami akan mendiskusikan kemungkinannya.