Struktur data BigQuery di Google: Cara memulai penyimpanan cloud

Google BigQuery adalah layanan penyimpanan cloud yang memungkinkan Anda mengumpulkan semua data dalam satu sistem dan menganalisisnya dengan mudah menggunakan kueri SQL. Agar data nyaman digunakan, data harus terstruktur dengan benar. Dalam artikel ini, kami akan menjelaskan cara membuat tabel dan set data untuk diupload ke Google BigQuery.

Untuk menggunakan Google BigQuery, Anda perlu membuat project di Google Cloud Platform (GCP). Setelah mendaftar, Anda akan menerima akses ke semua produk Cloud Platform selama periode uji coba gratis dan $300 untuk dibelanjakan pada produk ini dalam 12 bulan ke depan.

Setelah membuat project di Google Cloud Platform, Anda perlu menambahkan setidaknya satu set data ke Google BigQuery.

Kumpulan data adalah penampung tingkat atas yang digunakan untuk mengatur dan mengontrol akses ke data Anda. Secara sederhana, ini adalah semacam folder tempat informasi Anda disimpan dalam bentuk tabel dan tampilan.

Buka project Anda di GCP, buka tab BigQuery , dan klik Buat Set Data :

Di jendela yang terbuka, tentukan nama untuk kumpulan data dan umur simpan tabel. Jika Anda ingin tabel dengan data dihapus secara otomatis, tentukan kapan tepatnya. Atau biarkan opsi Perpetual default sehingga tabel hanya dapat dihapus secara manual.

Bidang situs Pemrosesan bersifat opsional. Secara default, ini disetel ke multiregion AS. Anda dapat menemukan informasi selengkapnya tentang wilayah untuk menyimpan data di bagian bantuan.

Setelah membuat kumpulan data, Anda perlu menambahkan tabel tempat data akan dikumpulkan. Tabel adalah kumpulan baris. Setiap baris terdiri dari kolom, yang juga disebut bidang. Ada beberapa cara untuk membuat tabel di BigQuery bergantung pada sumber datanya:

• Buat tabel kosong secara manual dan siapkan skema datanya
• Buat tabel menggunakan hasil kueri SQL yang dihitung sebelumnya
• Unggah file dari komputer Anda (dalam format CSV, AVRO, JSON, Parket, ORC, atau Google Spreadsheet)
• Alih-alih mengunduh atau mengalirkan data, Anda dapat membuat tabel yang merujuk ke sumber eksternal: Cloud Bigtable, Cloud Storage, atau Google Drive.

Pada artikel ini, kita akan melihat lebih dekat metode pertama: membuat tabel secara manual.

Langkah 1 . Pilih kumpulan data yang ingin Anda tambahkan tabelnya, lalu klik Buat Tabel :

Langkah 2. Di bidang Sumber, pilih Tabel Kosong , dan di bidang Jenis Tabel , pilih Tabel dalam format asli objek target. Datang dengan nama untuk meja.

Penting : Nama kumpulan data, tabel, dan bidang harus dalam karakter Latin dan hanya berisi huruf, angka, dan garis bawah.

Langkah 3 . Tentukan skema tabel. Skema terdiri dari empat komponen: dua wajib (nama kolom dan tipe data) dan dua opsional (mode kolom dan deskripsi). Jenis dan mode bidang yang dipilih dengan benar akan memudahkan pekerjaan dengan data.

Contoh skema di BigQuery:

Nama kolom
Dalam nama kolom, Anda perlu menentukan parameter yang menjadi tanggung jawab setiap kolom: tanggal, user_id, produk, dll. Judul hanya boleh berisi huruf Latin, angka, dan garis bawah (maksimum 128 karakter). Nama bidang yang identik tidak diperbolehkan, meskipun kasusnya berbeda.

Tipe data
Saat membuat tabel di BigQuery, Anda dapat menggunakan jenis kolom berikut:

Mode
BigQuery mendukung mode berikut untuk kolom tabel:

Catatan : Kolom Mode tidak perlu diisi. Jika tidak ada mode yang ditentukan, kolom default adalah NULLABLE.

Deskripsi kolom
Jika diinginkan, Anda dapat menambahkan deskripsi singkat (tidak lebih dari 1024 karakter) untuk setiap kolom dalam tabel untuk menjelaskan arti parameter tertentu.

Saat membuat tabel kosong di BigQuery, Anda perlu menetapkan skema secara manual. Ini dapat dilakukan dengan dua cara:
1. Klik tombol Add field dan isikan nama, jenis, dan mode untuk setiap kolom.

2. Masukkan skema tabel sebagai larik JSON menggunakan sakelar Edit sebagai teks .

Selain itu, Google BigQuery dapat menggunakan deteksi skema otomatis saat memuat data dari file CSV dan JSON.

Opsi ini bekerja berdasarkan prinsip berikut: BigQuery memilih file acak dari sumber yang Anda tentukan, memindai hingga 100 baris data di dalamnya, dan menggunakan hasilnya sebagai sampel yang representatif. Itu kemudian memeriksa setiap bidang dalam file yang diunggah dan mencoba menetapkan tipe data ke dalamnya berdasarkan nilai dalam sampel.

Saat memuat file Google, BigQuery dapat mengubah nama kolom agar kompatibel dengan sintaks SQL-nya sendiri. Oleh karena itu, kami menyarankan Anda mengunggah tabel dengan nama bidang bahasa Inggris; jika namanya dalam bahasa Rusia, misalnya, sistem akan mengganti namanya secara otomatis. Sebagai contoh:

Jika, saat memuat data, nama kolom yang dimasukkan salah atau Anda ingin mengubah nama dan tipe kolom dalam tabel yang sudah ada, Anda bisa melakukannya secara manual. Kami akan memberi tahu Anda caranya.

Setelah memuat data ke Google BigQuery, tata letak tabel mungkin sedikit berbeda dari aslinya. Misalnya, nama kolom mungkin telah berubah karena karakter yang tidak didukung di BigQuery, atau jenis kolom mungkin INTEGER, bukan STRING. Dalam hal ini, Anda dapat menyesuaikan skema secara manual.

Menggunakan kueri SQL, pilih semua kolom dalam tabel dan tentukan nama baru untuk kolom yang ingin Anda ganti namanya. Dalam hal ini, Anda dapat menimpa tabel yang sudah ada atau membuat yang baru. Contoh permintaan:

Menggunakan kueri SQL, pilih semua data dari tabel dan konversikan kolom yang sesuai ke tipe data yang berbeda. Anda dapat menggunakan hasil kueri untuk menimpa tabel yang sudah ada atau membuat tabel baru. Contoh permintaan:

Anda dapat mengubah mode kolom dari REQUIRED ke NULLABLE seperti yang dijelaskan dalam dokumentasi bantuan. Opsi kedua adalah mengekspor data ke Cloud Storage dan dari sana mengembalikannya ke BigQuery dengan mode yang benar untuk semua kolom.

Gunakan kueri SELECT * EXCEPT untuk mengecualikan kolom (atau kolom), lalu tulis hasil kueri ke tabel lama atau buat yang baru. Contoh permintaan:

Selain itu, ada cara kedua untuk mengubah skema yang sesuai untuk semua tugas yang dijelaskan di atas: mengekspor data dan memuatnya ke tabel baru. Untuk mengganti nama kolom, Anda dapat mengupload data dari BigQuery ke Cloud Storage, lalu mengekspornya dari Cloud Storage ke BigQuery di tabel baru atau menimpa data di tabel lama menggunakan Parameter Lanjutan:

Anda dapat membaca tentang cara lain untuk mengubah struktur tabel di dokumentasi bantuan Google Cloud Platform.

Anda dapat mendownload data dari dan mengupload data ke BigQuery tanpa bantuan developer melalui antarmuka atau add-on khusus dari OWOX BI. Mari kita pertimbangkan setiap metode secara rinci.

Untuk mengunggah informasi yang diperlukan ke penyimpanan – misalnya, data tentang pengguna dan pesanan offline – buka set data Anda, klik Buat Tabel, dan pilih sumber data: Cloud Storage, komputer Anda, Google Drive, atau Cloud Bigtable. Tentukan jalur ke file, formatnya, dan nama tabel tempat data akan dimuat:

Setelah Anda mengklik Create Table, sebuah tabel akan muncul di dataset Anda.

Anda juga dapat mengupload data yang diproses dari BigQuery – misalnya, untuk membuat laporan melalui antarmuka sistem. Untuk melakukan ini, buka tabel yang diinginkan dengan data dan klik tombol Ekspor:

Sistem akan menawarkan dua opsi: melihat data di Google Data Studio atau mengunggahnya ke Google Cloud Storage. Jika memilih opsi pertama, Anda akan langsung membuka Data Studio, tempat Anda dapat menyimpan laporan.

Memilih untuk mengekspor ke Google Cloud Storage akan membuka jendela baru. Di dalamnya, Anda perlu menentukan di mana menyimpan data dan dalam format apa.

Add-on OWOX BI BigQuery Reports gratis memungkinkan Anda mentransfer data dengan cepat dan mudah langsung dari Google BigQuery ke Google Spreadsheet dan sebaliknya. Dengan demikian, Anda tidak perlu menyiapkan file CSV atau menggunakan layanan pihak ketiga berbayar.

Misalnya, Anda ingin mengupload data pesanan offline ke BigQuery untuk membuat laporan ROPO. Untuk ini, Anda perlu:

1. Instal add-on Laporan BigQuery di browser Anda.
2. Buka file data Anda di Google Spreadsheet dan di tab Add-on , pilih Laporan BigQuery BI OWOX → Unggah data ke BigQuery.
3. Di jendela yang terbuka, pilih project dan set data Anda di BigQuery, lalu masukkan nama tabel yang diinginkan. Juga, pilih bidang yang nilainya ingin Anda muat. Secara default, jenis semua bidang adalah STRING, tetapi sebaiknya pilih jenis data sesuai dengan konteksnya (misalnya, untuk bidang dengan pengidentifikasi numerik, pilih INTEGER; untuk harga, FLOAT):
   

4. Klik tombol Mulai Unggah dan data Anda akan dimuat ke Google BigQuery​

Anda juga dapat menggunakan add-on ini untuk mengekspor data dari BigQuery ke Google Spreadsheet – misalnya, untuk memvisualisasikan data atau membagikannya dengan rekan kerja yang tidak memiliki akses ke BigQuery. Untuk ini:

1. Buka Google Spreadsheet. Di tab Add-on , pilih OWOX BI BigQuery Reports → Tambahkan laporan baru:
   

2. Kemudian masukkan proyek Anda di Google BigQuery dan pilih Tambahkan kueri baru.
3. Di jendela baru, masukkan kueri SQL Anda. Ini bisa berupa kueri yang mengupload data dari tabel ke BigQuery atau kueri yang menarik dan menghitung data yang diperlukan.
4. Ganti nama kueri agar mudah ditemukan dan diluncurkan dengan mengeklik tombol Simpan & Jalankan.
   

Untuk mengupload data dari BigQuery ke Google Spreadsheet secara rutin, Anda dapat mengaktifkan update data terjadwal:

1. Di tab Add-on , pilih OWOX BI BigQuery Reports → Jadwalkan laporan :
   

2. Di jendela yang terbuka, atur waktu dan frekuensi untuk pembaruan laporan dan klik Simpan :
   

Jika Anda belum memahami manfaat penyimpanan cloud Google BigQuery, kami sarankan untuk mencobanya. Dengan bantuan OWOX BI, Anda dapat menggabungkan data dari situs web, sumber iklan, dan sistem CRM internal ke dalam BigQuery untuk:

• Siapkan analitik ujung-ke-ujung dan temukan pengembalian nyata dari pemasaran Anda, dengan mempertimbangkan pesanan offline, pengembalian, dan semua langkah pengguna dalam perjalanan menuju pembelian;
• Buat laporan tentang data lengkap tanpa sampel dengan parameter dan indikator apa pun;
• Mengevaluasi saluran akuisisi pelanggan menggunakan analisis kohort;
• Cari tahu bagaimana iklan online Anda memengaruhi penjualan offline;
• Kurangi bagian biaya iklan, perpanjang siklus hidup pelanggan, dan tingkatkan LTV basis pelanggan Anda secara keseluruhan;
• Segmentasikan pelanggan berdasarkan aktivitas mereka dan personalisasikan komunikasi dengan mereka.

OWOX BI memiliki masa percobaan gratis di mana Anda dapat mencoba semua fitur layanan.