Google'da BigQuery veri yapısı: Bulut depolamaya nasıl başlanır?

Google BigQuery, tüm verilerinizi tek bir sistemde toplamanıza ve SQL sorguları kullanarak kolayca analiz etmenize olanak tanıyan bir bulut depolama hizmetidir. Verilerin çalışmaya uygun olması için doğru yapılandırılması gerekir. Bu makalede, Google BigQuery'ye yüklemek için tabloların ve veri kümelerinin nasıl oluşturulacağını açıklayacağız.

Google BigQuery'yi kullanmak için Google Cloud Platform'da (GCP) bir proje oluşturmanız gerekir. Kaydolduktan sonra, ücretsiz deneme süresi boyunca tüm Bulut Platformu ürünlerine erişim ve önümüzdeki 12 ay içinde bu ürünlere harcayabileceğiniz 300 ABD doları alacaksınız.

Google Cloud Platform'da proje oluşturduktan sonra Google BigQuery'ye en az bir veri kümesi eklemeniz gerekir.

Veri kümesi, verilerinize erişimi düzenlemek ve denetlemek için kullanılan üst düzey bir kapsayıcıdır. Basit bir ifadeyle, bilgilerinizin tablolar ve görünümler şeklinde saklandığı bir tür klasördür.

Projenizi GCP'de açın, BigQuery sekmesine gidin ve Veri Kümesi Oluştur 'u tıklayın:

Açılan pencerede, veri kümesi için bir ad ve bir tablonun raf ömrü belirtin. Veri içeren tabloların otomatik olarak silinmesini istiyorsanız tam olarak ne zaman olduğunu belirtin. Veya tabloların yalnızca manuel olarak silinebilmesi için varsayılan Sürekli seçeneğini bırakın.

İşleme sitesi alanı isteğe bağlıdır. Varsayılan olarak, ABD çoklu bölge olarak ayarlanmıştır. Yardım bölümünde veri depolamak için bölgeler hakkında daha fazla bilgi bulabilirsiniz.

Veri kümesi oluşturduktan sonra verilerin toplanacağı bir tablo eklemeniz gerekir. Tablo, bir dizi satırdır. Her satır, alan olarak da adlandırılan sütunlardan oluşur. Veri kaynağına bağlı olarak BigQuery'de tablo oluşturmanın birkaç yolu vardır:

• Manuel olarak boş bir tablo oluşturun ve bunun için bir veri şeması oluşturun
• Önceden hesaplanmış bir SQL sorgusunun sonucunu kullanarak bir tablo oluşturun
• Bilgisayarınızdan bir dosya yükleyin (CSV, AVRO, JSON, Parquet, ORC veya Google Sheets biçiminde)
• Verileri indirmek veya akışa almak yerine, harici bir kaynağa atıfta bulunan bir tablo oluşturabilirsiniz: Cloud Bigtable, Cloud Storage veya Google Drive.

Bu makalede, ilk yönteme daha yakından bakacağız: manuel olarak tablo oluşturma.

Adım 1 . Tabloyu eklemek istediğiniz veri kümesini seçin ve ardından Tablo Oluştur 'u tıklayın:

Adım 2. Kaynak alanında, Boş Tablo öğesini seçin ve Tablo Türü alanında, hedef nesnenin yerel biçiminde Tablo öğesini seçin. Tablo için bir isim bulun.

Önemli : Veri kümelerinin, tabloların ve alanların adları Latin karakterlerinde olmalı ve yalnızca harf, sayı ve alt çizgi içermelidir.

Adım 3 . Tablo şemasını belirtin. Şema dört bileşenden oluşur: iki zorunlu (sütun adı ve veri türü) ve iki isteğe bağlı (sütun modu ve açıklaması). Doğru seçilmiş tipler ve saha modları, verilerle çalışmayı kolaylaştıracaktır.

BigQuery'deki örnek şema:

Sütun adları
Sütun adında, her sütunun sorumlu olduğu parametreyi belirtmeniz gerekir: tarih, user_id, ürünler, vb. Başlıklar yalnızca Latin harfleri, sayıları ve alt çizgileri içerebilir (en fazla 128 karakter). Durumları farklı olsa bile aynı alan adlarına izin verilmez.

veri türü
BigQuery'de tablo oluştururken aşağıdaki alan türlerini kullanabilirsiniz:

modlar
BigQuery, tablo sütunları için aşağıdaki modları destekler:

Not : Mod alanını doldurmanıza gerek yoktur. Mod belirtilmemişse, varsayılan sütun NULLABLE'dır.

Sütun açıklamaları
Dilerseniz, belirli bir parametrenin ne anlama geldiğini açıklamak için tablodaki her sütun için kısa bir açıklama (en fazla 1024 karakter) ekleyebilirsiniz.

BigQuery'de boş bir tablo oluşturduğunuzda şemayı manuel olarak ayarlamanız gerekir. Bu iki şekilde yapılabilir:
1. Alan ekle düğmesini tıklayın ve her sütun için adı, türü ve modu girin.

2. Metin olarak düzenle anahtarını kullanarak tablo şemasını JSON dizisi olarak girin.

Ayrıca Google BigQuery, CSV ve JSON dosyalarından veri yüklerken otomatik şema algılamayı kullanabilir.

Bu seçenek şu prensibe göre çalışır: BigQuery, belirttiğiniz kaynaktan rastgele bir dosya seçer, içindeki 100 satıra kadar veriyi tarar ve sonuçları temsili bir örnek olarak kullanır. Ardından yüklenen dosyadaki her alanı kontrol eder ve örnekteki değerlere göre ona bir veri türü atamaya çalışır.

Google dosyalarını yüklerken BigQuery, kendi SQL sözdizimiyle uyumlu hale getirmek için bir sütunun adını değiştirebilir. Bu nedenle, İngilizce alan adlarına sahip tablolar yüklemenizi öneririz; örneğin isimler Rusça ise, sistem onları otomatik olarak yeniden adlandıracaktır. Örneğin:

Veri yüklerken sütun adları yanlış girildiyse veya mevcut bir tablodaki sütunların adlarını ve türlerini değiştirmek istiyorsanız, bunu manuel olarak yapabilirsiniz. Size nasıl olduğunu söyleyeceğiz.

Google BigQuery'ye veri yükledikten sonra tablo düzeni orijinalden biraz farklı olabilir. Örneğin, BigQuery'de desteklenmeyen bir karakter nedeniyle bir alan adı değişmiş olabilir veya alan türü STRING yerine INTEGER olabilir. Bu durumda, şemayı manuel olarak ayarlayabilirsiniz.

Bir SQL sorgusu kullanarak tablodaki tüm sütunları seçin ve yeniden adlandırmak istediğiniz sütun için yeni bir ad belirtin. Bu durumda mevcut tablonun üzerine yazabilir veya yeni bir tane oluşturabilirsiniz. Örnek talep edin:

Bir SQL sorgusu kullanarak bir tablodan tüm verileri seçin ve ilgili sütunu farklı bir veri türüne dönüştürün. Mevcut bir tablonun üzerine yazmak veya yeni bir tane oluşturmak için sorgu sonuçlarını kullanabilirsiniz. Talep örneği:

Yardım belgelerinde açıklandığı gibi sütun modunu REQUIRED'den NULLABLE'a değiştirebilirsiniz. İkinci seçenek, verileri Cloud Storage'a aktarmak ve oradan tüm sütunlar için doğru modla BigQuery'ye döndürmektir.

Bir sütunu (veya sütunları) hariç tutmak için SELECT * EXCEPT sorgusunu kullanın, ardından sorgu sonuçlarını eski tabloya yazın veya yeni bir tane oluşturun. Talep örneği:

Ayrıca, yukarıda açıklanan tüm görevler için uygun olan şemayı değiştirmenin ikinci bir yolu daha vardır: verileri dışa aktarın ve yeni bir tabloya yükleyin. Bir sütunu yeniden adlandırmak için BigQuery'den Cloud Storage'a veri yükleyebilir, ardından yeni bir tabloda Cloud Storage'dan BigQuery'ye aktarabilir veya Gelişmiş Parametreleri kullanarak eski tablodaki verilerin üzerine yazabilirsiniz:

Tablo yapısını değiştirmenin diğer yollarını Google Cloud Platform yardım belgelerinde okuyabilirsiniz.

Arayüz veya OWOX BI'dan özel bir eklenti aracılığıyla geliştiricilerin yardımı olmadan BigQuery'den veri indirebilir ve BigQuery'ye veri yükleyebilirsiniz. Her yöntemi ayrıntılı olarak ele alalım.

Gerekli bilgileri (örneğin, kullanıcılar ve çevrimdışı siparişlerle ilgili veriler) depolamaya yüklemek için veri kümenizi açın, Tablo Oluştur'a tıklayın ve veri kaynağını seçin: Cloud Storage, bilgisayarınız, Google Drive veya Cloud Bigtable. Dosyanın yolunu, biçimini ve verilerin yükleneceği tablonun adını belirtin:

Tablo Oluştur'a tıkladıktan sonra, veri kümenizde bir tablo görünecektir.

BigQuery'den işlenmiş verileri yüklemek de mümkündür – örneğin, sistem arayüzü aracılığıyla bir rapor oluşturmak için. Bunu yapmak için, istenen tabloyu verilerle açın ve Dışa Aktar düğmesini tıklayın:

Sistem iki seçenek sunar: verileri Google Data Studio'da görüntüleyin veya Google Cloud Storage'a yükleyin. İlk seçeneği belirlerseniz, hemen raporu kaydedebileceğiniz Data Studio'ya gidersiniz.

Google Cloud Storage'a aktarmayı seçtiğinizde yeni bir pencere açılacaktır. İçinde, verilerin nereye ve hangi biçimde kaydedileceğini belirtmeniz gerekir.

Ücretsiz OWOX BI BigQuery Reports eklentisi, verileri doğrudan Google BigQuery'den Google E-Tablolar'a ve tam tersi şekilde hızlı ve kolay bir şekilde aktarmanıza olanak tanır. Böylece CSV dosyaları hazırlamanız veya ücretli üçüncü taraf hizmetleri kullanmanız gerekmez.

Örneğin, bir ROPO raporu oluşturmak için çevrimdışı sipariş verilerini BigQuery'ye yüklemek istediğinizi varsayalım. Bunun için yapmanız gerekenler:

1. Tarayıcınıza BigQuery Raporları eklentisini yükleyin.
2. Veri dosyanızı Google E-Tablolar'da açın ve Eklentiler sekmesinde OWOX BI BigQuery Raporları → Verileri BigQuery'ye yükle'yi seçin.
3. Açılan pencerede BigQuery'de projenizi ve veri kümenizi seçin ve tablo için istediğiniz adı girin. Ayrıca, değerlerini yüklemek istediğiniz alanları seçin. Varsayılan olarak, tüm alanların türü STRING'dir, ancak veri türünü bağlama göre seçmenizi öneririz (örneğin, sayısal tanımlayıcılara sahip alanlar için INTEGER'ı seçin; fiyatlar için FLOAT'ı seçin):
   

4. Yüklemeyi Başlat düğmesini tıklayın, verileriniz Google BigQuery'ye yüklenecektir​

Bu eklentiyi, verileri BigQuery'den Google E-Tablolar'a aktarmak için de kullanabilirsiniz; örneğin, verileri görselleştirmek veya BigQuery'ye erişimi olmayan iş arkadaşlarınızla paylaşmak için. Bunun için:

1. Google E-Tablolar'ı açın. Eklentiler sekmesinde, OWOX BI BigQuery Raporları → Yeni bir rapor ekle'yi seçin:
   

2. Ardından projenizi Google BigQuery'ye girin ve Yeni sorgu ekle'yi seçin.
3. Yeni pencerede SQL sorgunuzu ekleyin. Bu, bir tablodan BigQuery'ye veri yükleyen bir sorgu veya gerekli verileri çekip hesaplayan bir sorgu olabilir.
4. Kaydet ve Çalıştır düğmesini tıklatarak bulmayı ve başlatmayı kolaylaştırmak için sorguyu yeniden adlandırın.
   

BigQuery'den Google E-Tablolar'a düzenli olarak veri yüklemek için planlanmış veri güncellemelerini etkinleştirebilirsiniz:

1. Eklentiler sekmesinde, OWOX BI BigQuery Raporları → Rapor planla'yı seçin:
   

2. Açılan pencerede, rapor güncellemelerinin zamanını ve sıklığını ayarlayın ve Kaydet'e tıklayın :
   

Google BigQuery bulut depolamanın avantajlarını henüz takdir etmediyseniz, denemenizi öneririz. OWOX BI'nin yardımıyla web sitenizden, reklam kaynaklarınızdan ve dahili CRM sistemlerinden gelen verileri BigQuery'de birleştirip şunları yapabilirsiniz:

• Uçtan uca analizler kurun ve çevrimdışı siparişleri, iadeleri ve satın alma yolundaki tüm kullanıcı adımlarını dikkate alarak pazarlamanızın gerçek getirisini öğrenin;
• Herhangi bir parametre ve gösterge ile tam örneklenmemiş veriler hakkında raporlar oluşturun;
• Kohort analizini kullanarak müşteri edinme kanallarını değerlendirin;
• Çevrimiçi reklamlarınızın çevrimdışı satışları nasıl etkilediğini öğrenin;
• Reklam maliyetlerinin payını azaltın, müşterilerin yaşam döngüsünü uzatın ve bir bütün olarak müşteri tabanınızın YBD'sini artırın;
• Müşterileri faaliyetlerine göre segmentlere ayırın ve onlarla iletişimi kişiselleştirin.

OWOX BI, hizmetin tüm özelliklerini deneyebileceğiniz ücretsiz bir deneme süresine sahiptir.