BigQuery-Datenstruktur in Google: Erste Schritte mit Cloud-Speicher

Google BigQuery ist ein Cloud-Speicherdienst, mit dem Sie alle Ihre Daten in einem System sammeln und mithilfe von SQL-Abfragen einfach analysieren können. Damit Daten bequem verarbeitet werden können, sollten sie richtig strukturiert sein. In diesem Artikel erklären wir, wie Sie Tabellen und Datensätze zum Hochladen in Google BigQuery erstellen.

Um Google BigQuery zu verwenden, müssen Sie ein Projekt in der Google Cloud Platform (GCP) erstellen. Nach der Registrierung erhalten Sie während eines kostenlosen Testzeitraums Zugriff auf alle Cloud Platform-Produkte und 300 $, die Sie innerhalb der nächsten 12 Monate für diese Produkte ausgeben können.

Nachdem Sie ein Projekt in der Google Cloud Platform erstellt haben, müssen Sie mindestens ein Dataset zu Google BigQuery hinzufügen.

Ein Dataset ist ein Container der obersten Ebene, der verwendet wird, um den Zugriff auf Ihre Daten zu organisieren und zu steuern. Vereinfacht gesagt handelt es sich um eine Art Ordner, in dem Ihre Informationen in Form von Tabellen und Ansichten abgelegt sind.

Öffnen Sie Ihr Projekt in GCP, gehen Sie zum Tab BigQuery und klicken Sie auf Dataset erstellen :

Geben Sie im sich öffnenden Fenster einen Namen für den Datensatz und die Haltbarkeit einer Tabelle an. Wenn Sie möchten, dass Tabellen mit Daten automatisch gelöscht werden, geben Sie den genauen Zeitpunkt an. Oder belassen Sie die Standardoption Perpetual, sodass Tabellen nur manuell gelöscht werden können.

Das Feld Verarbeitungsstandort ist optional. Standardmäßig ist es auf US Multiregion eingestellt. Weitere Informationen zu Regionen zum Speichern von Daten finden Sie im Hilfebereich.

Nachdem Sie ein Dataset erstellt haben, müssen Sie eine Tabelle hinzufügen, in der Daten gesammelt werden. Eine Tabelle ist eine Menge von Zeilen. Jede Zeile besteht aus Spalten, die auch als Felder bezeichnet werden. Je nach Datenquelle gibt es mehrere Möglichkeiten, eine Tabelle in BigQuery zu erstellen:

• Erstellen Sie manuell eine leere Tabelle und richten Sie ein Datenschema dafür ein
• Erstellen Sie eine Tabelle mit dem Ergebnis einer zuvor berechneten SQL-Abfrage
• Laden Sie eine Datei von Ihrem Computer hoch (im CSV-, AVRO-, JSON-, Parquet-, ORC- oder Google Sheets-Format)
• Anstatt Daten herunterzuladen oder zu streamen, können Sie eine Tabelle erstellen, die auf eine externe Quelle verweist: Cloud Bigtable, Cloud Storage oder Google Drive.

In diesem Artikel sehen wir uns die erste Methode genauer an: das manuelle Erstellen einer Tabelle.

Schritt 1 . Wählen Sie den Datensatz aus, dem Sie die Tabelle hinzufügen möchten, und klicken Sie dann auf Tabelle erstellen :

Schritt 2. Wählen Sie im Feld Quelle die Option Leere Tabelle und im Feld Tabellentyp die Option Tabelle im nativen Format des Zielobjekts aus. Überlegen Sie sich einen Namen für die Tabelle.

Wichtig : Die Namen von Datensätzen, Tabellen und Feldern müssen in lateinischen Buchstaben sein und dürfen nur Buchstaben, Zahlen und Unterstriche enthalten.

Schritt 3 . Geben Sie das Tabellenschema an. Das Schema besteht aus vier Komponenten: zwei obligatorische (Spaltenname und Datentyp) und zwei optionale (Spaltenmodus und Beschreibung). Richtig ausgewählte Typen und Feldmodi erleichtern die Arbeit mit den Daten.

Beispielschema in BigQuery:

Spaltennamen
Im Spaltennamen müssen Sie den Parameter angeben, für den jede Spalte verantwortlich ist: Datum, Benutzer_ID, Produkte usw. Titel dürfen nur lateinische Buchstaben, Zahlen und Unterstriche enthalten (maximal 128 Zeichen). Gleiche Feldnamen sind nicht erlaubt, auch wenn sie unterschiedlich groß geschrieben sind.

Datentyp
Beim Erstellen einer Tabelle in BigQuery können Sie die folgenden Feldtypen verwenden:

Modi
BigQuery unterstützt die folgenden Modi für Tabellenspalten:

Hinweis : Das Feld Modus muss nicht ausgefüllt werden. Wenn kein Modus angegeben ist, ist die Standardspalte NULLABLE.

Spaltenbeschreibungen
Wenn Sie möchten, können Sie für jede Spalte in der Tabelle eine kurze Beschreibung (maximal 1024 Zeichen) hinzufügen, um zu erklären, was ein bestimmter Parameter bedeutet.

Wenn Sie in BigQuery eine leere Tabelle erstellen, müssen Sie das Schema manuell festlegen. Dies kann auf zwei Arten erfolgen:
1. Klicken Sie auf die Schaltfläche Feld hinzufügen und geben Sie den Namen, den Typ und den Modus für jede Spalte ein.

2. Geben Sie das Tabellenschema als JSON-Array ein, indem Sie den Schalter Als Text bearbeiten verwenden .

Darüber hinaus kann Google BigQuery beim Laden von Daten aus CSV- und JSON-Dateien die automatische Schemaerkennung verwenden.

Diese Option funktioniert nach folgendem Prinzip: BigQuery wählt eine zufällige Datei aus der von Ihnen angegebenen Quelle aus, scannt bis zu 100 Datenzeilen darin und verwendet die Ergebnisse als repräsentative Stichprobe. Es überprüft dann jedes Feld in der hochgeladenen Datei und versucht, ihm basierend auf den Werten in der Stichprobe einen Datentyp zuzuweisen.

Beim Laden von Google-Dateien kann BigQuery den Namen einer Spalte ändern, um sie mit seiner eigenen SQL-Syntax kompatibel zu machen. Daher empfehlen wir Ihnen, Tabellen mit englischen Feldnamen hochzuladen; Wenn die Namen beispielsweise auf Russisch sind, werden sie vom System automatisch umbenannt. Zum Beispiel:

Wenn beim Laden von Daten die Namen der Spalten falsch eingegeben wurden oder Sie die Namen und Typen der Spalten in einer bestehenden Tabelle ändern möchten, können Sie dies manuell tun. Wir sagen Ihnen wie.

Nach dem Laden von Daten in Google BigQuery kann das Tabellenlayout leicht vom Original abweichen. Beispielsweise kann sich ein Feldname aufgrund eines Zeichens geändert haben, das in BigQuery nicht unterstützt wird, oder der Feldtyp kann INTEGER statt STRING sein. In diesem Fall können Sie das Schema manuell anpassen.

Wählen Sie mithilfe einer SQL-Abfrage alle Spalten in der Tabelle aus und geben Sie einen neuen Namen für die Spalte an, die Sie umbenennen möchten. In diesem Fall können Sie die vorhandene Tabelle überschreiben oder eine neue erstellen. Anfragebeispiele:

Wählen Sie mit einer SQL-Abfrage alle Daten aus einer Tabelle aus und konvertieren Sie die entsprechende Spalte in einen anderen Datentyp. Sie können Abfrageergebnisse verwenden, um eine vorhandene Tabelle zu überschreiben oder eine neue zu erstellen. Anfragebeispiel:

Sie können den Spaltenmodus von REQUIRED in NULLABLE ändern, wie in der Hilfedokumentation beschrieben. Die zweite Möglichkeit besteht darin, die Daten in Cloud Storage zu exportieren und von dort mit dem richtigen Modus für alle Spalten an BigQuery zurückzugeben.

Verwenden Sie die SELECT * EXCEPT-Abfrage, um eine oder mehrere Spalten auszuschließen, und schreiben Sie dann die Abfrageergebnisse in die alte Tabelle oder erstellen Sie eine neue. Anfragebeispiel:

Darüber hinaus gibt es eine zweite Möglichkeit, das Schema zu ändern, das für alle oben beschriebenen Aufgaben geeignet ist: Daten exportieren und in eine neue Tabelle laden. Um eine Spalte umzubenennen, können Sie Daten von BigQuery in Cloud Storage hochladen und sie dann in einer neuen Tabelle von Cloud Storage nach BigQuery exportieren oder die Daten in der alten Tabelle mit den erweiterten Parametern überschreiben:

Weitere Möglichkeiten zum Ändern der Tabellenstruktur finden Sie in der Hilfedokumentation zur Google Cloud Platform.

Über die Schnittstelle oder ein spezielles Add-On von OWOX BI können Sie ohne die Hilfe von Entwicklern Daten von BigQuery herunterladen und in BigQuery hochladen. Betrachten wir jede Methode im Detail.

Um die erforderlichen Informationen in den Speicher hochzuladen – beispielsweise Daten zu Benutzern und Offline-Bestellungen – öffnen Sie Ihren Datensatz, klicken Sie auf Tabelle erstellen und wählen Sie die Datenquelle aus: Cloud Storage, Ihr Computer, Google Drive oder Cloud Bigtable. Geben Sie den Pfad zur Datei, ihr Format und den Namen der Tabelle an, in die die Daten geladen werden:

Nachdem Sie auf Tabelle erstellen geklickt haben, wird eine Tabelle in Ihrem Datensatz angezeigt.

Es ist auch möglich, verarbeitete Daten aus BigQuery hochzuladen – beispielsweise um einen Bericht über die Systemschnittstelle zu erstellen. Öffnen Sie dazu die gewünschte Tabelle mit Daten und klicken Sie auf die Schaltfläche Exportieren:

Das System bietet zwei Optionen: Daten in Google Data Studio anzeigen oder in Google Cloud Storage hochladen. Wenn Sie die erste Option auswählen, gelangen Sie sofort zu Data Studio, wo Sie den Bericht speichern können.

Wenn Sie sich für den Export in Google Cloud Storage entscheiden, wird ein neues Fenster geöffnet. Darin müssen Sie angeben, wo und in welchem ​​Format die Daten gespeichert werden sollen.

Mit dem kostenlosen Add-on OWOX BI BigQuery Reports können Sie Daten schnell und bequem direkt von Google BigQuery zu Google Sheets und umgekehrt übertragen. Daher müssen Sie keine CSV-Dateien vorbereiten oder kostenpflichtige Dienste von Drittanbietern nutzen.

Angenommen, Sie möchten Offline-Bestelldaten in BigQuery hochladen, um einen ROPO-Bericht zu erstellen. Dazu müssen Sie:

1. Installieren Sie das BigQuery Reports-Add-on in Ihrem Browser.
2. Öffnen Sie Ihre Datendatei in Google Sheets und wählen Sie im Reiter Add-ons OWOX BI BigQuery Reports → Upload data to BigQuery.
3. Wählen Sie im sich öffnenden Fenster Ihr Projekt und Dataset in BigQuery aus und geben Sie den gewünschten Namen für die Tabelle ein. Wählen Sie außerdem die Felder aus, deren Werte Sie laden möchten. Standardmäßig ist der Typ aller Felder STRING, wir empfehlen jedoch, den Datentyp entsprechend dem Kontext zu wählen (z. B. für Felder mit numerischen Bezeichnern INTEGER, für Preise FLOAT):
   

4. Klicken Sie auf die Schaltfläche Upload starten und Ihre Daten werden in Google BigQuery geladen

Sie können dieses Add-on auch verwenden, um Daten aus BigQuery in Google Sheets zu exportieren – beispielsweise um Daten zu visualisieren oder sie mit Kollegen zu teilen, die keinen Zugriff auf BigQuery haben. Dafür:

1. Öffnen Sie Google Tabellen. Wählen Sie auf der Registerkarte Add-ons OWOX BI BigQuery-Berichte → Neuen Bericht hinzufügen:
   

2. Geben Sie dann Ihr Projekt in Google BigQuery ein und wählen Sie Neue Abfrage hinzufügen aus.
3. Fügen Sie im neuen Fenster Ihre SQL-Abfrage ein. Dies könnte eine Abfrage sein, die Daten aus einer Tabelle in BigQuery hochlädt, oder eine Abfrage, die die erforderlichen Daten abruft und berechnet.
4. Benennen Sie die Abfrage um, damit sie leicht zu finden ist, und starten Sie sie, indem Sie auf die Schaltfläche Speichern & Ausführen klicken.
   

Um regelmäßig Daten aus BigQuery in Google Tabellen hochzuladen, können Sie geplante Datenaktualisierungen aktivieren:

1. Wählen Sie auf der Registerkarte Add-ons OWOX BI BigQuery-Berichte → Bericht planen aus:
   

2. Legen Sie in dem sich öffnenden Fenster die Zeit und Häufigkeit für Berichtsaktualisierungen fest und klicken Sie auf Speichern :
   

Wenn Sie die Vorteile des Google BigQuery-Cloudspeichers noch nicht erkannt haben, empfehlen wir Ihnen, es auszuprobieren. Mithilfe von OWOX BI können Sie Daten von Ihrer Website, Werbequellen und internen CRM-Systemen in BigQuery kombinieren, um:

• Richten Sie End-to-End-Analysen ein und ermitteln Sie die tatsächliche Rendite Ihres Marketings unter Berücksichtigung von Offline-Bestellungen, Retouren und allen Benutzerschritten auf dem Weg zu einem Kauf.
• Erstellen Sie Berichte über vollständige nicht abgetastete Daten mit beliebigen Parametern und Indikatoren;
• Bewerten Sie Kundenakquisitionskanäle mithilfe von Kohortenanalysen;
• Finden Sie heraus, wie sich Ihre Online-Werbung auf Offline-Verkäufe auswirkt;
• Reduzieren Sie den Anteil der Werbekosten, verlängern Sie den Lebenszyklus von Kunden und erhöhen Sie den LTV Ihres Kundenstamms insgesamt;
• Segmentieren Sie Kunden nach ihrer Aktivität und personalisieren Sie die Kommunikation mit ihnen.

OWOX BI hat eine kostenlose Testphase, während der Sie alle Funktionen des Dienstes ausprobieren können.