Struttura dei dati BigQuery in Google: come iniziare con l'archiviazione su cloud

Google BigQuery è un servizio di cloud storage che ti consente di raccogliere tutti i tuoi dati in un unico sistema e analizzarli facilmente utilizzando query SQL. Affinché i dati siano comodi con cui lavorare, dovrebbero essere strutturati correttamente. In questo articolo spiegheremo come creare tabelle e set di dati da caricare su Google BigQuery.

Per utilizzare Google BigQuery, devi creare un progetto in Google Cloud Platform (GCP). Al momento della registrazione, riceverai l'accesso a tutti i prodotti Cloud Platform durante un periodo di prova gratuito e $ 300 da spendere per questi prodotti entro i prossimi 12 mesi.

Dopo aver creato un progetto in Google Cloud Platform, devi aggiungere almeno un set di dati a Google BigQuery.

Un set di dati è un contenitore di primo livello utilizzato per organizzare e controllare l'accesso ai dati. In parole povere, è una specie di cartella in cui le tue informazioni sono archiviate sotto forma di tabelle e viste.

Apri il tuo progetto in GCP, vai alla scheda BigQuery e fai clic su Crea set di dati :

Nella finestra che si apre, specifica un nome per il set di dati e la durata di conservazione di una tabella. Se si desidera eliminare automaticamente le tabelle con i dati, specificare quando esattamente. Oppure lascia l' opzione Perpetua predefinita in modo che le tabelle possano essere eliminate solo manualmente.

Il campo Sito di elaborazione è facoltativo. Per impostazione predefinita, è impostato su multiregione USA. Puoi trovare maggiori informazioni sulle regioni per la memorizzazione dei dati nella sezione della guida.

Dopo aver creato un set di dati, è necessario aggiungere una tabella in cui verranno raccolti i dati. Una tabella è un insieme di righe. Ogni riga è composta da colonne, dette anche campi. Esistono diversi modi per creare una tabella in BigQuery a seconda dell'origine dati:

• Crea manualmente una tabella vuota e imposta uno schema di dati per essa
• Creare una tabella utilizzando il risultato di una query SQL calcolata in precedenza
• Carica un file dal tuo computer (in formato CSV, AVRO, JSON, Parquet, ORC o Fogli Google)
• Invece di scaricare o eseguire lo streaming di dati, puoi creare una tabella che faccia riferimento a un'origine esterna: Cloud Bigtable, Cloud Storage o Google Drive.

In questo articolo, daremo un'occhiata più da vicino al primo metodo: creare una tabella manualmente.

Passaggio 1 . Seleziona il set di dati a cui desideri aggiungere la tabella, quindi fai clic su Crea tabella :

Passaggio 2. Nel campo Origine, seleziona Tabella vuota e nel campo Tipo di tabella , seleziona Tabella nel formato nativo dell'oggetto di destinazione. Trova un nome per il tavolo.

Importante : i nomi di set di dati, tabelle e campi devono essere in caratteri latini e contenere solo lettere, numeri e trattini bassi.

Passaggio 3 . Specificare lo schema della tabella. Lo schema è composto da quattro componenti: due obbligatori (nome della colonna e tipo di dati) e due facoltativi (modalità e descrizione della colonna). Tipi e modalità di campo correttamente selezionati faciliteranno il lavoro con i dati.

Schema di esempio in BigQuery:

Nomi di colonna
Nel nome della colonna, è necessario specificare il parametro di cui è responsabile ciascuna colonna: data, user_id, prodotti, ecc. I titoli possono contenere solo lettere latine, numeri e caratteri di sottolineatura (massimo 128 caratteri). Non sono consentiti nomi di campo identici, anche se il loro caso è diverso.

Tipo di dati
Quando crei una tabella in BigQuery, puoi utilizzare i seguenti tipi di campo:

Modalità
BigQuery supporta le seguenti modalità per le colonne della tabella:

Nota : non è necessario compilare il campo Modalità. Se non viene specificata alcuna modalità, la colonna predefinita è NULLABLE.

Descrizioni delle colonne
Se lo desideri, puoi aggiungere una breve descrizione (non più di 1024 caratteri) per ciascuna colonna della tabella in modo da spiegare cosa significa un determinato parametro.

Quando crei una tabella vuota in BigQuery, devi impostare lo schema manualmente. Questo può essere fatto in due modi:
1. Fare clic sul pulsante Aggiungi campo e inserire il nome, il tipo e la modalità per ciascuna colonna.

2. Immettere lo schema della tabella come matrice JSON utilizzando l' opzione Modifica come testo .

Inoltre, Google BigQuery può utilizzare il rilevamento automatico dello schema durante il caricamento dei dati da file CSV e JSON.

Questa opzione funziona in base al seguente principio: BigQuery seleziona un file casuale dall'origine specificata, esegue la scansione di un massimo di 100 righe di dati e utilizza i risultati come campione rappresentativo. Quindi controlla ogni campo nel file caricato e prova ad assegnargli un tipo di dati in base ai valori nel campione.

Durante il caricamento dei file di Google, BigQuery può modificare il nome di una colonna per renderla compatibile con la propria sintassi SQL. Pertanto, ti consigliamo di caricare tabelle con nomi di campo in inglese; se i nomi sono in russo, ad esempio, il sistema li rinominerà automaticamente. Per esempio:

Se, durante il caricamento dei dati, i nomi delle colonne sono stati inseriti in modo errato o si desidera modificare i nomi e i tipi delle colonne in una tabella esistente, è possibile farlo manualmente. Ti diremo come.

Dopo aver caricato i dati in Google BigQuery, il layout della tabella potrebbe essere leggermente diverso dall'originale. Ad esempio, il nome di un campo potrebbe essere cambiato a causa di un carattere non supportato in BigQuery oppure il tipo di campo potrebbe essere INTEGER anziché STRING. In questo caso, puoi modificare manualmente lo schema.

Utilizzando una query SQL, seleziona tutte le colonne nella tabella e specifica un nuovo nome per la colonna che desideri rinominare. In questo caso, puoi sovrascrivere la tabella esistente o crearne una nuova. Esempi di richiesta:

Utilizzando una query SQL, selezionare tutti i dati da una tabella e convertire la colonna corrispondente in un tipo di dati diverso. È possibile utilizzare i risultati della query per sovrascrivere una tabella esistente o crearne una nuova. Esempio di richiesta:

È possibile modificare la modalità colonna da RICHIESTA a NULLABILE come descritto nella documentazione della guida. La seconda opzione consiste nell'esportare i dati in Cloud Storage e da lì restituirli a BigQuery con la modalità corretta per tutte le colonne.

Utilizzare la query SELECT * EXCEPT per escludere una o più colonne, quindi scrivere i risultati della query nella vecchia tabella o crearne una nuova. Esempio di richiesta:

Inoltre, esiste un secondo modo per modificare lo schema adatto a tutte le attività descritte sopra: esportare i dati e caricarli in una nuova tabella. Per rinominare una colonna, puoi caricare i dati da BigQuery a Cloud Storage, quindi esportarli da Cloud Storage a BigQuery in una nuova tabella o sovrascrivere i dati nella vecchia tabella utilizzando i parametri avanzati:

Puoi leggere altri modi per modificare la struttura della tabella nella documentazione della guida di Google Cloud Platform.

Puoi scaricare e caricare dati su BigQuery senza l'aiuto degli sviluppatori tramite l'interfaccia o uno speciale componente aggiuntivo di OWOX BI. Consideriamo ogni metodo in dettaglio.

Per caricare le informazioni necessarie nello spazio di archiviazione, ad esempio i dati sugli utenti e gli ordini offline, apri il set di dati, fai clic su Crea tabella e seleziona l'origine dati: Cloud Storage, il tuo computer, Google Drive o Cloud Bigtable. Specificare il percorso del file, il suo formato e il nome della tabella in cui verranno caricati i dati:

Dopo aver fatto clic su Crea tabella, verrà visualizzata una tabella nel set di dati.

È anche possibile caricare i dati elaborati da BigQuery, ad esempio per creare un rapporto tramite l'interfaccia di sistema. Per fare ciò, apri la tabella con i dati desiderata e fai clic sul pulsante Esporta:

Il sistema offrirà due opzioni: visualizzare i dati in Google Data Studio o caricarli su Google Cloud Storage. Se selezioni la prima opzione, passerai immediatamente a Data Studio, dove potrai salvare il rapporto.

Scegliendo di esportare in Google Cloud Storage si aprirà una nuova finestra. In esso, è necessario specificare dove salvare i dati e in quale formato.

Il componente aggiuntivo gratuito OWOX BI BigQuery Reports ti consente di trasferire i dati in modo rapido e conveniente direttamente da Google BigQuery a Fogli Google e viceversa. Pertanto, non è necessario preparare file CSV o utilizzare servizi di terze parti a pagamento.

Ad esempio, supponi di voler caricare i dati degli ordini offline su BigQuery per creare un rapporto ROPO. Per questo, dovrai:

1. Installa il componente aggiuntivo BigQuery Reports nel tuo browser.
2. Apri il tuo file di dati in Fogli Google e nella scheda Componenti aggiuntivi , seleziona OWOX BI BigQuery Reports → Carica dati su BigQuery.
3. Nella finestra che si apre, seleziona il progetto e il set di dati in BigQuery e inserisci il nome desiderato per la tabella. Inoltre, seleziona i campi di cui desideri caricare i valori. Per impostazione predefinita, il tipo di tutti i campi è STRING, ma consigliamo di scegliere il tipo di dati in base al contesto (ad esempio, per i campi con identificatori numerici, scegliere INTEGER; per i prezzi, FLOAT):
   

4. Fai clic sul pulsante Avvia caricamento e i tuoi dati verranno caricati in Google BigQuery

Puoi anche utilizzare questo componente aggiuntivo per esportare dati da BigQuery a Fogli Google, ad esempio per visualizzare dati o condividerli con colleghi che non hanno accesso a BigQuery. Per questo:

1. Apri Fogli Google. Nella scheda Componenti aggiuntivi , seleziona OWOX BI BigQuery Reports → Aggiungi un nuovo rapporto:
   

2. Quindi inserisci il tuo progetto in Google BigQuery e seleziona Aggiungi nuova query.
3. Nella nuova finestra, inserisci la tua query SQL. Potrebbe trattarsi di una query che carica i dati da una tabella in BigQuery o di una query che estrae e calcola i dati necessari.
4. Rinomina la query per trovarla e avviarla facilmente facendo clic sul pulsante Salva ed esegui.
   

Per caricare regolarmente i dati da BigQuery a Fogli Google, puoi abilitare gli aggiornamenti dei dati pianificati:

1. Nella scheda Componenti aggiuntivi , seleziona OWOX BI BigQuery Reports → Pianifica rapporto :
   

2. Nella finestra che si apre, imposta l'ora e la frequenza per gli aggiornamenti dei rapporti e fai clic su Salva :
   

Se non hai ancora apprezzato i vantaggi del cloud storage di Google BigQuery, ti consigliamo di provarlo. Con l'aiuto di OWOX BI, puoi combinare i dati dal tuo sito web, dalle fonti pubblicitarie e dai sistemi CRM interni in BigQuery per:

• Imposta l'analisi end-to-end e scopri il vero ritorno sul tuo marketing, tenendo conto degli ordini offline, dei resi e di tutti i passaggi dell'utente sulla strada per un acquisto;
• Creare report su dati completi non campionati con qualsiasi parametro e indicatore;
• Valutare i canali di acquisizione dei clienti utilizzando l'analisi di coorte;
• Scopri come la tua pubblicità online influisce sulle vendite offline;
• Riduci la quota dei costi pubblicitari, allunga il ciclo di vita dei clienti e aumenta l'LTV della tua base clienti nel suo complesso;
• Segmenta i clienti in base alla loro attività e personalizza la comunicazione con loro.

OWOX BI ha un periodo di prova gratuito durante il quale puoi provare tutte le funzionalità del servizio.