بنية بيانات BigQuery في Google: كيفية بدء استخدام التخزين السحابي

نشرت: 2022-04-12

Google BigQuery هي خدمة تخزين سحابي تتيح لك جمع كل بياناتك في نظام واحد وتحليلها بسهولة باستخدام استعلامات SQL. لكي تكون البيانات ملائمة للعمل معها ، يجب أن تكون منظمة بشكل صحيح. في هذه المقالة ، سنشرح كيفية إنشاء جداول ومجموعات بيانات للتحميل إلى Google BigQuery.

جدول المحتويات

  • مجموعات البيانات: ما هي وكيفية إنشائها
  • كيفية إضافة جدول لتحميل البيانات إلى Google BigQuery
  • كيفية إجراء تغييرات على مخطط الجدول
  • تصدير واستيراد البيانات من / إلى Google BigQuery
  • تصدير واستيراد البيانات باستخدام وظيفة إضافية من OWOX BI
  • لماذا نجمع البيانات في Google BigQuery؟
مكافأة للقراء

أفضل حالات تسويق OWOX BI

تحميل الآن

مجموعات البيانات: ما هي وكيفية إنشائها

لاستخدام Google BigQuery ، يلزمك إنشاء مشروع في Google Cloud Platform (GCP). عند التسجيل ، ستحصل على إمكانية الوصول إلى جميع منتجات Cloud Platform خلال فترة تجريبية مجانية و 300 دولار أمريكي لإنفاقها على هذه المنتجات في غضون الـ 12 شهرًا القادمة.

بعد إنشاء مشروع في Google Cloud Platform ، يلزمك إضافة مجموعة بيانات واحدة على الأقل إلى Google BigQuery.

مجموعة البيانات عبارة عن حاوية من المستوى الأعلى تُستخدم لتنظيم الوصول إلى بياناتك والتحكم فيها. بعبارات بسيطة ، إنه نوع من المجلدات يتم فيه تخزين معلوماتك في شكل جداول وطرق عرض.

افتح مشروعك في GCP ، وانتقل إلى علامة التبويب BigQuery ، وانقر على إنشاء مجموعة بيانات :

في النافذة التي تفتح ، حدد اسمًا لمجموعة البيانات ومدة صلاحية الجدول. إذا كنت تريد حذف الجداول التي تحتوي على بيانات تلقائيًا ، فحدد الوقت بالضبط. أو اترك الخيار الدائم الافتراضي بحيث يمكن حذف الجداول يدويًا فقط.

حقل موقع المعالجة اختياري. بشكل افتراضي ، يتم تعيينه على منطقة متعددة في الولايات المتحدة. يمكنك العثور على مزيد من المعلومات حول مناطق تخزين البيانات في قسم المساعدة.

كيفية إضافة جدول لتحميل البيانات إلى Google BigQuery

بعد إنشاء مجموعة بيانات ، تحتاج إلى إضافة جدول سيتم جمع البيانات إليه. الجدول عبارة عن مجموعة من الصفوف. يتكون كل صف من أعمدة تسمى أيضًا الحقول. هناك عدة طرق لإنشاء جدول في BigQuery بناءً على مصدر البيانات:

  • إنشاء جدول فارغ يدويًا وإعداد مخطط بيانات له
  • قم بإنشاء جدول باستخدام نتيجة استعلام SQL المحسوب مسبقًا
  • تحميل ملف من جهاز الكمبيوتر الخاص بك (بتنسيق CSV أو AVRO أو JSON أو Parquet أو ORC أو Google Sheets)
  • بدلاً من تنزيل البيانات أو دفقها ، يمكنك إنشاء جدول يشير إلى مصدر خارجي: Cloud Bigtable أو Cloud Storage أو Google Drive.

في هذه المقالة ، سوف نلقي نظرة فاحصة على الطريقة الأولى: إنشاء جدول يدويًا.

الخطوة 1 . حدد مجموعة البيانات التي تريد إضافة الجدول إليها ، ثم انقر على إنشاء جدول :

الخطوة 2. في حقل المصدر ، حدد الجدول الفارغ ، وفي حقل نوع الجدول ، حدد الجدول بالتنسيق الأصلي للكائن الهدف. ابتكر اسمًا للجدول.

هام : يجب أن تكون أسماء مجموعات البيانات والجداول والحقول بأحرف لاتينية وأن تحتوي فقط على أحرف وأرقام وشرطات سفلية.

الخطوة 3 . حدد مخطط الجدول. يتكون المخطط من أربعة مكونات: مكونان إلزاميان (اسم العمود ونوع البيانات) واثنان اختياريان (وضع العمود والوصف). ستعمل الأنواع والأوضاع الميدانية المحددة بشكل صحيح على تسهيل العمل مع البيانات.

مثال على المخطط في BigQuery:

أسماء الأعمدة
في اسم العمود ، تحتاج إلى تحديد المعلمة التي يكون كل عمود مسؤولاً عنها: التاريخ ، معرف المستخدم ، المنتجات ، إلخ. يمكن أن تحتوي العناوين فقط على أحرف لاتينية وأرقام وشرطات سفلية (بحد أقصى 128 حرفًا). غير مسموح بأسماء الحقول المتطابقة ، حتى لو كانت حالتها مختلفة.

نوع البيانات
عند إنشاء جدول في BigQuery ، يمكنك استخدام أنواع الحقول التالية:

أساليب
يدعم BigQuery الأوضاع التالية لأعمدة الجدول:

ملاحظة : ليس من الضروري ملء حقل الوضع. إذا لم يتم تحديد أي وضع ، فسيكون العمود الافتراضي هو NULLABLE.

أوصاف العمود
إذا كنت ترغب في ذلك ، يمكنك إضافة وصف قصير (لا يزيد عن 1024 حرفًا) لكل عمود في الجدول لشرح معنى معلمة معينة.

عند إنشاء جدول فارغ في BigQuery ، عليك ضبط مخطط قاعدة البيانات يدويًا. ويمكن أن يتم ذلك بطريقتين:
1. انقر فوق الزر " إضافة حقل " وقم بتعبئة الاسم والنوع والوضع لكل عمود.

2. أدخل مخطط الجدول كمصفوفة JSON باستخدام مفتاح التحويل " تحرير كنص" .

بالإضافة إلى ذلك ، يمكن لـ Google BigQuery استخدام اكتشاف المخطط التلقائي عند تحميل البيانات من ملفات CSV و JSON.

يعمل هذا الخيار على المبدأ التالي: يحدد BigQuery ملفًا عشوائيًا من المصدر الذي تحدده ، ويفحص ما يصل إلى 100 صف من البيانات فيه ، ويستخدم النتائج كعينة تمثيلية. ثم يتحقق من كل حقل في الملف الذي تم تحميله ويحاول تعيين نوع بيانات له بناءً على القيم الموجودة في العينة.

عند تحميل ملفات Google ، يمكن لـ BigQuery تغيير اسم العمود لجعله متوافقًا مع بناء جملة SQL الخاص به. لذلك ، نوصي بتحميل الجداول بأسماء الحقول الإنجليزية ؛ إذا كانت الأسماء باللغة الروسية ، على سبيل المثال ، فسيعيد النظام تسميتها تلقائيًا. علي سبيل المثال:

إذا تم إدخال أسماء الأعمدة بشكل غير صحيح عند تحميل البيانات أو إذا كنت تريد تغيير أسماء وأنواع الأعمدة في جدول موجود ، يمكنك القيام بذلك يدويًا. سنخبرك كيف.

كيفية إجراء تغييرات على مخطط الجدول

بعد تحميل البيانات في Google BigQuery ، قد يختلف تنسيق الجدول قليلاً عن الأصلي. على سبيل المثال ، ربما تم تغيير اسم الحقل بسبب الحرف غير المدعوم في BigQuery ، أو ربما يكون نوع الحقل عددًا صحيحًا بدلاً من STRING. في هذه الحالة ، يمكنك ضبط مخطط قاعدة البيانات يدويًا.

كيفية تغيير اسم العمود

باستخدام استعلام SQL ، حدد كل الأعمدة في الجدول وحدد اسمًا جديدًا للعمود الذي تريد إعادة تسميته. في هذه الحالة ، يمكنك الكتابة فوق الجدول الموجود أو إنشاء جدول جديد. أمثلة الطلب:

    #legacySQL Select date, order_id, order___________ as order_type, -- new field name product_id from [project_name:dataset_name.owoxbi_sessions_20190314]
#legacySQL Select date, order_id, order___________ as order_type, -- new field name product_id from [project_name:dataset_name.owoxbi_sessions_20190314]
    #standardSQL Select * EXCEPT (orotp, ddat), orotp as order_id, ddat as date from `project_name.dataset_name.owoxbi_sessions_20190314`
#standardSQL Select * EXCEPT (orotp, ddat), orotp as order_id, ddat as date from `project_name.dataset_name.owoxbi_sessions_20190314`

كيفية إجراء تغييرات على نوع البيانات في المخطط

باستخدام استعلام SQL ، حدد جميع البيانات من جدول وقم بتحويل العمود المقابل إلى نوع بيانات مختلف. يمكنك استخدام نتائج الاستعلام للكتابة فوق جدول موجود أو إنشاء جدول جديد. طلب مثال:

    #standardSQL Select CAST (order_id as STRING) as order_id, CAST (date as TIMESTAMP) as date from `project_name.dataset_name.owoxbi_sessions_20190314`
#standardSQL Select CAST (order_id as STRING) as order_id, CAST (date as TIMESTAMP) as date from `project_name.dataset_name.owoxbi_sessions_20190314`

كيفية تغيير وضع العمود

يمكنك تغيير وضع العمود من مطلوب إلى NULLABLE كما هو موضح في وثائق التعليمات. الخيار الثاني هو تصدير البيانات إلى Cloud Storage وإعادتها إلى BigQuery بالوضع الصحيح لجميع الأعمدة.

كيفية إزالة عمود من مخطط البيانات

استخدم استعلام SELECT * EXCEPT لاستبعاد عمود (أو أعمدة) ، ثم اكتب نتائج الاستعلام في الجدول القديم أو أنشئ واحدًا جديدًا. طلب مثال:

    #standardSQL Select * EXCEPT (order_id) from `project_name.dataset_name.owoxbi_sessions_20190314`
#standardSQL Select * EXCEPT (order_id) from `project_name.dataset_name.owoxbi_sessions_20190314`

بالإضافة إلى ذلك ، هناك طريقة ثانية لتغيير المخطط المناسب لجميع المهام الموضحة أعلاه: تصدير البيانات وتحميلها في جدول جديد. لإعادة تسمية عمود ، يمكنك تحميل البيانات من BigQuery إلى Cloud Storage ، ثم تصديرها من Cloud Storage إلى BigQuery في جدول جديد أو الكتابة فوق البيانات في الجدول القديم باستخدام المعلمات المتقدمة:

يمكنك أن تقرأ عن طرق أخرى لتغيير هيكل الجدول في وثائق تعليمات Google Cloud Platform.

تصدير واستيراد البيانات من / إلى Google BigQuery

يمكنك تنزيل البيانات من BigQuery وتحميلها إلى BigQuery دون مساعدة المطورين عبر الواجهة أو وظيفة إضافية خاصة من OWOX BI. دعونا نفكر في كل طريقة بالتفصيل.

استيراد البيانات عبر واجهة Google BigQuery

لتحميل المعلومات الضرورية إلى التخزين - على سبيل المثال ، البيانات حول المستخدمين والطلبات غير المتصلة بالإنترنت - افتح مجموعة البيانات الخاصة بك ، وانقر فوق إنشاء جدول ، وحدد مصدر البيانات: التخزين السحابي ، أو جهاز الكمبيوتر ، أو Google Drive ، أو Cloud Bigtable. حدد مسار الملف وتنسيقه واسم الجدول حيث سيتم تحميل البيانات:

بعد النقر فوق "إنشاء جدول" ، سيظهر جدول في مجموعة البيانات الخاصة بك.

تصدير البيانات عبر واجهة Google BigQuery

من الممكن أيضًا تحميل البيانات التي تمت معالجتها من BigQuery - على سبيل المثال ، لإنشاء تقرير من خلال واجهة النظام. للقيام بذلك ، افتح الجدول المطلوب بالبيانات وانقر فوق الزر "تصدير":

سيقدم النظام خيارين: عرض البيانات في Google Data Studio أو تحميلها على Google Cloud Storage. إذا حددت الخيار الأول ، فستنتقل على الفور إلى Data Studio ، حيث يمكنك حفظ التقرير.

اختيار التصدير إلى Google Cloud Storage سيفتح نافذة جديدة. في ذلك ، تحتاج إلى تحديد مكان حفظ البيانات وبأي تنسيق.

تصدير واستيراد البيانات باستخدام وظيفة إضافية من OWOX BI

تتيح لك وظيفة OWOX BI BigQuery Reports الإضافية المجانية نقل البيانات بسرعة وسهولة مباشرة من Google BigQuery إلى جداول بيانات Google والعكس. وبالتالي ، لا تحتاج إلى إعداد ملفات CSV أو استخدام خدمات الجهات الخارجية المدفوعة.

على سبيل المثال ، لنفترض أنك تريد تحميل بيانات الطلبات غير المتصلة بالإنترنت إلى BigQuery لإنشاء تقرير ROPO. لهذا ، سوف تحتاج إلى:

  1. ثبّت الوظيفة الإضافية BigQuery Reports في متصفحك.
  2. افتح ملف البيانات في "جداول بيانات Google" وفي علامة التبويب "الوظائف الإضافية" ، حدد OWOX BI BigQuery Reports → تحميل البيانات إلى BigQuery.
  3. في النافذة التي تفتح ، حدد مشروعك ومجموعة البيانات في BigQuery وأدخل الاسم المطلوب للجدول. أيضًا ، حدد الحقول التي تريد تحميل قيمها. بشكل افتراضي ، يكون نوع جميع الحقول هو سلسلة ، لكننا نوصي باختيار نوع البيانات وفقًا للسياق (على سبيل المثال ، بالنسبة للحقول ذات المعرفات الرقمية ، اختر العدد الصحيح ؛ للأسعار ، عدد الأسهم):
  1. انقر فوق الزر بدء التحميل وسيتم تحميل بياناتك في Google BigQuery

يمكنك أيضًا استخدام هذه الإضافة لتصدير البيانات من BigQuery إلى جداول بيانات Google - على سبيل المثال ، لتصور البيانات أو مشاركتها مع الزملاء الذين ليس لديهم إمكانية الوصول إلى BigQuery. لهذا:

  1. افتح جداول بيانات Google. في علامة التبويب "الوظائف الإضافية" ، حدد OWOX BI BigQuery Reports → إضافة تقرير جديد:
  1. ثم أدخل مشروعك في Google BigQuery وحدد إضافة استعلام جديد.
  2. في النافذة الجديدة ، أدخل استعلام SQL الخاص بك. قد يكون هذا استعلامًا يُحمِّل البيانات من جدول إلى BigQuery أو استعلامًا يسحب البيانات الضرورية ويحسبها.
  3. أعد تسمية الاستعلام لتسهيل العثور عليه وتشغيله بالنقر فوق الزر حفظ وتشغيل.

لتحميل البيانات من BigQuery إلى جداول بيانات Google بشكل منتظم ، يمكنك تمكين تحديثات البيانات المجدولة:

  1. في علامة التبويب "الوظائف الإضافية" ، حدد تقارير OWOX BI BigQuery ← جدولة التقرير :
  1. في النافذة التي تفتح ، اضبط الوقت والتكرار لتحديثات التقرير وانقر فوق حفظ :

لماذا نجمع البيانات في Google BigQuery؟

إذا لم تكن قد قدرت فوائد التخزين السحابي Google BigQuery حتى الآن ، فإننا نوصي بتجربتها. بمساعدة OWOX BI ، يمكنك دمج البيانات من موقع الويب الخاص بك ومصادر الإعلانات وأنظمة CRM الداخلية في BigQuery من أجل:

  • قم بإعداد تحليلات شاملة واكتشف العائد الحقيقي للتسويق الخاص بك ، مع الأخذ في الاعتبار الطلبات غير المتصلة بالإنترنت والمرتجعات وجميع خطوات المستخدم في طريقه إلى الشراء ؛
  • إنشاء تقارير عن البيانات الكاملة غير المستندة إلى عينات مع أي معلمات ومؤشرات ؛
  • تقييم قنوات اكتساب العملاء باستخدام التحليل الجماعي ؛
  • اكتشف كيف يؤثر الإعلان عبر الإنترنت على المبيعات في وضع عدم الاتصال ؛
  • تقليل حصة تكاليف الإعلان ، وإطالة دورة حياة العملاء ، وزيادة القيمة الدائمة لقاعدة عملائك ككل ؛
  • قسّم العملاء حسب نشاطهم وقم بإضفاء الطابع الشخصي على التواصل معهم.

لدى OWOX BI فترة تجريبية مجانية يمكنك خلالها تجربة جميع ميزات الخدمة.

جرب OWOX BI