ปลดล็อกข้อมูลเชิงลึกของ SERP ด้วย BrightData SERP API - ฟรี Google Colab

เผยแพร่แล้ว: 2023-03-11

การทำความเข้าใจข้อมูลจากหน้าผลลัพธ์ของเครื่องมือค้นหา (SERP) เป็นสิ่งสำคัญสำหรับเจ้าของธุรกิจหรือ ผู้เชี่ยวชาญด้าน SEO คุณสงสัยหรือไม่ว่าเว็บไซต์ของคุณทำงานอย่างไรใน SERPs? คุณอยากรู้ไหมว่าคุณอยู่อันดับไหนเมื่อเทียบกับคู่แข่งของคุณ? การติดตามข้อมูล SERP ด้วยตนเองอาจเป็นกระบวนการที่ใช้เวลานาน มาดูเครือข่ายพร็อกซีที่สามารถช่วยคุณรวบรวมข้อมูลเกี่ยวกับประสิทธิภาพเว็บไซต์ของคุณภายในไม่กี่วินาที

ถอดเสียง:

เฮ้ ว่าไง ยินดีต้อนรับสู่ Hack My Growth ในวิดีโอของวันนี้ เรากำลังดู Web Scraper แบบใหม่ที่อาจมีประโยชน์อย่างมากเมื่อเราวิเคราะห์ผลการค้นหา เมื่อเร็ว ๆ นี้เราได้เริ่มสำรวจ Bright Data ซึ่งเป็นเครือข่ายพร็อกซีและเว็บสแครปเปอร์ที่ช่วยให้เราได้รับข้อมูลเจ๋ง ๆ ที่จะช่วยในการวางแผนการตลาดผ่านการค้นหาหรือกลยุทธ์ SEO

สิ่งแรกที่เราต้องทำคือดูผลการค้นหา

เมื่อเรากำลังมองหาคำๆ หนึ่ง สิ่งที่เราต้องทำคือดูที่ ผลการค้นหา เสมอ ในกรณีนี้ สมมติว่าฉันต้องการกำหนดเป้าหมายคำว่า "การวิเคราะห์ SERP" สิ่งแรกที่เราต้องทำคือดูผลการค้นหาเอง ตอนนี้ ฉันชอบใช้วิดเจ็ตจำนวนมากเพื่อช่วยให้ฉันเข้าใจผลการค้นหาได้ดีขึ้น แต่ฉันยังต้องเลื่อนลงเพื่อทำความเข้าใจอยู่เสมอ เพื่อให้เข้าใจสิ่งที่เกิดขึ้นได้ดีขึ้น ใครจัดอันดับ? การจัดอันดับเนื้อหาประเภทใด ทำไมพวกเขาถึงจัดอันดับ? องค์ประกอบต่าง ๆ บนหน้าคืออะไร? คำค้นหาที่เกี่ยวข้องที่เราพบในหน้านี้คืออะไร การดำเนินการนี้อาจใช้เวลาสักครู่และเป็นขั้นตอนที่สำคัญ เราจึงจำเป็นต้องไปที่ผลการค้นหาเพื่อทำความเข้าใจ

แต่สิ่งที่เป็นประโยชน์ก็คือ เราสามารถดึงข้อมูลออกมาแล้วประมวลผลด้วยตัวเองเพื่อให้ได้ข้อมูลเชิงลึกที่มากขึ้น และเราเริ่มซ้อนทับกับข้อมูลอื่นๆ ซึ่งจะช่วย อย่างน้อยก็ในกรณีของฉัน เพื่อสร้างกลยุทธ์ที่จะได้ผล

การใช้ข้อมูลที่สว่างเพื่อตีความผลการค้นหา

บางครั้งการดึงข้อมูลออกจากผลการค้นหาอาจค่อนข้างยาก และนั่นคือสิ่งที่ API สามารถเข้ามาได้ สิ่งที่เจ๋งคือคุณไม่จำเป็นต้องเป็นโปรแกรมเมอร์ ฉันไม่คิดว่าตัวเองเป็นโปรแกรมเมอร์ ฉันคิดว่าตัวเองเก่งในการคัดลอกและวาง

ด้วยความช่วยเหลือของ Bright Data เราสามารถดึงข้อมูลดีๆ จำนวนมากจากผลการค้นหาและซ้อนทับกับข้อมูลอื่นๆ ซึ่งทำให้เราได้รับข้อมูลเชิงลึกเกี่ยวกับผลการค้นหา เพื่อให้เราวางแผนกลยุทธ์ได้ดีขึ้น สมัครบัญชีหากคุณต้องการติดตามวิดีโอนี้ ถ้าไม่คุณสามารถลงทะเบียนหลังจากนั้นและทดลองใช้ เป็นบริการที่เหมาะสมเพื่อให้ได้ข้อมูลที่คุณต้องการ พวกเขามี การทดลองใช้ฟรี ด้วยดังนั้นลองเลย

แผงควบคุม

เมื่อคุณอยู่ในแดชบอร์ดและต้องการเริ่มเล่นกับสิ่งนี้ คุณสามารถไปที่ไอคอนแผนที่ที่นี่และคลิกที่ไอคอนนั้น จากนั้นเราจะเห็นว่าฉันมี SERP API ที่นี่ ตอนนี้ คุณจะเห็นการตั้งค่าคอนฟิกูเรชัน และนี่คือสิ่งที่ทำให้ฉันสามารถเชื่อมต่อสิ่งต่างๆ ได้มากมาย แต่ฉันยังสามารถตรวจสอบ SERP API Playground ได้อีกด้วย ตอนนี้คุณจะต้องเข้าถึงสิ่งนี้เพื่อเล่นที่นี่เพราะคุณจะมีชื่อโฮสต์ของคุณเอง

สนามเด็กเล่น SERP API

หากคุณต้องการสร้าง Playground ก่อนเพื่อดูว่าคุณสามารถสร้างอะไรได้บ้าง ให้คลิก SERP API Playground ใต้แท็บ Access Parameters ตอนนี้ฉันจะใช้ข้อความค้นหาเดียวกันกับที่ป้อนใน Google Search นั่นคือ “การวิเคราะห์ SERP” และฉันจะใส่ไว้ที่นี่ มีการตั้งค่าที่แตกต่างกันจำนวนหนึ่ง คุณสามารถเลือกผลการค้นหาที่คุณต้องการดู - Google, Bing, Yandex, Duck Duck Go สำหรับฉัน เรากำหนดเป้าหมายไปที่ Google เป็นส่วนใหญ่เพราะเป็นลูกค้ารายใหญ่ จากนั้นเราสามารถเลือกได้ว่าจะทำการค้นหา แผนที่ เทรนด์ หรือบทวิจารณ์ มีการตั้งค่าต่างๆ มากมายที่คุณสามารถทำเครื่องหมายเปิดและปิดได้ที่นี่

ตอนนี้สำหรับฉัน ฉันทำงานใน Python ฉันมักจะสลับไปใช้ Python เสมอ และที่เจ๋งคือฉันยังสามารถเห็นเอาต์พุต HTML และ JSON ด้วยข้อความค้นหานี้ เมื่อฉันกดค้นหา มันจะทำสิ่งดีๆ มันให้ Python จริงที่ฉันต้องใช้เพื่อเรียกสิ่งนี้ แต่จากนั้นฉันก็เห็นผลลัพธ์ด้านล่าง และฉันสามารถคลิกที่แต่ละองค์ประกอบเหล่านี้ได้ และมันจะดึงมันขึ้นมาด้านข้างให้ฉัน ฉันสามารถเห็นองค์ประกอบต่างๆ ฉันสามารถดูส่วน "ผู้คนยังถาม" และฉันสามารถเห็นคำตอบในส่วนนั้น ฉันสามารถดูผลการค้นหาได้เอง ฉันเห็นว่ามีวิดีโอบางรายการในผลการค้นหานี้ และฉันเห็นการค้นหาที่เกี่ยวข้อง ในการโทรด่วนครั้งเดียว ฉันได้ข้อมูลมากมาย

ตอนนี้พวกคุณบางคนอาจกำลังคิดว่า ฉันไม่รู้ว่าจะทำอย่างไรกับข้อมูล JSON-LD นี้ มันไม่มีประโยชน์เลยสำหรับฉัน และอาจทำให้สับสนเล็กน้อย แต่ความจริงก็คือ มันค่อนข้างง่ายที่จะทำลายลง แต่เพื่อให้ง่ายยิ่งขึ้น ฉันได้สร้างสมุดบันทึก CoLab ที่คุณสามารถเสียบปลั๊กและเล่นได้ทันทีเมื่อคุณตั้งค่าด้วย Bright Data

สิ่งที่ฉันต้องการทำคือทำความเข้าใจคำถามนี้ให้ดีขึ้นด้วยตัวฉันเอง เราใส่ข้อความค้นหาใน Google CoLab เราตั้งค่าการเรียก API แล้วคุณจะเห็นข้อมูลการค้นหาของ Google ตอนนี้ ทั้งหมดนี้ซ้อนอยู่ใน JSON และการเห็นว่าสิ่งนี้ไม่ได้มีประโยชน์มากที่สุดสำหรับเรา แต่ถ้าฉันต้องการทำความเข้าใจเกี่ยวกับสิ่งนี้และนำไปใช้ในการวางแผนกลยุทธ์ ฉันสามารถแยกย่อยได้

ภาพรวมข้อมูล SERP ใน Google CoLab

สิ่งแรกที่ฉันทำคือสร้างสิ่งที่เรียกว่าภาพรวมข้อมูล SERP นี่เป็นเพียงการบอกฉันภายในตารางง่ายๆ เครื่องมือค้นหาที่ฉันใช้ ข้อความค้นหา จำนวนผลลัพธ์สำหรับคำนี้ และข้อมูลอื่นๆ เล็กน้อย เช่น ภาษาและชื่อหน้า สิ่งที่ฉันสนใจคือผลอินทรีย์ คุณจะเห็นลิงก์ (ทั้งหมด 10 อันดับแรกตามลำดับ) ชื่อเรื่อง คำอธิบาย และส่วนขยายใดๆ ที่หน้าเว็บเหล่านั้นอาจมี มีข้อมูลอื่นๆ เช่น ข้อความในบรรทัดหรือการให้คะแนนดาว ลิงก์ของไซต์ และเริ่มแสดงคุณลักษณะบางอย่างของ SERP ให้ฉันเห็น

และแล้วฉันก็ได้เห็นอันดับ คุณจะได้อันดับแบบออร์แกนิกและอันดับระดับโลก อันดับโลกคือการจัดอันดับภายในองค์ประกอบทั้งหมดในหน้า ลิงก์นี้อยู่ในอันดับหนึ่งในผลการค้นหาทั่วไป แต่อยู่ในอันดับที่หกของหน้า ทำไมถึงเป็นเช่นนั้น? หากเรากลับไปที่ผลการค้นหา คุณจะสังเกตเห็นตัวอย่างข้อมูลแนะนำและคำถาม "คนถามด้วย" สี่ข้อ

ผลลัพธ์แรกคือหกลงบนหน้าซึ่งบอกเราได้มาก นี่คือผลการค้นหาที่มีการแข่งขันสูง และผลการค้นหาทั้งหมดจะถูกลดระดับลงตามองค์ประกอบต่างๆ ที่อยู่ในหน้า

เป็นอีกครั้งที่สิ่งนี้มีประโยชน์สำหรับฉันที่จะตระหนักว่า "ผู้ชาย ถ้าฉันได้อันดับหนึ่งสำหรับคำนั้น ฉันก็จะเป็นหมายเลขหก" ฉันจะมีพลังงานและโฟกัสมากน้อยเพียงใดสำหรับคำนี้หากฉันไม่สามารถได้รับตามความสามารถในการแข่งขัน ฉันเริ่มได้รับข้อมูลเชิงลึกแล้ว

สิ่งที่ยอดเยี่ยมอีกอย่างคือฉันสามารถเห็นสิ่งอื่น ๆ ที่สามารถกำหนดเป้าหมายได้ เนื่องจาก "ผู้คนยังถาม" อยู่ในอันดับที่สูงกว่าอันดับที่หนึ่ง ฉันอาจต้องการจัดอันดับหรือกำหนดเป้าหมายคำเหล่านี้ คำถามเหล่านี้คืออะไร? จากนั้นฉันสามารถสร้างเนื้อหาเฉพาะเพื่อ จัดอันดับในตำแหน่งเหล่านั้น คุณจะเห็นคำถาม คำตอบ และลิงก์ที่เราสามารถใช้ทำวิจัยได้

เรายังสามารถดึงคำศัพท์ที่เกี่ยวข้อง เราสามารถพูดว่า "บางทีคำนี้อาจดูมีการแข่งขันสูงไปหน่อย แต่นี่เป็นคำศัพท์ที่เกี่ยวข้องบางคำที่ฉันสามารถใช้ต่อไปได้" ซึ่งก็เจ๋งเหมือนกัน ตอนนี้ฉันได้รับการวิจัยคำหลัก ฉันเข้าใจผลการค้นหาดีขึ้นเล็กน้อย และกำลังได้แนวคิดบางอย่างเกี่ยวกับกลยุทธ์ที่ฉันสามารถทำได้

วิเคราะห์แนวโน้ม

ตอนนี้ฉันต้องการใช้การวิเคราะห์แนวโน้มของพวกเขาด้วย ที่ด้านบนของหน้า คุณจะเห็นว่าตัวเลือกหนึ่งคือแนวโน้ม และฉันสามารถใส่ข้อความค้นหาเดียวกัน "การวิเคราะห์ SERP" และฉันสามารถค้นหาได้ ทีนี้สิ่งที่เกี่ยวกับสิ่งนี้คือคุณจะไม่เห็น HTML และสคริปต์ Python คุณจะได้รับข้อมูล JSON ดิบนี้ และส่วนใหญ่ซ้อนกันเพราะมีข้อมูลต่างๆ มากมายที่นี่ และอีกอย่าง การประมวลผลมันอาจจะยากสักหน่อย นี่คือที่ที่ CoLab มีประโยชน์อีกครั้ง

เรากำลังเรียกใช้แบบสอบถามและดึงข้อมูลทั้งหมด และคุณอาจคิดว่า "ไม่สมเหตุสมผลเลย" จากนั้นเราเริ่มประมวลผลข้อมูลและเราจะได้ไทม์ไลน์ ในช่วง 12 เดือนที่ผ่านมา เราเห็นว่า “การวิเคราะห์ SERP” หยุดทำงาน และจากนั้นมันก็เด้งกลับขึ้นมา เริ่มถูกค้นหาบ่อย มีแนวโน้มสูงขึ้นตั้งแต่วันที่ 28 สิงหาคม

เรายังสามารถดึงคำหลักที่เกี่ยวข้องจากการวิเคราะห์แนวโน้ม ฉันสามารถดึงคำหลักและฉันเห็นว่ามันมีค่ามากเพียงใด สิ่งเหล่านี้กำลังได้รับความนิยม - "เครื่องมือวิเคราะห์ SERP," "การวิเคราะห์ SERP," "การวิเคราะห์ Google SERP ฟรี" สิ่งเหล่านี้มีความสำคัญมากกว่าบางอย่างเช่น “บทช่วยสอน GPT-3” เล็กน้อย อีกครั้ง ฉันเริ่มได้รับแนวคิดคำหลักเพิ่มเติมและผลไม้ห้อยต่ำที่อาจไม่ได้รับความนิยมเท่าคำเป้าหมาย แต่มันอาจจะง่ายกว่าสำหรับฉันในการจัดอันดับ

ตอนนี้ การดูคีย์เวิร์ดที่เกี่ยวข้องในตารางเป็นสิ่งที่ดี แต่เราสามารถแสดงภาพด้วย Python Python มีประโยชน์เพราะเราสามารถดูได้ว่าอันไหนโดดเด่น และเรารู้ว่าอันไหนสำคัญกว่าและอันไหนสำคัญน้อยกว่า

หัวข้อที่เกี่ยวข้อง

เรายังสามารถดึงหัวข้อที่เกี่ยวข้องโดยใช้ Bright Data SERP API และสำหรับฉัน นี่อาจเป็นส่วนที่ฉันชอบเมื่อจับคู่กับสิ่งที่ฉันรู้เกี่ยวกับผลการค้นหาในตอนนี้

อีกครั้ง เราสามารถถ่ายโอนข้อมูลนี้ลงในตาราง ฉันสามารถดูชื่อหัวข้อและฉันยังสามารถดูประเภทได้อีกด้วย จากนั้นถ้าฉันเลื่อนลงมา ฉันสร้างกราฟต่างๆ และเราจะเห็นข้อความค้นหาเกี่ยวกับหัวข้อที่เฉพาะเจาะจง ข้อความค้นหาบางอย่างเกี่ยวกับเว็บไซต์ และข้อความค้นหาบางอย่างเกี่ยวกับประเภทของซอฟต์แวร์ เราเริ่มเข้าใจหน่วยงานที่เกี่ยวข้องที่นี่มากขึ้น ซึ่งเรารู้ว่ามีความสำคัญ เราได้พูดคุยเกี่ยวกับข้อมูลที่มีโครงสร้างและสิ่งอื่นๆ ในช่องนี้ ฉันเห็นได้ว่าพวกเขาจัดกลุ่มกันอย่างไร ยิ่งมีขนาดใหญ่ก็ยิ่งได้รับความนิยมมาก ยิ่งมีขนาดเล็กก็ยิ่งได้รับความนิยมน้อยลง ฉันสามารถเริ่มเข้าใจภาพรวมของสิ่งที่เกิดขึ้นกับผลการค้นหา

การสร้างและรายงาน HTML

นี่เป็นข้อมูลจำนวนมากที่ต้องดำเนินการ และเราอาจต้องการแบ่งปันกับผู้อื่น เราสามารถสร้างรายงาน HTML โดยใช้ข้อมูลทั้งหมดนี้ด้วยความช่วยเหลือจาก Python เช่นกัน เราสามารถเรียกใช้โค้ดและดูการวิเคราะห์แบบสอบถาม SERP เราจะดูว่าผลการค้นหาเป็นอย่างไร และข้อมูลเจ๋งๆ ทั้งหมด เมื่อคุณเลื่อนลงมา คุณจะเห็นคำที่เกี่ยวข้อง การวิเคราะห์แนวโน้มของข้อความค้นหาที่เรากำลังกำหนดเป้าหมาย คำที่เกี่ยวข้อง และหัวข้อที่เกี่ยวข้อง ตอนนี้ฉันสามารถใช้ข้อมูลนี้และดูกลยุทธ์ในการจัดอันดับในหน้านี้ และทำความเข้าใจว่าเกิดอะไรขึ้นในผลการค้นหา

นี่คือ API ที่ยอดเยี่ยมมาก มีค่าใช้จ่ายเล็กน้อย แต่ก็สมเหตุสมผลมาก ฉันคิดว่ามันอยู่ที่ 3 ดอลลาร์ต่อการโทร 1,000 ครั้ง แต่จากนั้นคุณสามารถเข้าไปและเริ่มทำความเข้าใจกับผลการค้นหาได้ เพราะมันเปลี่ยนไปมาก การค้นหากำลังเปลี่ยนแปลง และผลลัพธ์การค้นหาก็เปลี่ยนไป สิ่งนี้จะช่วยให้คุณมีความคิดที่ดีขึ้นเกี่ยวกับเนื้อหาที่มีการจัดอันดับ ตอบคำถามบางข้อเกี่ยวกับสาเหตุที่เนื้อหาได้รับการจัดอันดับ และแสดงบางสิ่งที่คุณต้องทำเพื่อให้ได้ผลลัพธ์ที่ดีขึ้นด้วยตัวคุณเอง

หากคุณตรวจสอบ Bright Data SERP API โปรดแจ้งให้เราทราบและส่งอีเมลถึงฉัน ฉันจะส่งสำเนาของไฟล์ CoLab นี้ให้คุณ จากนั้นคุณสามารถเสียบข้อมูลของคุณและเริ่มสนุกกับผลการค้นหาได้เช่นกัน

หากคุณมีคำถามใด ๆ ติดต่อเรา ! ฉันชอบที่จะสนทนากับคุณต่อไป และจนกว่าจะถึงครั้งต่อไป!