Googlebot คืออะไร? ทุกสิ่งที่คุณจำเป็นต้องรู้เกี่ยวกับการจัดทำดัชนีของ Google

Googlebot คืออะไร?

Googlebot คือชื่อโปรแกรมรวบรวมข้อมูลเว็บของ Google มัน "อ่าน" หน้าเว็บและจัดทำดัชนีเพื่อให้สามารถให้บริการแก่ผู้ค้นหาตามคำค้นหาของพวกเขา

Googlebot มีงานที่สำคัญสองงาน:

1. มันสำรวจหน้าเว็บอย่างต่อเนื่องเพื่อหาลิงก์ใหม่ ๆ เพื่อให้สามารถจัดทำดัชนีเนื้อหาได้มากที่สุดและ
2. รวบรวมข้อมูลใหม่เกี่ยวกับหน้าเว็บเพื่อให้ดัชนีของ Google เป็นปัจจุบัน

แม้ว่าจะมีเพียงชื่อเดียว แต่จริงๆ แล้ว Googlebot มีอยู่สองประเภท: ประเภทหนึ่งสำหรับมือถือ (สมาร์ทโฟน Googlebot) และอีกประเภทหนึ่งสำหรับเดสก์ท็อป (Googlebot Desktop) แบบแรกตรวจสอบว่าไซต์ของคุณแสดงผลบนสมาร์ทโฟนและแท็บเล็ตได้ดีเพียงใด ในขณะที่ส่วนหลังเน้นที่เวอร์ชันเดสก์ท็อปของเว็บไซต์ของคุณ

การเพิ่มประสิทธิภาพ Googlebot คือการทำให้ Google เข้าถึง รวบรวมข้อมูล และ "อ่าน" เว็บไซต์ของคุณได้ง่ายขึ้น แม้ว่ากลยุทธ์ SEO จำนวนมากจะส่งผลต่อประสิทธิภาพการค้นหา แต่ก็มีการใช้งานที่จำเป็นจำนวนหนึ่งซึ่งจะช่วยปรับปรุง "ความสามารถในการจัดทำดัชนี" ของไซต์ของคุณ และสามารถส่งผลโดยตรงต่อว่าหน้าเว็บของคุณจะพร้อมใช้งานสำหรับผู้ใช้ Google หรือไม่ นอกจากกลยุทธ์ SEO บนหน้าและนอกหน้าแล้ว กลยุทธ์ SEO ของคุณควรรวมวัตถุประสงค์ทางเทคนิค SEO ไว้ด้วยเพื่อช่วยให้คุณเพิ่มโอกาสในการแสดงในผลลัพธ์ของเครื่องมือค้นหา

เหตุใดจึงเน้นที่ Googlebot เท่านั้น แล้วโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาอื่นๆ ล่ะ เนื่องจากปัจจุบัน Google มีตลาดการค้นหาถึง 92% กลุ่มเป้าหมายส่วนใหญ่ของคุณจึงมีแนวโน้มที่จะใช้ อย่างไรก็ตาม คำแนะนำที่ตามมาควรช่วยให้โปรแกรมรวบรวมข้อมูลทั้งหมดอ่านหน้าเว็บของคุณได้ง่ายขึ้น

การจัดทำดัชนีของ Google ทำงานอย่างไร

เมื่อ Google จัดทำดัชนีเว็บไซต์ จะเป็นการเพิ่มลงในฐานข้อมูลความรู้ของเว็บไซต์เป็นหลัก และจดบันทึกว่าหน้านั้นเกี่ยวกับอะไร เป็นมิตรกับผู้ใช้อย่างไร และอื่นๆ แต่ Googlebot รู้ได้อย่างไรว่ามีเว็บไซต์อยู่และควรจัดทำดัชนี

หากคุณเคยสร้างเว็บไซต์มาก่อน คุณอาจสังเกตเห็นว่าคุณไม่ได้รับการเข้าชมที่เกิดขึ้นเองทันทีที่คุณเผยแพร่ นั่นเป็นเพราะว่าคุณต้องทำให้ Googlebot รู้จักเว็บไซต์ของคุณเพื่อให้สามารถรวบรวมข้อมูลหน้าเว็บของคุณได้ คุณสามารถทำได้โดยส่งแผนผังไซต์ XML ของคุณไปที่ Google Search Console (เดิมคือ Google Webmaster tools)

Googlebot รวบรวมข้อมูลเว็บไซต์ของคุณโดยใช้แผนผังเว็บไซต์และเชื่อมโยงฐานข้อมูลจากการรวบรวมข้อมูลที่ผ่านมา เมื่อพบลิงค์ใหม่บนเว็บไซต์ของคุณ มันจะเพิ่มเข้าไปในรายการของหน้าที่จะเยี่ยมชม ทั้ง Googlebot Desktop และ Googlebot Smartphone จะอัปเดตดัชนีหากพบลิงก์ที่เสียหรือปัญหาอื่นๆ

นี่คือดัชนีที่ Google ดึงออกมาเมื่อได้รับข้อความค้นหา จากนั้นจะใช้เบาะแสบริบทจากการค้นหาเพื่อกำหนดวิธีจัดอันดับผลลัพธ์ที่เกี่ยวข้อง

Google รวบรวมข้อมูลเว็บไซต์ของฉันบ่อยแค่ไหน?

Google รวบรวมข้อมูล URL ในอัตราที่ต่างกัน แม้ว่าบาง URL อาจมีการรวบรวมข้อมูลทุกวัน แต่บาง URL อาจได้รับการรวบรวมข้อมูลเป็นรายสัปดาห์หรือรายเดือนเท่านั้น เว้นแต่คุณจะระบุไว้เป็นอย่างอื่นในไฟล์ robots.txt หรือในแท็ก meta robots ของคุณ Googlebot จะพยายามเดินทางไปยังทุกหน้าบนเว็บไซต์ของคุณและบันทึกข้อมูลไปพร้อมกัน เพื่อให้สามารถเข้าใจเนื้อหาของคุณได้ดีขึ้นและอัปเดตดัชนี

แม้ว่าฉันจะเน้นไปที่โปรแกรมรวบรวมข้อมูล Googlebot เป็นหลัก แต่ฉันต้องการทราบว่าจริงๆ แล้วมีโปรแกรมรวบรวมข้อมูลเว็บของ Google หลายตัว คุณสามารถค้นหารายการโปรแกรมรวบรวมข้อมูลของ Google ทั้งหมดได้ที่นี่

หากคุณสงสัยว่า Google รวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์ของคุณบ่อยเพียงใด ให้ไปที่ Google Search Console (GSC) คุณจะพบรายงานสถิติการรวบรวมข้อมูลของคุณภายใต้การตั้งค่า

5 ขั้นตอนในการเพิ่มประสิทธิภาพเว็บไซต์ของคุณสำหรับ Googlebot

ปฏิบัติตามห้าขั้นตอนง่ายๆ เหล่านี้เพื่อให้ไซต์ของคุณสามารถเข้าถึงได้โดยสไปเดอร์ของเครื่องมือค้นหา เพื่อให้หน้าของคุณสามารถค้นหาได้ในการค้นหา

1. รักษารหัสของคุณให้เรียบง่าย

ส่วนใหญ่ในการเพิ่มความสามารถในการรวบรวมข้อมูลของเว็บไซต์ของคุณคือการทำให้ทุกอย่างง่ายขึ้น Google จะไม่รวบรวมข้อมูล Flash, Ajax, เฟรม, คุกกี้, รหัสเซสชัน หรือ DHTML และใช้เวลาในการจัดทำดัชนี JavaScript นานกว่าเนื่องจากต้องแสดงผล

เมื่อสร้างเว็บไซต์ของคุณ จำเป็นต้องปฏิบัติตามหลักเกณฑ์ทั่วไปและคุณภาพของ Google เพื่อหลีกเลี่ยงปัญหาการรวบรวมข้อมูลและทำให้ดัชนีหน้าเว็บของคุณง่ายขึ้น

2. ตรวจสอบ Robots.txt . ของคุณ

ไฟล์ robots.txt จะบอก Googlebot ว่า URL ใดที่สามารถเข้าถึงบนไซต์ของคุณได้ ใช้คำสั่ง robot.txt เพื่อหลีกเลี่ยงไม่ให้ไซต์ของคุณโหลดคำขอมากเกินไป และประหยัดงบประมาณการรวบรวมข้อมูลมากขึ้นสำหรับหน้าเว็บที่คุณต้องการจัดทำดัชนีโดยเครื่องมือค้นหา หากไม่มี robots.txt Googlebot อาจใช้เวลาในการจัดทำดัชนีสื่อ ไฟล์ทรัพยากร หรือหน้าที่ไม่สำคัญอื่นๆ ที่คุณไม่ต้องการให้รวมอยู่ในผลการค้นหามากเกินไป Robots.txt เป็นคำสั่งทั่วทั้งโปรโตคอล คุณควรมีเพียงหนึ่งโดเมนบนเว็บไซต์ของคุณ เว้นแต่คุณจะมีหลายโดเมนย่อย ในการจัดการ Googlebot และโปรแกรมรวบรวมข้อมูลแบบทีละหน้า ให้ใช้เมตาแท็กโรบ็อต

3. ใช้การเชื่อมโยงภายใน

ลิงก์ภายในคือไฮเปอร์ลิงก์ที่นำคุณจากหน้าหนึ่งไปยังอีกหน้าหนึ่งบนเว็บไซต์เดียวกัน อาจเป็นการนำทาง (เมนูคิดว่า แถบด้านข้าง ส่วนหัว ส่วนท้าย) หรืออาจเป็นบริบทก็ได้ (วางไว้ในเนื้อหาของหน้า) เพื่อให้ Googlebot ค้นหาหน้าเว็บของคุณได้ง่ายขึ้นและเข้าใจว่าหน้าเว็บมีความสัมพันธ์กันอย่างไร ให้ใช้ลิงก์ภายในเพื่อเน้นย้ำลำดับชั้นของไซต์ของคุณ หน้าทั้งหมดของคุณควรเชื่อมโยงกันอย่างใด ตัวอย่างเช่น หน้าแรกของคุณควรเชื่อมโยงไปยังหน้าบริการ กรณีศึกษา และบล็อกของคุณ แต่ละรายการควรเชื่อมโยงไปยังหน้าที่เกี่ยวข้อง

เรียนรู้เพิ่มเติมเกี่ยวกับแนวทางปฏิบัติที่ดีที่สุดสำหรับการลิงก์ภายในที่นี่

ตรวจสอบรายงานลิงก์ของคุณใน GSC เพื่อให้แน่ใจว่าหน้าที่สำคัญที่สุดของคุณ เช่น หน้าแรกและหน้าบริการของคุณ ได้รับลิงก์มากที่สุด สิ่งนี้บ่งชี้ให้ Google ทราบว่าหน้าเหล่านี้เป็นหน้าที่สำคัญที่สุดในเว็บไซต์ของคุณ

4. สร้างแผนผังเว็บไซต์ XML

เพื่อให้ Googlebot รวบรวมข้อมูลเว็บไซต์ของคุณได้ง่าย ให้จัดเตรียมแผนผังเว็บไซต์ XML ที่จัดระเบียบหน้าทั้งหมดของคุณสำหรับโปรแกรมรวบรวมข้อมูลเว็บเพื่อให้เข้าใจลำดับชั้นของเว็บไซต์ของคุณอย่างรวดเร็ว (ไม่แน่ใจว่าแผนผังเว็บไซต์ XML คืออะไร ดูตัวอย่างแผนผังเว็บไซต์และเรียนรู้เพิ่มเติมที่นี่)

ส่งแผนผังเว็บไซต์ XML ของคุณไปยัง Google ผ่าน GSC ระหว่างกระบวนการตรวจสอบ

หากคุณไม่ได้ใช้ระบบจัดการเนื้อหา (CMS) ที่อัปเดตแผนผังเว็บไซต์ในแบบไดนามิก อย่าลืมอัปเดตแผนผังเว็บไซต์ XML ด้วยตนเองแล้วส่งใหม่เมื่อคุณทำการเปลี่ยนแปลงลำดับชั้นของเว็บไซต์ เพียงคลิกที่ “แผนผังเว็บไซต์” ที่แถบด้านข้างทางซ้ายมือ ซึ่งจะช่วยให้มั่นใจได้ว่า Google กำลังจัดทำดัชนีหน้าที่เหมาะสมในเว็บไซต์ของคุณ

5. ขอ Google Indexing

เมื่อคุณเผยแพร่หน้าใหม่หรืออัปเดตเนื้อหาที่มีอยู่ คุณไม่จำเป็นต้องรอจนกว่า Google จะพบ แจ้ง Google ว่าคุณมีหน้าใหม่หรือหน้าอัปเดตสำหรับให้สแกนโดยขอจัดทำดัชนี

ลงชื่อเข้าใช้ GSC ของคุณและป้อน URL ที่คุณต้องการสร้างดัชนีทางด้านซ้ายของไอคอนรูปแว่นขยายที่ด้านบนของหน้า แล้วกด Enter

Google จะสังเกตว่ากำลังดึงข้อมูล

จากนั้นจะบอกคุณว่าหน้าของคุณได้รับการจัดทำดัชนีแล้วหรือไม่

หากไม่เป็นเช่นนั้น คุณสามารถขอสร้างดัชนีได้ หากหน้าเว็บของคุณได้รับการจัดทำดัชนีและคุณได้ทำการเปลี่ยนแปลงที่สำคัญแล้ว คุณยังสามารถขอจัดทำดัชนีได้

หากคุณเพิ่มหน้าในไซต์ของคุณบ่อยๆ เช่น บล็อกโพสต์ใหม่หรือหน้าผลิตภัณฑ์ ให้ขั้นตอนนี้เป็นส่วนหนึ่งของแนวทางปฏิบัติที่ดีที่สุดของคุณ เพื่อให้คุณมั่นใจได้ว่าหน้าเว็บทั้งหมดของคุณได้รับการจัดทำดัชนีโดยไม่ชักช้า

สี่วิธีในการวิเคราะห์วิธีที่ Googlebot รวบรวมข้อมูลเว็บไซต์ของคุณ

เมื่อคุณปรับไซต์ของคุณให้เหมาะสมแล้วเพื่อให้โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาอ่านได้ง่ายขึ้น คุณจะต้องตรวจสอบอีกครั้งว่ามีการรวบรวมข้อมูลและจัดทำดัชนีอย่างถูกต้อง

สถิติการรวบรวมข้อมูล

สถิติการรวบรวมข้อมูลของคุณแสดงจำนวนคำขอรวบรวมข้อมูลทั้งหมดที่ Googlebot ส่งไปยังเซิร์ฟเวอร์ของคุณ และเมื่อใดและพบปัญหาใดๆ หรือไม่

รายงานสถิติการรวบรวมข้อมูลของคุณใน Google Search Console ยังแสดงสิ่งที่ Googlebot พบ (การตอบกลับของการรวบรวมข้อมูล) ประเภทของไฟล์ที่พบ ไม่ว่า Googlebot จะค้นพบหน้าใหม่หรือจัดทำดัชนีหน้าเก่าหรือไม่ และประเภทของ Googlebot ใดที่ใช้ในการรวบรวมข้อมูลเว็บไซต์ของคุณ

การคลิกที่รายการโฆษณาในรายงานสถิติการรวบรวมข้อมูลจะให้ข้อมูลเพิ่มเติม ตัวอย่างเช่น หากคุณต้องการทราบว่าหน้าใดส่งคืนข้อผิดพลาด 404 ให้คลิกที่บรรทัดนั้นในช่องตอบกลับการรวบรวมข้อมูลเพื่อไปยังรายการ URL ที่ Googlebot ไม่พบและเวลาที่พยายามรวบรวมข้อมูลหน้าเหล่านั้นครั้งล่าสุด

เมื่อคลิกที่รายการโฆษณา "รีเฟรช" หรือ "ค้นพบ" ภายใต้วัตถุประสงค์ในการรวบรวมข้อมูล คุณสามารถดู URL ที่ Googlebot ได้จัดทำดัชนีเมื่อเร็วๆ นี้ หากคุณเห็นว่าหน้าล่าสุดของคุณไม่ได้รับการจัดทำดัชนี คุณสามารถส่งหน้าล่าสุดได้อย่างง่ายดายโดยใช้แถบค้นหาที่ด้านบนของรายงาน

ข้อผิดพลาดในการรวบรวมข้อมูล

ข้อผิดพลาดในการรวบรวมข้อมูลเกิดขึ้นเมื่อเครื่องมือค้นหาไม่สามารถเข้าถึงหน้าใดหน้าหนึ่งของคุณ คุณสามารถระบุข้อผิดพลาดในการรวบรวมข้อมูลของ Googlebot ได้สองประเภทในรายงานการรวบรวมข้อมูลที่อาจส่งผลเสียต่อ SEO ของคุณ:

1. ข้อผิดพลาดของไซต์: เมื่อคุณมีข้อผิดพลาดเกี่ยวกับไซต์ Googlebot อาจไม่สามารถรวบรวมข้อมูลไซต์ของคุณได้ ข้อผิดพลาดของไซต์อาจเกิดจากไฟล์ robot.txt หายไปหรือไม่สามารถเข้าถึงได้ ความล้มเหลวในการแก้ไข DNS หรือปัญหาการเชื่อมต่อเซิร์ฟเวอร์
2. ข้อผิดพลาดของ URL: ด้วยข้อผิดพลาด URL Googlebot ไม่สามารถรวบรวมข้อมูลหน้าใดหน้าหนึ่งได้ คุณสามารถมีข้อผิดพลาด URL ได้หลายรายการพร้อมกัน

Moz แบ่งปันวิธีแก้ไขข้อผิดพลาดในการรวบรวมข้อมูลได้เป็นอย่างดี

URL ที่ถูกบล็อก

หากมีส่วนต่างๆ ในไซต์ของคุณที่คุณไม่ต้องการให้โปรแกรมรวบรวมข้อมูลของ Google เข้าถึง คุณสามารถระบุไดเร็กทอรีเหล่านั้นใน robots.txt เพื่อให้ข้อมูลเกี่ยวกับวิธีที่โรบ็อตควรจัดทำดัชนีเนื้อหาของคุณ

ตรวจสอบ GSC ของคุณเพื่อดูจำนวน URL ที่ถูกบล็อกที่ Google รู้จักเพื่อให้แน่ใจว่า robots.txt ของคุณทำงาน หากจำนวน URL ที่ถูกบล็อกต่ำกว่าที่ควรจะเป็น คุณจะต้องแก้ไขไฟล์ robots.txt ในทางกลับกัน หากตัวเลขสูงกว่าที่ควรจะเป็น อาจมีหน้าเว็บที่บล็อกไม่ให้รวบรวมข้อมูลโดยไม่ได้ตั้งใจซึ่งคุณต้องการให้ปรากฏในผลการค้นหา

พารามิเตอร์ URL

พารามิเตอร์ URL หรือที่เรียกว่าสตริงการสืบค้นช่วยให้คุณเพิ่มข้อมูลเพิ่มเติมที่ส่วนท้ายของ URL แบบไดนามิกได้ หากคุณเคยเข้าชมเนื้อหาที่มีการแบ่งหน้า เช่น ผลการค้นหาผลิตภัณฑ์ในไซต์อีคอมเมิร์ซ คุณอาจเห็น “?page=2” หรือสิ่งที่คล้ายกันที่ส่วนท้ายของ URL ของหน้า นั่นคือพารามิเตอร์ URL พารามิเตอร์เหล่านี้ยังใช้สำหรับ:

• ตัวกรองเนื้อหา
• คำแปล
• ค้นหาไซต์
• การติดตาม

หากคุณต้องการใช้พารามิเตอร์ใน URL ของคุณ ให้พิจารณาว่าต้องการให้เข้าถึงและจัดทำดัชนีหรือไม่ เนื่องจากพารามิเตอร์เหล่านี้อาจนำไปสู่ปัญหาที่สำคัญ เช่น เนื้อหาที่ซ้ำกัน งบประมาณการรวบรวมข้อมูลที่สูญเปล่า และปัญหาการติดตาม

คุณสามารถทำตามขั้นตอนเหล่านี้เพื่อบล็อกการตระเวนของเนื้อหาที่มีการกำหนดพารามิเตอร์

เรียนรู้เพิ่มเติมเกี่ยวกับ Google Tools สำหรับ SEO

Google มีเครื่องมือมากมายที่จะช่วยคุณวัดประสิทธิภาพของไซต์ ใช้ประโยชน์จากสิ่งเหล่านี้เพื่อตรวจสอบและปรับปรุงกลยุทธ์ SEO ของคุณ

Guide to Google Tools ของเราจะแนะนำคุณเกี่ยวกับเครื่องมือ SEO ฟรีแต่ละชิ้นจาก Google และแบ่งแนวคิดทางเทคนิคออกเป็นบทที่นำไปปฏิบัติได้จริงและเข้าใจง่าย ซึ่งเต็มไปด้วยทรัพยากรเพิ่มเติม

คู่มือ Google Tools สำหรับ SEO

ดาวน์โหลดคู่มือนี้เพื่อเรียนรู้วิธีใช้ประโยชน์สูงสุดจากเครื่องมือฟรีที่ทรงพลังที่ Google มีให้เพื่อปรับปรุงกระบวนการและประสิทธิภาพ SEO ของคุณ