¿Qué es el robot de Google? Todo lo que necesita saber sobre la indexación de Google

¿Qué es el robot de Google?

Googlebot es el nombre del rastreador web de Google. “Lee” las páginas web y las indexa para que se puedan servir a los buscadores en respuesta a sus términos de búsqueda.

Googlebot tiene dos trabajos críticos:

1. Explora continuamente las páginas web en busca de nuevos enlaces para poder indexar tanto contenido como sea posible, y
2. Recopila nueva información sobre las páginas para mantener actualizado el índice de Google.

Si bien solo hay un nombre, en realidad hay dos tipos de Googlebots: uno para dispositivos móviles (Googlebot Smartphone) y otro para escritorio (Googlebot Desktop). El primero verifica qué tan bien se muestra su sitio en teléfonos inteligentes y tabletas, mientras que el segundo se enfoca en la versión de escritorio de su sitio web.

La optimización de Googlebot se trata de facilitar que Google acceda, rastree y "lea" su sitio web. Si bien muchas tácticas de SEO afectan el rendimiento de búsqueda, existen algunas implementaciones imprescindibles que mejoran la "indexabilidad" de su sitio y pueden influir directamente en si sus páginas están disponibles o no para los usuarios de Google. Además de las tácticas de SEO en la página y fuera de la página, su estrategia de SEO debe incluir objetivos técnicos de SEO para ayudarlo a aumentar sus posibilidades de aparecer en los resultados del motor de búsqueda.

¿Por qué centrarse solo en Googlebot? ¿Qué pasa con los rastreadores de los otros motores de búsqueda? Bueno, dado que Google actualmente tiene el 92% del mercado de búsqueda, es probable que la mayoría de su público objetivo lo esté usando. Sin embargo, las recomendaciones que siguen deberían facilitar que todos los rastreadores lean sus páginas.

¿Cómo funciona la indexación de Google?

Cuando Google indexa un sitio, esencialmente lo agrega a su base de datos de conocimiento y toma nota de qué tratan las páginas, qué tan fáciles de usar son y más. Pero, ¿cómo sabe Googlebot que existe un sitio web y que debe indexarse?

Si ha creado un sitio web anteriormente, probablemente haya notado que no obtuvo tráfico orgánico tan pronto como lo publicó. Esto se debe a que debe hacer que Googlebot conozca su sitio web para que pueda rastrear sus páginas. Puede hacer esto enviando su mapa del sitio XML a Google Search Console (anteriormente herramientas para webmasters de Google).

Googlebot rastrea su sitio web utilizando mapas del sitio y bases de datos de enlaces de rastreos anteriores. Cuando encuentra un nuevo enlace en su sitio web, lo agrega a la lista de páginas para visitar. Tanto Googlebot Desktop como Googlebot Smartphone actualizarán el índice si encuentran enlaces rotos u otros problemas.

Este es el índice del que Google extrae cuando recibe una consulta. Luego usa pistas contextuales de la búsqueda para determinar cómo clasificar los resultados relevantes.

¿Con qué frecuencia rastrea Google mi sitio?

Google rastrea las URL a diferentes velocidades. Si bien algunas URL pueden rastrearse todos los días, otras solo pueden rastrearse semanal o mensualmente. A menos que indique lo contrario en su archivo robots.txt o en sus etiquetas meta robots, Googlebot intentará viajar a cada página de su sitio web y registrar la información en el camino para que pueda comprender mejor su contenido y actualizar su índice.

Si bien hasta ahora me he centrado principalmente en el rastreador Googlebot, quiero señalar que en realidad hay varios rastreadores web de Google. Puede encontrar la lista completa de rastreadores de Google aquí.

Si tiene curiosidad acerca de la frecuencia con la que Google rastrea e indexa su sitio, vaya a Google Search Console (GSC). Encontrará su informe de estadísticas de rastreo en la configuración.

5 pasos para optimizar su sitio para Googlebot

Siga estos cinco sencillos pasos para mantener su sitio accesible para las arañas de los motores de búsqueda, de modo que sus páginas puedan encontrarse en la búsqueda.

1. Mantenga su código simple

Una gran parte de aumentar la capacidad de rastreo de su sitio web es simplificar las cosas. Google no rastreará Flash, Ajax, marcos, cookies, ID de sesión o DHTML, y lleva más tiempo indexar JavaScript porque tiene que procesarlo.

Al crear su sitio web, es esencial seguir las pautas generales y de calidad de Google para evitar problemas de rastreo y facilitar la indexación de sus páginas.

2. Verifique sus robots.txt

Un archivo robots.txt le dice a Googlebot a qué URL puede acceder en su sitio. Utilice directivas de robot.txt para evitar sobrecargar su sitio con solicitudes y ahorrar más presupuesto de rastreo para las páginas que desea que los motores de búsqueda indexen. Sin robots.txt, Googlebot podría pasar demasiado tiempo indexando medios, archivos de recursos u otras páginas sin importancia que no desea incluir en los resultados de búsqueda. Robots.txt es una directiva de todo el protocolo. Solo debe tener uno en su sitio web a menos que tenga varios subdominios. Para administrar Googlebot y rastreadores página por página, use etiquetas de meta robot.

3. Usa enlaces internos

Los enlaces internos son hipervínculos que lo llevan de una página a otra en el mismo sitio web. Pueden ser de navegación (piense en menús, barras laterales, encabezados, pies de página) o pueden ser contextuales (colocados en el cuerpo de una página). Para que a Googlebot le resulte más fácil encontrar sus páginas y comprender cómo se relacionan entre sí, use enlaces internos para enfatizar la jerarquía de su sitio. Todas sus páginas deben estar vinculadas entre sí de alguna manera. Por ejemplo, su página de inicio debe vincular a sus páginas de servicios, sus estudios de casos y su blog. Cada uno de ellos debe vincularse a páginas relevantes.

Obtenga más información sobre las mejores prácticas de enlaces internos aquí.

Consulte su Informe de enlaces en GSC para asegurarse de que sus páginas más importantes, como su página de inicio y sus páginas de servicios, estén recibiendo la mayor cantidad de enlaces. Esto le indica a Google que son las páginas más importantes de su sitio.

4. Crear un mapa del sitio XML

Para facilitar que Googlebot rastree su sitio web, proporcione un mapa del sitio XML que organice todas sus páginas para que el rastreador web comprenda la jerarquía de su sitio rápidamente. (No estoy seguro de qué es un mapa del sitio XML, vea un ejemplo de mapa del sitio y obtenga más información aquí).

Envíe su mapa del sitio XML a Google a través de GSC durante el proceso de verificación.

Si no está utilizando un sistema de administración de contenido (CMS) que actualice dinámicamente su mapa del sitio por usted, asegúrese de actualizar manualmente su mapa del sitio XML y volver a enviarlo cuando realice cambios en la jerarquía de su sitio. Simplemente haga clic en "Sitemaps" en la barra lateral izquierda. Esto ayudará a garantizar que Google esté indexando las páginas apropiadas en su sitio web.

5. Solicite la indexación de Google

Cuando publica una nueva página o realiza actualizaciones significativas en el contenido existente, no tiene que esperar hasta que Google los encuentre; dígale a Google que tiene una página nueva o actualizada para que la escaneen solicitando la indexación.

Inicie sesión en su GSC e ingrese la URL que desea indexar a la izquierda del ícono de lupa en la parte superior de la página y presione enter.

Google notará que está recuperando datos.

Y luego le dirá si su página ya está indexada.

Si no es así, puede solicitar la indexación. Si su página está indexada y ha realizado cambios significativos en ella, también puede solicitar la indexación.

Si agrega páginas a su sitio con frecuencia, como una nueva publicación de blog o una página de producto, haga que este proceso sea parte de sus mejores prácticas para asegurarse de que todas sus páginas se indexen sin demora.

Cuatro formas de analizar cómo Googlebot rastrea su sitio

Una vez que haya optimizado su sitio para que sea más fácil de leer para un rastreador de motores de búsqueda, querrá volver a verificar que se haya rastreado e indexado correctamente.

Estadísticas de rastreo

Sus estadísticas de rastreo muestran cuántas solicitudes de rastreo totales envió Googlebot a su servidor y cuándo y si encontró algún problema.

Su informe de estadísticas de rastreo en Google Search Console también muestra lo que Googlebot encontró (respuestas de rastreo), los tipos de archivo que encontró, si Googlebot estaba descubriendo nuevas páginas o reindexando las antiguas, y qué tipos de Googlebot se han utilizado para rastrear su sitio.

Al hacer clic en una línea de pedido en su informe de estadísticas de rastreo, obtendrá información adicional. Por ejemplo, si desea averiguar qué páginas devuelven un error 404, haga clic en esa línea en el cuadro de respuestas de rastreo para acceder a una lista de URL que Googlebot no pudo encontrar y cuándo intentó rastrear esas páginas por última vez.

Al hacer clic en las líneas de pedido "actualizar" o "descubrir" en Propósito del rastreo, puede ver qué URL ha indexado Googlebot recientemente. Si ve que sus páginas más recientes no se han indexado, puede enviarlas fácilmente usando la barra de búsqueda en la parte superior del informe.

Errores de rastreo

Los errores de rastreo ocurren cuando los motores de búsqueda no pueden acceder a una de sus páginas. Puede identificar dos tipos de errores de rastreo de Googlebot en su informe de rastreo que pueden afectar negativamente su SEO:

1. Errores del sitio: cuando tiene un error en el sitio, es posible que Googlebot no pueda rastrear su sitio. Los errores del sitio pueden ser causados ​​por archivos robot.txt faltantes o inaccesibles, fallas en la resolución de DNS o problemas de conectividad del servidor.
2. Errores de URL: con un error de URL, Googlebot no puede rastrear una página en particular. Puede tener varios errores de URL a la vez.

Moz hace un gran trabajo al compartir cómo corregir los errores de rastreo.

URL bloqueadas

Si hay secciones de su sitio a las que no desea que acceda el rastreador de Google, puede especificar esos directorios en robots.txt para proporcionar información sobre cómo los robots deben indexar su contenido.

Verifique su GSC para ver la cantidad de URL bloqueadas que Google reconoce para asegurarse de que su archivo robots.txt esté funcionando. Si la cantidad de URL bloqueadas es menor de lo que debería ser, deberá editar su archivo robots.txt. Por el contrario, si el número es más alto de lo que debería ser, es posible que haya páginas bloqueadas inadvertidamente para que no se rastreen y que desee que aparezcan en los resultados de búsqueda.

Parámetros de URL

Los parámetros de URL, también conocidos como cadenas de consulta, le permiten agregar información adicional al final de las URL dinámicas. Si ha visitado contenido paginado, como resultados de búsqueda de productos en un sitio de comercio electrónico, es probable que haya visto "?page=2" o algo similar al final de la URL de la página. Ese es un parámetro de URL. Estos parámetros también se pueden utilizar para:

• filtros de contenido
• Traducciones
• búsquedas en el sitio
• Seguimiento

Si desea utilizar parámetros en sus URL, considere si desea acceder a ellos e indexarlos, ya que pueden generar problemas importantes como contenido duplicado, presupuesto de rastreo desperdiciado y problemas de seguimiento.

Puede seguir estos pasos para bloquear el rastreo de contenido parametrizado.

Obtenga más información sobre las herramientas de Google para SEO

Google ofrece una variedad de herramientas para ayudarlo a medir el rendimiento de su sitio. Aprovéchalos para monitorear y mejorar tu estrategia SEO.

Nuestra Guía de herramientas de Google lo guiará a través de cada una de las herramientas de SEO gratuitas de Google y desglosará los conceptos técnicos en capítulos prácticos y fáciles de entender repletos de recursos adicionales.

Una guía de herramientas de Google para SEO

Descargue esta guía para aprender cómo hacer el mejor uso de las poderosas herramientas gratuitas que proporciona Google para mejorar sus procesos y rendimiento de SEO.