Wiki SEO
El crawling es la forma en que los motores de búsqueda descubren e indexan páginas web. En otras palabras, es cómo los buscadores «saben» qué páginas web existen, para poder mostrar las respuestas más relevantes en las SERP cuando alguien busca información concreta. El término es amplio y también puede referirse al «presupuesto» de rastreo, la «profundidad» de rastreo, los «errores» de rastreo y mucho más.
En esencia, todo se reduce al procesamiento de una URL concreta. El crawling ocurre cuando un sitio web es analizado (rastreado) por uno o varios bots. Estos bots analizan el código y el contenido de una página específica y recopilan información sobre la intención de tu contenido. Los crawlers (o bots) también examinan los enlaces internos y externos durante el proceso de recopilación e indexan esas páginas.
Aunque Google asigna un presupuesto de rastreo a cada URL, la cantidad que recibes depende de varios factores: la importancia de una página web según sus señales de confianza, la estructura de enlaces de la página, etc.
Google realiza dos tipos de crawling:
El crawling garantiza que los usuarios puedan encontrar el contenido de tu sitio en los resultados de búsqueda, lo que constituye la base para generar tráfico orgánico y posicionarse bien en las SERP. Dicho de otro modo, sin ser rastreado, tu sitio no puede indexarse correctamente, lo que significa que tu contenido no podrá posicionarse bien (o no posicionarse en absoluto). El crawling es, por tanto, el primer paso para simplemente aparecer online.
El crawling también ayuda a los motores de búsqueda a ofrecer resultados relevantes para consultas específicas, mejorando la calidad de las SERP.
Cuando los bots de búsqueda analizan distintas páginas web, reconocen el significado y el contexto del contenido. Con esos detalles, los motores de búsqueda pueden ofrecer resultados que coinciden con la intención de búsqueda para distintas keywords o frases.
El crawling también permite a los motores de búsqueda seguir los cambios realizados en los sitios web, como contenido nuevo, permisos, redirecciones y metadatos. Con esos datos, los buscadores ajustan rápidamente las SERP para reflejar la información actualizada de las distintas páginas web. Esto garantiza que los usuarios encuentren la información más precisa y actualizada para sus consultas.
Primero, los crawlers descargan el archivo robots.txt de tu sitio. El archivo robots.txt contiene información sobre qué páginas web deben o no deben rastrearse en tu sitio.
Después, los crawlers recuperan algunas páginas de tu sitio y siguen los enlaces internos de esas páginas para descubrir más contenido. Los bots añaden todo el contenido descubierto a su base de datos, donde pueden recuperar las URL relevantes cada vez que alguien busca información específica.
Hay varias formas de garantizar que los bots de los motores de búsqueda rastreen tu sitio web.
Un sitemap XML es como un directorio con información sobre las distintas páginas de contenido de tu sitio. Ayuda a los motores de búsqueda a encontrar y rastrear rápidamente las páginas de tu sitio. Cuando hagas actualizaciones en tu web, vuelve a enviar el sitemap a los motores de búsqueda para indexación.
Todo contenido bloqueado con etiquetas no-index, archivos robots.txt u otras medidas de protección no será rastreado. Asegúrate de que los bots de los motores de búsqueda puedan ver todos los contenidos de tus páginas web: imágenes, vídeos, GIFs y demás.
Cuanto más rápido cargue tu sitio, más rápido podrán los motores de búsqueda rastrear e indexar su contenido.
Optimiza tus páginas web para las keywords relevantes. Esto ayuda a los bots de búsqueda a entender y clasificar correctamente tu contenido, lo que mejora tu ranking.
Por ejemplo, esta página habla del crawling, así que la optimizaremos para keywords como:
Aquí tienes respuestas a las dudas más comunes sobre el crawling.
Un presupuesto de rastreo es el número de páginas web que los bots de los motores de búsqueda pueden rastrear eficazmente en un momento dado. Varía de un sitio a otro.
No. El crawling no impacta directamente en el ranking de tus páginas en los resultados de búsqueda. Sin embargo, tu contenido debe ser rastreado e indexado para poder aparecer en los resultados, para empezar.
El crawling ocurre cuando los bots de los buscadores analizan tu sitio para descubrir nuevas páginas o cambios en las existentes. La indexación, por su parte, consiste en organizar el contenido rastreado en función de las keywords y del contexto. Ayuda a los motores de búsqueda a mostrar resultados relevantes para distintas keywords.
Un crawler es un bot de búsqueda que analiza automáticamente los sitios web en busca de páginas de contenido nuevas o actualizadas. El crawler de Google se llama Googlebot.
Sí, puedes enviar manualmente la URL de tu sitio para que Google la rastree e indexe de dos formas:
El rastreador de posiciones de keywords
Prueba gratuita de 14 días · Sin tarjeta de crédito · 100 keywords y 20 créditos incluidos