Sådan fungerer crawling af websites

Crawling er den proces, søgemaskiner bruger til at opdage og indeksere websider. Med andre ord er det sådan, søgemaskinerne »ved«, hvilke websider der findes, så de kan vise de mest relevante svar i SERP’erne, når nogen søger efter bestemte oplysninger. Begrebet er bredt og bruges også, når man taler om crawl-budget, crawl-dybde, crawl-fejl og meget mere.

I bund og grund handler det hele om behandlingen af en bestemt URL. Crawling sker, når et website bliver gennemsøgt (crawlet) af en eller flere bots. Disse bots analyserer koden og indholdet på en given side og indsamler oplysninger om intentionen bag dit indhold. Crawlere (eller bots) gennemgår også interne og eksterne links undervejs i indsamlingen og indekserer disse sider.

Google tildeler et crawl-budget til hver URL, men hvor stort det bliver, afhænger af en håndfuld faktorer: hvor vigtig en webside er ud fra dens trust-signaler, sidens linkstruktur og så videre.

Typer af crawling

Google udfører to typer crawling:

• Discovery: For at finde nyt indhold på dit website
• Refresh: For at finde opdaterede oplysninger i indhold, der allerede er indekseret

Hvorfor er crawling vigtigt for SEO?

Crawling sikrer, at folk kan finde dit websites indhold i søgeresultaterne — og det er forudsætningen for at få organisk trafik og ranke højt i SERP’erne. Med andre ord: uden at blive crawlet kan dit website ikke indekseres ordentligt, og så kan dit indhold ikke ranke godt (hvis det overhovedet kan ranke). Crawling er altså det første skridt til bare at være synlig online.

Crawling hjælper også søgemaskinerne med at levere relevante søgeresultater på bestemte søgninger — og det forbedrer kvaliteten af SERP’erne.

Når søgebots scanner forskellige websider, genkender de betydningen og konteksten bag indholdet. Med de oplysninger kan søgemaskinerne levere resultater, der matcher søgeintentionen bag forskellige søgeord eller sætninger.

Crawling gør det desuden muligt for søgemaskinerne at følge ændringer på websites — for eksempel nyt indhold, tilladelser, viderestillinger og metadata. Med de data justerer søgemaskinerne hurtigt SERP’erne, så de afspejler de aktuelle oplysninger på forskellige websider. Det sikrer, at brugerne finder de mest præcise og opdaterede oplysninger på deres forskellige søgninger.

Hvordan crawler søgemaskiner websites?

Først downloader crawlerne dit websites robots.txt-fil. Robots.txt-filen indeholder oplysninger om, hvilke websider der må og ikke må crawles på dit site.

Derefter henter crawlerne nogle få sider fra dit website og følger de interne links på disse sider for at opdage andet indhold. Crawlerne tilføjer alt det opdagede indhold til deres database, hvor de kan hente relevante URL’er frem, når nogen søger efter bestemte oplysninger.

Sådan optimerer du dit website til crawling

Der er flere måder at sikre, at søgemaskinernes bots crawler dit website.

1. Sørg for, at dit website har et velopbygget og opdateret sitemap

Et XML-sitemap er som en fortegnelse med oplysninger om de forskellige indholdssider på dit website. Det hjælper søgemaskinerne med hurtigt at finde og crawle siderne på dit website. Når du opdaterer dit website, skal du indsende dit sitemap til søgemaskinerne igen, så det bliver indekseret.

2. Gør dit indhold synligt for crawl-bots

Indhold, der er blokeret af noindex-tags, robots.txt-filer eller andre beskyttelsesforanstaltninger, bliver ikke crawlet. Sørg for, at søgemaskinernes bots kan se alle indholdselementer på dine websider — billeder, videoer, GIF’er og så videre.

3. Fokusér på sidehastighed og teknisk optimering.

Jo hurtigere dit website indlæses, desto hurtigere kan søgemaskinerne crawle og indeksere indholdet.

• Brug prerendering-værktøjer til at forbedre din indlæsningshastighed
• Optimer dine billeder til mobilsøgning
• Ret og viderestil døde links
• Etabler en fast URL-struktur til dit website

4. Få styr på dit sites on-page-SEO

Optimer dine websider til relevante søgeord. Det hjælper søgebots med at forstå og klassificere dit indhold korrekt, hvilket i sidste ende forbedrer dine SEO-placeringer.

Denne side handler for eksempel om crawling, så vi optimerer den til søgeord som:

• Hvad er crawling i SEO?
• Sådan crawler du et website
• Web crawling Indarbejd disse søgeord naturligt i dine metatitler, metabeskrivelser, overskrifter, brødtekst og andre on-page-elementer — undgå at proppe dem ind. Og med »proppe« mener vi at indsætte dem for indsættelsens skyld. Hvert søgeord, du indsætter, skal glide umærkeligt ind, for Google analyserer ordene før og efter søgeordet for at forstå den fulde sammenhæng i teksten.

FAQ om crawling og SEO

Find svar på de mest almindelige spørgsmål om web crawling.

Hvad er et crawl-budget?

Et crawl-budget er det antal websider, som søgemaskinernes bots effektivt kan crawle på et givet tidspunkt. Det er forskelligt fra website til website.

Er crawling en ranking-faktor?

Nej. Crawling påvirker ikke direkte, hvor højt dine websider ranker i søgeresultaterne. Men dit indhold skal crawles og indekseres, for at det overhovedet kan vises i søgeresultaterne.

Crawling vs. indeksering

Crawling er, når søgemaskinernes bots scanner dit website for at opdage nye sider eller ændringer på eksisterende sider. Indeksering betyder derimod, at det crawlede indhold organiseres ud fra søgeord og kontekst. Det hjælper søgemaskinerne med at vise relevante resultater på forskellige søgeord.

Hvad er en crawler?

En crawler er en søgebot, der automatisk scanner websites for nye og opdaterede indholdssider. Googles webcrawler hedder Googlebot.

Kan jeg bede Google om at crawle mit site?

Ja, du kan manuelt indsende dit sites URL, så Google kan crawle og indeksere den, på to måder:

• Indsend dit opdaterede sitemap til Google via Search Console
• Brug værktøjet til URL-inspektion til at indsende en bestemt sides URL til indeksering