Bliv klogere på, hvordan du bruger robots.txt-optimering til at få bedre SEO-performance. Hvis du har sider på dit website, som Google har indekseret, men ikke kan crawle, får du beskeden »Indekseret, men blokeret af robots.txt« (»Indexed, though blocked by robots.txt« i den engelske udgave) i Google Search Console (GSC).
Google kan godt se siderne, men viser dem ikke i søgeresultaterne på de søgeord, de er målrettet.
Sker det, går du glip af muligheden for at hente organisk trafik ind på de sider.
Det er især kritisk for sider, der ellers sender tusindvis af organiske besøgende ind hver måned, og som så løber ind i det her problem.
Lige nu har du sikkert en masse spørgsmål til fejlbeskeden. Hvorfor har du fået den? Hvordan skete det? Og ikke mindst: hvordan retter du op på det og henter trafikken tilbage, hvis det er sket for en side, der lå godt i søgeresultaterne?
Det her indlæg besvarer alle spørgsmålene og viser dig, hvordan du undgår, at problemet opstår på dit site igen.
Sådan finder du ud af, om dit site har problemet
Normalt får du en mail fra Google, der oplyser dig om et »index coverage issue« på dit site. Sådan ser mailen ud:
Mailen fortæller ikke, præcis hvilke sider eller URL’er der er ramt. Det må du selv logge ind i Google Search Console for at finde ud af.
Har du ikke fået en mail, er det stadig en god idé at tjekke det selv, så du er sikker på, at dit site er i topform.
Når du er logget ind i GSC, går du til Index Coverage Report ved at klikke på Coverage under Index. På næste side scroller du ned og ser de problemer, GSC rapporterer.
»Indekseret, men blokeret af robots.txt« står under »Valid with warning«. Det betyder, at der ikke er noget galt med selve URL’en, men at søgemaskinerne ikke viser siden eller siderne i søgeresultaterne.
Hvorfor har dit site problemet (og hvordan retter du det)?
Før du begynder at tænke i løsninger, skal du gøre dig klart, hvilke sider der både skal indekseres og vises i søgeresultaterne.
Det kan godt være, at de URL’er, du ser i GSC med problemet »Indekseret, men blokeret af robots.txt«, slet ikke er tænkt som trafikdrivere. Det kunne for eksempel være landingssider til dine betalte annoncekampagner. Så er det måske ikke værd at bruge tid og kræfter på at rette dem.
Nedenfor er årsagerne til, at nogle af dine sider har problemet — og om du bør rette dem eller ikke:
Disallow-regel i din robots.txt og noindex-metatag i sidens HTML
Den mest almindelige årsag til problemet er, at du eller en anden, der administrerer sitet, har slået Disallow-reglen til for den pågældende URL i sitets robots.txt og samtidig har lagt et noindex-metatag på den samme URL.
Site-ejere bruger robots.txt til at fortælle søgemaskinernes crawlere, hvordan de skal behandle sitets URL’er. I det her tilfælde har du tilføjet Disallow-reglen på sider og mapper i din robots.txt.
Sådan kan det se ud, når du åbner dit sites robots.txt-fil:
User-agent: * Disallow: /
I eksemplet ovenfor forhindrer denne kodelinje alle webcrawlere (*) i at crawle dine sider (Disallow) inklusive din forside (/). Resultatet er, at ingen søgemaskiner hverken crawler eller indekserer dine sider.
Du kan redigere robots.txt, så du udpeger enkelte webcrawlere (Googlebot, msnbot, magpie-crawler osv.) og angiver, præcis hvilken side eller hvilke sider crawlerne ikke må røre (/page1, /page2, /page3 osv.).
Har du ikke root-adgang til din server, kan du i stedet forhindre søgemaskinernes bots i at indeksere dine sider med noindex-tagget.
Metoden har samme effekt som disallow-reglen i robots.txt. Men i stedet for at liste de forskellige sider og mapper op i en robots.txt-fil, som du vil holde ude af SERP’erne, skal du sætte noindex-metatagget ind på hver enkelt side, der ikke skal optræde i søgeresultaterne.
Det er en langt mere tidskrævende proces end den første metode, men den giver dig mere finmasket kontrol over, hvilke URL’er der bliver blokeret. Det betyder også, at der er mindre risiko for, at du selv laver fejl.
Løsning: Igen — problemet i GSC opstår, når sider på dit site både har en disallow-regel i robots.txt-filen og et noindex-tag.
For at søgemaskinerne kan vide, om en side skal indekseres eller ikke, skal de kunne crawle den på dit site. Men når du forhindrer dem i det via din robots.txt, ved de ikke, hvad de skal gøre med siden.
Ved at bruge robots.txt og noindex-tagget, så de supplerer hinanden i stedet for at konkurrere, giver du søgemaskinernes bots meget klarere og mere entydige regler at følge, når de behandler dine sider.
Det gør du ved at redigere din robots.txt-fil. Har du et WordPress-site, er det nemmest at bruge et SEO-plugin med en robots.txt-editor som Yoast SEO eller Rank Math.
Hvis robots.txt ikke er skrivbar hos dig, må du kontakte din hostingudbyder og få ændret rettighederne til dine filer og mapper.
En anden mulighed er at logge ind i din FTP-klient eller i filhåndteringen hos din hostingudbyder. Det er den foretrukne metode blandt udviklere, fordi de har fuld kontrol over, hvordan filen redigeres — og over meget andet.
Forkert URL-format
URL’er på dit site, som ikke rigtig er »sider« i streng forstand, kan også få beskeden »Indekseret, men blokeret af robots.txt«.
For eksempel er https://example.com?s=what+is+seo en side, der viser søgeresultaterne for søgningen »what is seo«. Den type URL er meget udbredt på WordPress-sites, hvor søgefunktionen er slået til på hele sitet.
Løsning: Normalt er der ingen grund til at gøre noget ved det, så længe URL’en er harmløs og ikke for alvor påvirker din søgetrafik.
Sider, du ikke vil have indekseret, har interne links
Selv om du har et noindex-tag på den side, du ikke vil have indekseret, kan Google behandle det som et forslag frem for en regel. Det viser sig især, når du linker til sider med noindex-direktiv eller disallow-regel fra sider, som søgemaskinerne crawler og indekserer.
Derfor kan du komme til at se de sider i SERP’erne, selv om du ikke ønsker det.
Løsning: Du skal fjerne de links, der peger på den pågældende side, og lede dem videre til en tilsvarende side i stedet.
Det gør du ved at kortlægge de interne links med en SEO-audit i et værktøj som Screaming Frog (gratis for websites med op til 500 URL’er) eller Ahrefs Webmaster Tools (et markant bedre gratis alternativ), så du kan se, hvilke sider der linker til dine blokerede sider.
I Ahrefs går du til Reports > Internal pages efter at have kørt en audit. Find de sider, du har blokeret for webcrawlere og sat noindex på, og se i kolonnen No. of Inlinks, hvilke sider der linker til dem.
Herfra retter du linkene fra de sider én ad gangen. Eller du kan erstatte dem med et link til din side med noindex-tag.
Links, der peger ind i en redirect-kæde
Hvis et link på dit site peger ind i en uendelig række omdirigeringer, stopper Googlebot med at følge kæden, før den finder den egentlige URL på siden.
De redirect-kæder kan også give problemer med duplikeret indhold, som senere kan vokse til større SEO-problemer. Den eneste måde at løse det på er at udpege din foretrukne, kanoniske side med canonical-tagget, så Google ved, hvilken side blandt flere den skal crawle og indeksere.
Husk også, at links til en omdirigering i stedet for til den kanoniske side bruger af dit crawl budget. Peger redirect-linket ind i flere omdirigeringer, får du ikke brugt dit crawl budget på de sider, der faktisk betyder noget. Og når Google endelig kommer frem til dine vigtigste sider, kan den efter et stykke tid ikke crawle og indeksere dem ordentligt.
Løsning: Fjern redirect-linkene fra dit site, og link til den kanoniske side i stedet.
Med Ahrefs Webmaster Tools kan du igen se dine redirect-links på siden Tools > Link Explorer. Filtrer derefter resultaterne, så du kun ser redirect-links på dit site.
Ud fra resultaterne finder du frem til, hvilke links der danner en uendelig redirect-kæde. Derefter bryder du kæden ved at finde den rigtige side, hver af de sider, der linker til omdirigeringerne, i stedet bør linke til.
Hvad gør du, når du har rettet problemet?
Når du har rullet løsningerne ovenfor ud på de vigtige sider med problemet »Indekseret, men blokeret af robots.txt«, skal du have verificeret ændringerne, så Google Search Console kan markere dem som løst.
Gå tilbage til Index Coverage Report i GSC, og klik på de links med problemet, du har rettet. På næste skærm klikker du på knappen Validate Fix.
Det får Google til at tjekke, om siden stadig har problemet.
Konklusion
Sammenlignet med andre problemer, Google Search Console finder, kan »Indekseret, men blokeret af robots.txt« virke som en dråbe i havet. Men de dråber kan hobe sig op til en strøm af problemer for hele dit site, som ender med at forhindre det i at hente organisk trafik.
Ved at følge retningslinjerne ovenfor og løse problemet på dine vigtigste sider undgår du, at dit website mister værdifuld trafik — og du optimerer det, så Google kan crawle og indeksere det ordentligt.