To beskeder med forskellige formål
En robots.txt-fil ligger ved roden af et domæne og kan indeholde regler om, hvilke dele bestemte crawlere må hente. Noindex er en besked i sidens metadata eller svarheader om, at indholdet ikke skal med i søgemaskinens indeks.
Forskellen er vigtig: Hvis Google er blokeret fra at hente en side, kan Google ikke nødvendigvis læse dens noindex-besked. Googles noindexvejledning forklarer, at siden skal kunne crawles, for at Google kan registrere beskeden.
Vælg efter det, du vil opnå
Tænkt eksempel: En offentlig takkeside skal kunne åbnes efter en kontaktformular, men giver ikke mening som søgeresultat. Her kan noindex være relevant. Et internt kundeområde med fortrolige dokumenter skal derimod beskyttes med login og passende adgangsrettigheder.
At en adresse mangler på Google, betyder ikke, at uvedkommende ikke kan åbne den. Robots.txt kan endda fortælle en nysgerrig besøgende, hvilke mapper der findes. Brug derfor ikke søgemaskineregler som sikkerhedsforanstaltning.
Vær særlig opmærksom ved lancering
Et testmiljø kan med vilje være udelukket fra indeksering. Når den rigtige hjemmeside lanceres, skal de offentlige sider have den tilsigtede opsætning. Samtidig skal testmiljøets beskyttelse bevares. Det er to forskellige kontroller.
Undersøg den faktiske side og dens svar fra serveren, frem for kun at se på et flueben i et SEO-plugin. Brug Search Console til at forstå, hvilken blokering Google har registreret, og hvornår oplysningerne sidst blev hentet.
Gå videre til fejlsøgning af manglende Google-synlighed, hvis det er uklart, hvorfor en side ikke vises. Flytteguiden samler de øvrige kontroller ved en ny lancering.


