Hold en side ude af Google: robots.txt eller noindex?
Vil du ikke have en side med i Google, for eksempel en tak-side, en testside eller en gammel kampagne? Så tænker mange på filen robots.txt. Men robots.txt holder ikke en side ude af Google. Det gør noindex. I denne artikel kan du læse om forskellen, hvordan du bruger begge dele, og hvad du gør med en side, du har slettet. Vi bruger example.com som eksempel.
Forskellen kort fortalt
| robots.txt | noindex | |
|---|---|---|
| Hvad det siger | "Hent ikke denne side." | "Medtag ikke denne side i søgeresultaterne." |
| Holder det en side ude af Google? | Nej. Linker andre til siden, kan adressen alligevel vises, uden beskrivelse. | Ja, så snart Google har besøgt siden igen. |
| Hvor står det? | Én fil på https://example.com/robots.txt | I selve siden, eller som en header-linje, serveren sender med |
| Hvad bruger du det til? | At styre crawltrafik, for eksempel at springe søgeresultatsider fra din egen side over | Sider, der skal forblive tilgængelige, men ikke høre hjemme i Google |
Ingen af delene er en sikkerhedsforanstaltning. Alle kan læse din robots.txt, og en side med noindex forbliver bare tilgængelig. Skal noget virkelig beskyttes, så sæt det bag en adgangskode. Se Sådan beskytter du en mappe med en adgangskode i DirectAdmin.
Brug af noindex
Sæt denne linje i <head> på siden:
<meta name="robots" content="noindex">
For filer uden HTML, som en pdf, kan serveren sende den samme instruktion som en header-linje: X-Robots-Tag: noindex. Effekten er den samme.
Som regel behøver du ikke selv at skrive dette:
- AI Builder: åbn delen SEO, vælg siden og slå under Mere for denne side knappen Denne side kan findes i Google fra. Siden forbliver tilgængelig, men får en noindex. Udgiv derefter igen.
- WordPress: et SEO-plugin har pr. side en indstilling til ikke at lade siden indeksere. Afkrydsningen Bed søgemaskiner om ikke at indeksere dette site under Indstillinger, Læsning gælder for hele sitet.
- Andre hjemmesidebyggere: led efter en indstilling som "skjul for søgemaskiner".
Oprettelse eller tilpasning af robots.txt
På en hostingpakke findes robots.txt i webmappen til dit domæne, i DirectAdmin mappen public_html. Du opretter eller redigerer filen via Filhåndtering eller FTP, se Åbn Filhåndtering: mapperne i din pakke. Et eksempel:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *gælder for alle søgerobotter.Disallow:med en sti forbyder alt, der begynder med den sti.Disallow: /forbyder hele sitet.- Opretter du også en gruppe
User-agent: Googlebot, følger Google kun den gruppe og ignorerer gruppen*. Gentag derfor alle regler, der også gælder for Google, der. - Blokér ikke mapper med stylesheets, scripts eller billeder, som din side har brug for.
- Ingen robots.txt er ikke et problem: så er alt tilladt. Giver adressen en serverfejl, stopper Google midlertidigt med at hente.
WordPress opretter selv en robots.txt, så længe der ikke er en fil i webmappen. AI Builder sætter selv en robots.txt med en Sitemap:-linje ved udgivelse.
Google gemmer din robots.txt som regel i op til 24 timer. I Search Console finder du under Indstillinger rapporten robots.txt-rapport: hvilken version Google sidst har hentet, med fejl og advarsler, og en knap til at hente den igen.
En slettet side: 404 eller 410, ikke soft 404
Har du slettet en side, bør adressen give statuskoden 404 (ikke fundet) eller 410 (forsvundet). Ved næste besøg fjerner Google så adressen fra søgeresultaterne. Har siden en efterfølger, så viderestil den gamle adresse med en 301 til den nye side, se Site Omleiden: viderestilling af et domæne eller en side.
En soft 404 er en side, der siger, den ikke findes, eller som næsten er tom, men alligevel giver koden 200 (fundet). Google genkender det ofte og medtager ikke en sådan side. I Search Console ser du det som årsagen Soft 404. Også det at viderestille alle slettede sider til din forside kan gælde som soft 404. Lad derfor en side, der virkelig er væk, give en rigtig 404 eller 410.
Skal en side hurtigt ud af resultaterne, for eksempel fordi der ved et uheld stod personoplysninger på den? Brug så Fjernelser i Search Console. Det virker midlertidigt, cirka seks måneder. Sørg derfor også for, at siden har en 404, 410, adgangskode eller noindex.
Læs mere
- Google: Bloker indeksering med noindex (engelsk)
- Google: Introduktion til robots.txt (engelsk)
- Google: robots.txt-rapport
- Blokering af filer via .htaccess
Bruger du WordPress? I lektionen Synlighed: det grundlæggende i det gratis WordPress-kursus kan du læse mere om robots.txt og afkrydsningsfeltet Bed søgemaskiner om ikke at indeksere.