Sitemap og robots.txt i WordPress og på din egen side

Et sitemap er en liste over de adresser, du gerne vil have med i søgemaskinerne. En robots.txt fortæller søgemaskiner, hvilke adresser de ikke må besøge, og hvor dit sitemap ligger. Sådan tjekker du dem i WordPress og på en side, du selv laver.

WordPress

WordPress laver selv et sitemap og en robots.txt siden version 5.5:

• Sitemappet ligger på https://jouwdomein.nl/wp-sitemap.xml.
• Robots.txt er virtuel: Der ligger ingen fil i din webmappe, men WordPress viser den på https://jouwdomein.nl/robots.txt med en henvisning til sitemappet.
• Bruger du et SEO-plugin, som Yoast SEO eller Rank Math? Så laver det ofte sit eget sitemap, for eksempel sitemap_index.xml. Adressen finder du i pluginets indstillinger. Det er den adresse, du indsender til Google og Bing.

En standard-robots.txt fra WordPress ser omtrent sådan ud:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Holder WordPress søgemaskinerne ude?

1. Log ind i WordPress, og gå til Indstillinger og derefter Læse.
2. Se under synlighed for søgemaskiner efter fluebenet Bed søgemaskiner om ikke at indeksere dette websted.
3. Fluebenet skal være slået fra. Klik på Gem ændringer.

Er fluebenet slået til, beder WordPress søgemaskinerne om at springe hele din side over. Det bliver tit slået til, mens siden bygges, og bagefter glemt.

Læs mere om synlighed i WordPress i Synlighed: det grundlæggende.

Din egen robots.txt

Lægger du selv en fil robots.txt i din webmappe, går den forud for WordPress' virtuelle robots.txt. Med et hostingpakke fra WebOké er webmappen public_html for dit domæne. Du lægger filen ind med Filhåndtering i DirectAdmin (se Åbn Filhåndtering: mapperne i din pakke) eller med FTP.

En enkel robots.txt, der tillader alt og peger på dit sitemap:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

En side, du selv laver

Laver du din side selv eller med et andet program? Så tjek, om programmet laver et sitemap. Hvis ikke, kan du klare dig uden: En lille side med gode links mellem siderne bliver også fundet. Et sitemap hjælper dog. Læg det i din webmappe, og nævn det i din robots.txt som vist ovenfor.

Tjek det

• Åbn https://jouwdomein.nl/robots.txt. Står der Disallow: / under User-agent: *? Så må ingen søgemaskine besøge din side. Fjern den linje, når din side er færdig.
• Er der en linje med Sitemap:? Åbn den adresse i din browser. Du bør se en liste med adresser fra din side, med https og dit eget domæne.

Tip: Robots.txt holder ikke en side ude af Google. En side, der ikke må besøges, kan alligevel komme med i søgeresultaterne, hvis andre sider linker til den. Vil du virkelig holde en side ude af Google, så brug noindex. Forskellen kan du læse om i lektionen robots.txt: hvad du blokerer, og hvad du ikke blokerer i kurset Bliv fundet online.