Een pagina uit Google houden: robots.txt of noindex?
Wil je een pagina niet in Google hebben, bijvoorbeeld een bedankpagina, een testpagina of een oude actie? Dan denken veel mensen aan het bestand robots.txt. Maar robots.txt houdt een pagina niet uit Google. Daarvoor is noindex. In dit artikel lees je het verschil, hoe je allebei gebruikt en wat je doet met een pagina die je hebt verwijderd. We gebruiken example.com als voorbeeld.
Het verschil in het kort
| robots.txt | noindex | |
|---|---|---|
| Wat het zegt | "Haal deze pagina niet op." | "Neem deze pagina niet op in de zoekresultaten." |
| Houdt het een pagina uit Google? | Nee. Linken anderen naar de pagina, dan kan het adres toch verschijnen, zonder beschrijving. | Ja, zodra Google de pagina opnieuw heeft bezocht. |
| Waar staat het? | Eén bestand op https://example.com/robots.txt | In de pagina zelf, of als kopregel die de server meestuurt |
| Waarvoor gebruik je het? | Het crawlverkeer sturen, bijvoorbeeld zoekresultaatpagina's van je eigen site overslaan | Pagina's die bereikbaar blijven, maar niet in Google horen |
Geen van beide is een beveiliging. Iedereen kan je robots.txt lezen, en een pagina met noindex blijft gewoon bereikbaar. Moet iets echt afgeschermd zijn, zet het dan achter een wachtwoord. Zie Een map beveiligen met een wachtwoord in DirectAdmin.
noindex gebruiken
Zet deze regel in de <head> van de pagina:
<meta name="robots" content="noindex">
Voor bestanden zonder HTML, zoals een pdf, kan de server dezelfde instructie meesturen als kopregel: X-Robots-Tag: noindex. Het effect is hetzelfde.
Meestal hoef je dit niet zelf te typen:
- AI Builder: open het onderdeel SEO, kies de pagina en zet onder Meer voor deze pagina de schakelaar Deze pagina vindbaar in Google uit. De pagina blijft bereikbaar, maar krijgt een noindex. Publiceer daarna opnieuw.
- WordPress: een SEO-plugin heeft per pagina een instelling om de pagina niet te laten indexeren. Het vinkje Zoekmachines ontmoedigen deze site te indexeren bij Instellingen, Lezen geldt voor de hele site.
- Andere websitebouwers: zoek naar een instelling als "verbergen voor zoekmachines".
robots.txt maken of aanpassen
Op een hostingpakket staat robots.txt in de webmap van je domein, bij DirectAdmin de map public_html. Je maakt of bewerkt het bestand via Bestandsbeheer of FTP, zie Bestandsbeheer openen: de mappen in je pakket. Een voorbeeld:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *geldt voor alle zoekrobots.Disallow:met een pad verbiedt alles wat met dat pad begint.Disallow: /verbiedt de hele site.- Maak je ook een groep
User-agent: Googlebot, dan volgt Google alleen die groep en negeert hij de groep*. Herhaal daar dus alle regels die ook voor Google gelden. - Blokkeer geen mappen met stylesheets, scripts of afbeeldingen die je pagina nodig heeft.
- Geen robots.txt is geen probleem: dan mag alles. Geeft het adres een serverfout, dan stopt Google tijdelijk met ophalen.
WordPress maakt zelf een robots.txt zolang er geen bestand in de webmap staat. De AI Builder zet bij het publiceren zelf een robots.txt met een Sitemap:-regel.
Google bewaart je robots.txt meestal tot 24 uur. In Search Console vind je bij Instellingen het robots.txt-rapport: welke versie Google het laatst heeft opgehaald, met fouten en waarschuwingen, en een knop om hem opnieuw te laten ophalen.
Een verwijderde pagina: 404 of 410, geen soft 404
Heb je een pagina verwijderd, dan hoort het adres de statuscode 404 (niet gevonden) of 410 (verdwenen) te geven. Bij het volgende bezoek haalt Google het adres dan uit de zoekresultaten. Heeft de pagina een opvolger, stuur het oude adres dan met een 301 door naar die nieuwe pagina, zie Site Omleiden: een domein of pagina doorsturen.
Een soft 404 is een pagina die zegt dat hij er niet is, of bijna leeg is, maar toch de code 200 (gevonden) geeft. Google herkent dat vaak en neemt zo'n pagina niet op. In Search Console zie je het als reden Soft 404. Ook alle verwijderde pagina's doorsturen naar je homepage kan als soft 404 gelden. Laat een pagina die echt weg is dus een echte 404 of 410 geven.
Moet een pagina snel uit de resultaten, bijvoorbeeld omdat er per ongeluk persoonsgegevens op stonden? Gebruik dan Verwijderingen in Search Console. Dat werkt tijdelijk, ongeveer zes maanden. Zorg er daarom ook voor dat de pagina een 404, 410, wachtwoord of noindex heeft.
Verder lezen
- Google: Indexering blokkeren met noindex (Engels)
- Google: Inleiding tot robots.txt (Engels)
- Google: robots.txt-rapport
- Bestanden blokkeren via .htaccess
Gebruik je WordPress? In de les Vindbaarheid: de basis van de gratis WordPress-cursus lees je meer over robots.txt en het vinkje Zoekmachines ontmoedigen.