Indeksering: hvad der kommer i indekset, og hvad der ikke gør

Modul 1: Sådan fungerer søgemaskiner · Læsetid: 11 minutter

Læringsmål: Efter denne lektion kan du vurdere, om en side kan komme i indekset, og hvis ikke, hvilken af de fire "låse" der holder den tilbage: statuskoden, robots.txt, noindex eller canonical.

Nøglebegreber: indeksering, Googles tekniske krav, noindex (meta robots og X-Robots-Tag), robots.txt er ikke noindex, kanonisering, dobbeltindhold, soft 404, "crawlet, ikke indekseret i øjeblikket", "fundet, ikke indekseret i øjeblikket", ingen garanti

Hvad der sker ved indeksering

Når crawleren har hentet en side (lektion 1.2), begynder søgemaskinen at læse den. Google analyserer teksten, titlen, overskrifterne, billeder og videoer og afgør, hvilket sprog siden er på. Google undersøger også, om siden er en kopi af en anden side, og hvilken af kopierne der er den "rigtige". Først derefter beslutter Google, om siden kommer i indekset.

Google siger to ting om det, som du skal huske:

• Optagelse er ikke garanteret. Selv hvis din side opfylder alle krav, kan Google vælge ikke at tage den med.
• Det er normalt, at ikke alt er med. Google skriver ordret i hjælpen til indekseringsrapporten, at du ikke skal forvente, at alle adresser på dit websted er indekseret, og at det kan være helt i orden. Det handler om dine vigtige sider.

De tre tekniske krav

Google nævner tre tekniske krav for at komme i betragtning til indekset:

1. Googlebot bliver ikke blokeret. Siden kan nås, og robots.txt forbyder ikke, at den hentes.
2. Siden virker. Serveren giver statuskode 200, ikke en fejl.
3. Siden har indhold, der kan indekseres. Tekst i en filtype, Google kan læse, og ingen overtrædelse af spampolitikkerne.

I praksis kommer der to valg fra webstedets ejer oveni: en noindex ("tag ikke denne med") og en canonical, der peger på en anden adresse ("ikke denne, men den der"). Tilsammen giver det fire låse, som en side skal igennem.

Lås 1: statuskoden

Kun en side med status 200 kan komme i indekset. En 301 eller 308 sender søgemaskinen videre til den nye adresse; det er så den nye adresse, der bliver vurderet. En 404 eller 410 fjerner en adresse, der tidligere var med, fra indekset.

Den drilske variant er soft 404 fra lektion 1.2: status 200, men indholdet er en fejlmeddelelse eller en næsten tom side. Google genkender det ofte og tager ikke sådan en side med. Også en tom kategoriside i en webshop ("ingen produkter fundet") kan blive set som soft 404.

Lås 2: robots.txt

Med robots.txt forbyder du en crawler at hente en side. Det er noget andet end at forbyde, at den bliver optaget. Google er tydelig om det: robots.txt er ikke en måde at holde en side ude af Google på. Linker andre websteder til en blokeret side, kan adressen alligevel dukke op i resultaterne, bare uden beskrivelse. I Search Console hedder det "Indekseret, men blokeret af robots.txt".

Robots.txt er beregnet til at styre crawltrafikken: for eksempel for at undgå, at en crawler gennemgår tusindvis af søgeresultatsider på dit eget websted. Lektion 3.3 går mere i dybden med det.

Lås 3: noindex

Vil du virkelig have, at en side ikke kommer i søgeresultaterne, så brug noindex. Det kan gøres på to måder med samme effekt:

<!-- i sidens <head> -->
<meta name="robots" content="noindex">

X-Robots-Tag: noindex

Den anden er en HTTP-header, som serveren sender med. Den virker også for filer, der ikke er HTML, som en pdf. Værdien none betyder det samme som noindex, nofollow. Med <meta name="googlebot" content="noindex"> gælder reglen kun for Google; andre søgemaskiner kan tolke en generel regel anderledes.

Nu kommer faldgruben, der ses rigtig tit: noindex og en blokering i robots.txt virker ikke sammen. Hvis robots.txt blokerer siden, henter Google den ikke og ser derfor aldrig din noindex. Siden kan så alligevel komme i indekset via links fra andre. Vil du have en side ud af Google: lad den blive hentet, og sæt noindex på den.

Hvor støder du på noindex uden at have ment det?

• I WordPress findes under Indstillinger, Læs afkrydsningsfeltet "Afskræk søgemaskiner fra at indeksere dette websted". Det sætter noindex på hele webstedet. Praktisk, mens du bygger, katastrofalt hvis du glemmer at slå det fra.
• I AI Builder kan du sætte et websted eller en side til "indekser ikke"; så kommer der en noindex, nofollow i siden. Et gratis demowebsted bliver heller aldrig indekseret.
• Et SEO-plugin eller tema med en forkert indstilling pr. side eller pr. sidetype.

Andre websitebyggere har lignende kontakter, ofte med et navn som "skjul for søgemaskiner".

Lås 4: canonical

Mange websteder har den samme side under flere adresser: med og uden www, med http og https, med en parameter bagefter som ?utm_source=nieuwsbrief. Google vælger én adresse fra sådan en gruppe som den kanoniske version og viser kun den adresse i resultaterne. De andre er dubletter.

Du kan hjælpe Google med at vælge med en viderestilling (et stærkt signal) eller med en canonical-henvisning i siden:

<link rel="canonical" href="https://www.example.com/bruidsboeketten">

En canonical er et signal, ikke en ordre: Google kan vælge en anden adresse. Peger din canonical på en anden adresse, siger siden selv: "tag ikke mig med, men den anden". Det er fint, når det er rigtigt, og et problem, når det er en fejl, for eksempel hvis alle sider peger på forsiden. Lektion 3.5 går videre med det.

Dobbeltindhold på dit eget websted er ifølge Google ikke en overtrædelse af spampolitikkerne og fører ikke til en manuel handling. Det er dog ineffektivt: crawlere henter det samme flere gange, og du bestemmer ikke selv, hvilken adresse der står i resultaterne.

Meddelelserne i Search Console

I rapporten Sider i Search Console (lektion 2.4) ser du en årsag for hver side, der ikke er indekseret. Alle fire låse går igen der:

De sidste to er ikke en teknisk fejl. "Crawlet, ikke indekseret i øjeblikket" ses ofte; Google siger, at det ikke altid er et problem. Drejer det sig om en vigtig side, så se, om den virkelig tilføjer noget: en unik, nyttig side har større chance end en tynd side, der ligner ti andre.

Opsummering

• Efter crawlingen beslutter søgemaskinen, om en side kommer i indekset; det er aldrig garanteret, og ikke alt behøver at være med.
• Fire låse: status 200, ikke blokeret i robots.txt, ingen noindex, canonical fraværende eller pegende på sig selv.
• robots.txt forbyder hentning, ikke optagelse. Brug noindex til at holde noget ude af resultaterne, og bloker så ikke den side i robots.txt.
• En canonical er et stærkt signal, ikke en ordre. Dobbeltindhold er ikke spam, men det er ineffektivt.
• "Crawlet, ikke indekseret i øjeblikket" er ikke en teknisk fejl; se på sidens værdi.

Quiz

Opgave

Opgave A1.3: Må denne side komme i indekset? Indtast adressen på en side (en side på dit eget websted eller en side, du bevidst skjuler, som en takkeside). Vælg derefter din forventning: "må komme i indekset" eller "må ikke komme i indekset", og hvis du vælger "må ikke", hvilken lås der holder den tilbage (statuskode, robots.txt, noindex, canonical til en anden adresse). Programmet gennemgår de fire låse som i denne lektion og stiller sit resultat ved siden af dit.

Læs mere

• Google, Tekniske krav til Google Søgning: https://developers.google.com/search/docs/essentials/technical
• Google, Bloker indeksering med noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
• Google, Introduktion til robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
• Google, Saml dublerede webadresser (kanonisering): https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
• Hjælp til Google Search Console, Rapporten Indeksering af sider: https://support.google.com/webmasters/answer/7440203