Tillad eller bloker AI-crawlere: robots.txt og llms.txt
AI-tjenester som ChatGPT, Claude, Gemini og Perplexity henter websider: for at træne modeller, for at give søgesvar eller for at besvare et spørgsmål fra en bruger. Med robots.txt angiver du, hvilke af de robotter der må besøge dit website. Derudover findes forslaget llms.txt. I denne artikel kan du læse, hvilke robotter der findes, hvordan du tillader eller blokerer dem, og hvad llms.txt gør og ikke gør. Vi bruger example.com som eksempel.
1. De vigtigste AI-robotter
De fleste AI-virksomheder bruger separate navne til træning, søgning og hentning på anmodning fra en bruger. Så kan du for eksempel blokere træning og stadig blive vist i søgesvar.
| Navn i robots.txt | Fra | Formål |
|---|---|---|
GPTBot | OpenAI | Indsamle sider, der kan bruges til at træne modeller |
OAI-SearchBot | OpenAI | Søgefunktionen i ChatGPT. Blokerer du den, vises dit website ikke i ChatGPT's søgesvar |
ChatGPT-User | OpenAI | Hente en side, når en bruger beder om det. Ifølge OpenAI gælder robots.txt muligvis ikke her |
ClaudeBot | Anthropic | Indsamle sider, der kan bruges til at træne modeller |
Claude-SearchBot | Anthropic | Indeksere sider til søgefunktionen i Claude |
Claude-User | Anthropic | Hente en side, når en bruger beder om det |
Google-Extended | Ikke en separat robot, men et navn, som du bruger til at angive, om Google må bruge dit indhold til at træne Gemini-modeller og til grounding. Ifølge Google påvirker det ikke din placering i Google Søgning | |
PerplexityBot | Perplexity | Vise og linke til websites i Perplexitys søgeresultater, ikke til træning |
Perplexity-User | Perplexity | Hente en side, når en bruger beder om det. Ifølge Perplexity ignorerer den som regel robots.txt |
Listen ændrer sig jævnligt. Se de aktuelle navne i dokumentationen fra OpenAI, Anthropic, Google og Perplexity.
2. Et eksempel på robots.txt
Dette eksempel blokerer træning af modeller, men tillader søgerobotter og almindelige søgemaskiner:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- En robot følger kun gruppen med sit eget navn, og ellers gruppen
*. I eksemplet må GPTBot altså ikke komme nogen steder, ogDisallow: /winkelmand/gælder ikke for GPTBot. - Vil du tillade alle AI-robotter, behøver du ikke gøre noget: uden regler er alt tilladt.
- Blokerer du ved en fejl en søgerobot, som
OAI-SearchBot,Claude-SearchBotellerPerplexityBot, bliver du sværere at finde i de AI-søgetjenester. - Blokering virker kun fremadrettet. Det, der allerede er hentet, får du ikke tilbage med den.
public_html for dit domæne. Du opretter eller redigerer den via Filhåndtering eller FTP. WordPress laver selv en robots.txt, så længe der ikke ligger en fil, og AI Builder lægger selv en på plads, når du udgiver. Hvordan robots.txt ellers fungerer, kan du læse i Hold en side ude af Google: robots.txt eller noindex?.3. Hvad er llms.txt?
llms.txt er et forslag fra 2024 om en tekstfil på https://example.com/llms.txt. I den skriver du i Markdown en kort beskrivelse af dit website og links til de vigtigste sider, så en AI-tjeneste hurtigt kan se, hvor den gode information findes. Et enkelt eksempel:
# Bageri Eksempel > Håndværksbageri i Aarhus med brød, kager og lagkager på bestilling. ## Vigtige sider - [Sortiment](https://example.com/assortiment): brød, kager og lagkager - [Bestil](https://example.com/bestellen): bestil og afhent lagkage - [Kontakt](https://example.com/contact): adresse og åbningstider
Godt at vide:
- llms.txt er ikke en officiel standard, men et forslag. Der er ingen garanti for, at AI-tjenester læser filen. Google har oplyst, at Google Søgning ikke bruger den til noget.
- llms.txt blokerer ikke noget. Vil du holde robotter ude, så brug robots.txt.
- Filen kommer ikke af sig selv: du laver den selv eller lader et plugin lave den.
4. Lav llms.txt i WordPress
De kendte SEO-plugins kan lave og vedligeholde llms.txt for dig:
- Yoast SEO: gå til Yoast SEO, Indstillinger, Webstedsfunktioner og slå llms.txt til under AI-funktionerne. Du kan lade Yoast vælge siderne eller selv udpege dem.
- Rank Math: slå modulet LLMS Txt til i Rank Maths Dashboard. Indstillingerne finder du derefter under Generelle indstillinger.
Menunavnene varierer fra version til version. Kan du ikke se indstillingen, så opdater pluginnet. Derefter kan du se filen på https://ditdomæne.dk/llms.txt.
Uden WordPress laver du filen selv: en tekstfil llms.txt i mappen public_html, ligesom robots.txt.
Udførlig forklaring med skærmbilleder: Sitemap og robots.txt i WordPress og på dit eget website og Sitemap og robots.txt i AI Builder i vejledningen Bliv fundet online.
Vil du lære mere? Tag det gratis kursus Bliv fundet online, lektion 3.3 robots.txt: hvad du blokerer, og hvad du ikke blokerer.