"robots.txt" er en tekstfil på en nettside som instruerer søkemotor-crawlere (som Googlebot) om hvilke deler av nettsiden som skal eller ikke skal crawles og indekseres.
Filen plasseres bruker direktiver som "Allow" og "Disallow" for å kontrollere tilgangen til spesifikke sider eller seksjoner.
Om du ikke ønsker at innholdet på nettsiden din skal benyttes til trening av AI modeller, så kan robots.txt benyttes til å fortelle spesifikke bots at de ikke får crawle nettsiden.
Dette kan f.eks. være bots som GPTbot og Google-Extended, benyttet for ChatGPT og Google Bard. Mer om hvordan dette gjøres her.