Robots.txt er en fil, der fortæller søgemaskiner, hvilke dele af en hjemmeside de må eller ikke må besøge. Den bruges til at styre, hvordan søgemaskiner gennemgår indholdet på siden.

Filen kan for eksempel bruges til at skjule tekniske sider eller områder, som ikke er relevante for søgninger. Hvis robots.txt er forkert opsat, kan vigtige sider blive udeladt fra søgemaskinerne.

Robots.txt er derfor et vigtigt værktøj i teknisk opsætning af en hjemmeside.