Die Datei mit dem Namen robots.txt ist die durch Bots (kurz für: Robots; auch: Webcrawler) zuerst angesteuerte Datei einer Website, welche notwendigerweise im Stammverzeichnis dieser positioniert wird. Sie dient der Übermittlung von Anweisungen der Webmaster an die Webcrawler, wie diese mit der angesteuerten Website verfahren sollen.