Robots.txt ist eine Datei, die die Spider der Suchmaschinen benachrichtigt, ob es gestattet ist, den Inhalt der jeweiligen Seite zu durchsuchen. Das ist einfach eine Txt-Datei, die im Stammverzeichnis Ihrer Website gespeichert wird. Hier sind einige Beispiele dazu:

Dadurch wird die Seite für GoogleBot komplett gesperrt: User-agent: Googlebot Disallow: /

Dadurch werden alle Dateien außer einer Datei myfile.html in einem einzelnen Folder für alle Webcrawler gesperrt: User-agent: * Disallow: /folder1/ Allow: /folder1/myfile.html