Was ist eine Robots.txt-Datei?

Die robots.txt-Datei gibt Anweisungen an Suchmaschinen-Crawler, welche Bereiche einer Website durchsucht werden dürfen und welche nicht.