Es gibt Dinge, die gehören online einfach dazu und werden nicht hinterfragt. Dazu gehört beispielsweise auch die robots.txt Datei, die au fast jedem Websapce zu finden ist. Mit ihr übergibt man dem Suchmaschinen-Crawler einige Informationen und legt fest, welche Dateien oder Ordner beispielsweise nicht indexiert werden sollen. Diese und weitere