Google hat in der letzten Woche mit einem Update die Google Webmaster Tools erweitert und bietet damit den Webmastern eine weitere tolle Möglichkeit, Fehlern auf die Spur zu kommen und somit im besten Fall bessere Rankings zu erzielen. Dieses Update macht es möglich, robots.txt Dateien zu testen und somit herauszufinden, ob der Google-Bot auch wirklich alle gewünschten Unterseiten erreichen kann bzw. welche Seiten (un)bewusst für den Spider gesperrt sind.

robots.txt Dateien bereiten einigen Webmastern immer mal wieder Probleme. Oftmals erstelle man so eine Datei einmal und kopiert sie bei neuen Projekten einfach und nimmt höchstens noch ein paar Anpassungen vor. Die Gefahr dabei: Ist einmal ein Fehler drin, ist er dann meist auf allen Seiten. Auch wenn man die robots.txt jedes Mal neu erstellt, können sich schnell mal Fehler einschleichen und die Folge ist dann eventuell eine schlechtes Crawling durch den Google-Bot.

Der neue robots.txt Test zeigt innerhalb der Webmaster Tools genau an, welche Seiten gecrawlt wurden und welche nicht. Hat man irgendwo einen Fehler, lässt sich das also schnell herausfinden und der Fehler kann beseitigt werden. Auch ist es möglich, Änderungen an robots.txt-Dateien direkt in den Webmaster Tools zu testen.