Wer bereits einmal beim Relaunch einer hochfrequentierten Webseite mitgewirkt hat, wird die Situation kennen: Nach intensiver Nachtarbeit ist es 4:00 Uhr morgens. In einer Stunde soll die Site live gehen und die URL-Weiterleitungen sind noch nicht zu 100% eingerichtet. Nach dem Start finden sich noch einige URL-Patterns, die weitergeleitet werden müssen. Da Google ziemlich schnell beim Indizieren großer Webseiten ist, muss zügig gehandelt werden, um nicht wertvolle Rankings zu verlieren bzw. unliebsame neue Ergebnisse in den Suchergebnis-Seiten zu erhalten.

Mit einem kleinen Kniff lässt sich der Google-Bot komplett anhalten: Gibt die robots.txt-Datei den Internal Server Error 500 zurück, stoppt der Google-Bot sofort das Crawling der Webseite. Wenn diese Status-Code-Änderung der robots.txt nun temporär zum Zeitpunkt des tatsächlichen Relaunchs vorgenommen wird, können einige Stunden Zeit gewonnen werden, um die Seite und alle Weiterleitungen auf Herz und Nieren zu prüfen. In Google Analytics sollte ein Segment eingerichtet werden, dass die 404-Aufrufe einer Webseite anzeigt, so dass die aktuellen 404-Aufrufe der Besucher in Echtzeit analysiert und daraus fehlerhafte Weiterleitungen abgeleitet werden können. Über die Server-Logfiles, die idealerweise in Echtzeit auf der Konsole analysiert werden, können ebenfalls 404-Seitenaufrufe herausgefiltert werden. So wird der HTTP Statuscode geändert: Über einen Eintrag in der htaccess-Datei oder der Server-Konfiguration (z.B. httpd-conf) kann man für beliebige URLs beliebige Statuscodes zurückgeben lassen: RewriteEngine On RewriteRule ^robots\.txt$ – [r=500,nc] Besucher merken von alledem nichts. Die robots.txt ist eine reine Maschinen-Datei, die nicht zwingend vorhanden sein muss. Die Funktionalität der Webseite bleibt unangetastet. Nach erledigter Arbeit sollte der Error-Code wieder geändert werden. Hierbei empfiehlt sich ein Arbeitsfenster von einigen Stunden. In dieser Zeitspanne wird kein Risiko eingegangen, wichtige Rankings zu verlieren. Gibt die robots.txt wieder den Status-Code 200 (OK) zurück, kommt auch der Google-Bot wieder und kann den nun fehlerfreien und in Ruhe getesteten Weiterleitungen folgen. Möchten Sie erfahren, wie Sie Ihre Seiten für die Suchmaschinen optimieren können? Senden Sie uns gern eine Mail oder rufen Sie uns unter der Rufnummer +49 40 82217 8979 an.