11 Anwender-Tipps zum Screaming Frog aus der SEO-Praxis

Der Screaming Frog SEO Spider ist aus unserem täglichen Arbeiten nicht mehr wegzudenken. Er ist ein mächtiges Tool – nicht nur für Vollblut-SEOs, sondern für alle Online Marketer. Heute zeige ich Dir 11 schnelle Tipps aus der Praxis, wie Du mit dem Screaming Frog Deine Webseite verbessern kannst.

Direkt zu den Tipps:

#1 – Export aller Deiner URLs

#2 – Broken Links: Einzelreports

#3 – Export aller Links > Broken Links gesammelt

#4 – Redirect Chains (Weiterleitungsketten)

#5 – Liste der alten URLs bei Relaunch prüfen

#6 – Canonicals

#7 – Dan`s Tipp: XML Sitemap erstellen oder crawlen

#8 – Javascript crawlen

#9 – Snippets Vorschau & Präferenzen

#10 – Advanced: Custom extraction

#11 – Crawl von passwortgeschützten Bereichen

Was macht der Screaming Frog überhaupt?

Der SEO Spider von Screaming Frog ist ein Tool mit dem Du Webseiten crawlen kannst. Der Screaming Frog schickt dazu seinen Bot los und durchläuft Deine Seite. Dabei folgt er allen Links, ruft jede URL auf und sammelt sämtliche Informationen über diese. So bekommst Du nach Deinem Crawl zum Beispiel Informationen über die RobotsMeta Angaben, die Statuscodes, die Snippets, die Dateigrößen, Canonical-Links, hreflang und noch vieles mehr. Bis zu 500 URLs sind in der kostenlosen Version crawlbar. Wenn Du mehr crawlen willst, benötigst Du eine Lizenz, diese kostet 149 £ pro Jahr.

Je größer Deine Seite ist, desto wichtiger ist es das Crawling zu steuern. Warum das wichtig ist und wie Du es machst, hat Felix in seinem Blogpost zur Crawlingsteuerung erklärt.

Vorsicht! Bevor Du Deinen Crawl startest, empfehle ich Dir den Speed unter „Configuration“ > „Speed“ zu begrenzen. Ansonsten kann es passieren, dass Du mit dem Crawl Deinen Server überlastest. Solltest Du direkt Kontakt zur IT haben, kannst Du mit ihnen abklären, wie hoch Du den Speed setzen kannst. Wenn Du keine Informationen bekommen kannst, rate ich Dir zur Vorsicht: Ich bgrenze die Anzahl der URLs, die pro Sekunde abgerufen werden, dann zum Beispiel auf 2,0:

Vor dem Crawl solltest Du Dir außerdem genau überlegen, was Du alles crawlen willst – musst Du zum Beispiel wirklich Bilder crawlen? Wenn nein, deaktiviere den Bilder-Crawl unter „Configuration“ vorher. Du kannst zum Beispiel auch bestimmte Ordner in Deinen Crawl ein- oder ausschließen. Wie Du Deinen Crawl konfigurierst und was Du alles konfigurieren kannst, soll allerdings nicht Teil dieses Blogposts werden. Allerdings kannst Du das bei Screaming Frog selbst sehr ausführlich nachlesen: User Guide Configuration. Mein Blogpost zeigt Dir stattdessen 11 Tipps direkt aus unserem SEO-Alltag, die Du direkt nachmachen kannst. Die meisten Funktionen bietet Dir auch RYTE, jedoch finde ich diese speziellen 11 Anwendungsfälle im Screaming Frog SEO Spider komfortabler gelöst. RYTE hat dafür andere Stärken, so dass wir in der Regel beide Tools paralell nutzen.

#1 Export einer Liste aller Deiner URLs

Mein erster Tipp klingt recht banal, ist aber meiner Meinung nach eine der wichtigsten Funktionen vom Screaming Frog. Du kannst alle Deine URLs exportieren:

Anschließend kannst Du nach URLs sortieren und einmal über die Liste scrollen. Hier bekommst du a) bereits ein Gefühl für die Anzahl Deiner URLs und b) fallen Dir hier bereits „komische“ URLs auf, wenn sie in größerer Menge vorkommen. Das können zum Beispiel eine große Anzahl an URLs sein, die vom System generiert werden, die aber eigentlich erst gar nicht entstehen sollen, wie zum Beispiel im folgenden Fall, als über den Cookie-Hinweis mehrere Tausend (!) URLs generiert wurden:

#2 Broken Links / Links auf Weiterleitungen

Über den Screaming Frog kannst Du auch mit einem Mausklick Deine internen Links auf 404-Seiten oder Links auf Weiterleitungen exportieren. Du findest diese Möglichkeit unter „Bulk Export“ > „Response Codes“. Hier kannst Du Dir die Broken Links sortiert nach ihrem Statuscode einfach in Excel exportieren:

Du erhältst anschließend eine Liste mit allen Inlinks, die einen 3xx Statuscode zurückgeben. Ich empfehle Dir anschließend noch nach seitenweiten und einzelnen Links zu trennen, indem Du nach Linktext und Linkziel sortierst – alle die hier übereinstimmen und mehr als 10x vorkommen sind in der Regel seitenweite Links und können gemeinsam korrigiert werden. Alle Fehler in Einzellinks kannst Du über die Linkquelle und den Linktext schnell identifizieren und korrigieren.

Der Nachteil dabei ist, dass Du für jede Art von Broken Links einen eigenen Export machen musst, der Vorteil, dass die einzelnen Reports übersichtlich und klein sind. Es gibt aber noch eine weitere Möglichkeit, Broken Links zu identifizieren:

#3 Export aller internen Links > alle Broken Links in einer Datei

Diese Methode startest Du einfach über „Bulk Export“ > „All Inlinks“. Damit exportierst Du alle eingehenden Links Deiner Seite. Anschließend kannst Du alle 200er herausfiltern und löschen. Übrig bleiben dann alle Seiten, die einen anderen Statuscode als „200“ haben:

Das heißt Du musst jetzt mit einer größeren Datenmenge als bei Tipp 2 arbeiten und etwas mehr in Excel anpassen, dafür hast Du anschließend alle Broken Inlinks in einer Datei, was ich persönlich komfortabler finde. Letztendlich ist es Geschmacksache, welche Methode Du wählst.

Mit dem All-Inlinks-Report sind natürlich noch ganz andere Dinge möglich. So kannst Du zum Beispiel auch die Linktexte zu Deinen Seiten vergleichen oder eine Gephi-Analyse starten.

#4 Redirect Chains (Weiterleitungsketten)

Einer meiner Favoriten ist der Report „Redirect Chains“ – und übrigens auch derjenige von Dan Sharp, einem der Gründer von Screaming Frog, wie er mir vor Kurzem verraten hat:

Wichtig: Damit dieser Report aussagekräftig ist, musst Du vor Deinem Crawl über „Configuration“ > „Advanced“ > „Always follow Redirects“ aktivieren, ansonsten folgt der Bot immer nur der ersten Weiterleitung:

Du erhältst nach dem Export eine Excel-Datei, die Dir die ursprüngliche Quelle und eine Liste aller Weiterleitungen sowie deren Anzahl ausgibt. Außerdem zeigt Dir die Excel-Tabelle ob Loops vorliegen:

Um sofort damit arbeiten zu können, füge ich eine neue zweite Spalte ein mit SOLL-Weiterleitungsziel. Hierhin kopiere ich mir immer die letzte Redirect URL – das ist ein wenig Filter- und Kopierarbeit. Wenn Du aber immer nach der „Number of Redirects“ filterst und Dir dann die letzte Redirect URL nach vorne kopierst, hält es sich in Grenzen. Aber hey, @Dan, if you read this: Would be a great feature for the future! ????

Wichtig: Wenn die Weiterleitungskette auf einen 4xx endet, solltest Du ein anderes SOLL-Weiterleitungsziel wählen oder alternativ den Link löschen.

#5 Liste der alten URLs bei Relaunch prüfen

Bei einem Relaunch ist der Listen-Mode bei Screaming Frog ein besonderes Feature. Hier kannst Du eine Liste der alten URLs aus einem vorherigen Crawl einfügen und diese crawlen lassen. Dazu gehst Du oben im Menü auf „Mode“ > „List“. Und anschließend auf „Upload“. Besonders komfortabel beim Sreaming Frog ist, dass Du jetzt eine Datei hochladen kannst, aber auch einfach per copy&paste Deine Liste einfügen kannst oder auch einfach eine XML-Sitemap crawlen kannst.

Mit dem Listen-Crawl kannst Du sofort feststellen, ob alle URLs nach einem Relaunch korrekt weitergeleitet wurden. Wichtig: Auch hier solltest Du vorher wieder die Einstellung vornehmen, dass der Bot immer allen Redirects folgen soll. Natürlich ist das nicht alles, was Du bei einem Relaunch beachten solltest, aber dazu gibt es einen eigenen Blogpost inklusive Relaunch-Checkliste.

#6 Canonicals

Bezüglich der Canonicals mag ich besonders die Darstellungsmöglichkeiten im Screaming Frog selbst auf der rechten Seite. Hier kannst Du mit einem Blick übersichtlich sehen, wie viele URLs kanonisiert sind und wie viele kein Canonical-Tag besitzen. Du kannst die einzelnen Punkte auch anklicken und anschließend bequem in Excel exportieren.

#7 Dan`s Tipp: XML Sitemap erstellen oder crawlen

Mit dem Screaming Frog kannst Du nicht nur ganz einfach eine XML-Sitemap erstellen, sondern auch eine live-Sitemap crawlen, um zum Beispiel festzustellen, ob sie fehlerhafte Seiten enthält. Dan Sharp, Co-Founder von Screaming Frog erklärt, wie es geht:

Hier noch die deutsche Übersetzung, inklusive Bilder-Anleitung:

„Ein einfacher [Quick Win], den wir mögen, ist einer mit dem Du XML-Sitemaps aufräumen kannst. Wenn eine XML-Sitemap bereits live ist, kannst Du den Mode auf List ändern („Mode“ > „List“) und dann „Download Sitemap“ oder „Download Sitemap Index“ wählen und die URL eingeben:

Bevor Du crawlst solltest Du außerdem noch über „Configuration“ > „Robots.txt“ > “Settings“ das Häkchen bei „Ignore robots.txt“ entfernen:

Jetzt siehst Du, ob Deine Sitemap URLs enthält, die über die robots.txt gesperrt sind. Der SEO Spider wird jetzt die Seiten direkt von der live-Sitemap crawlen. Anschließend kannst Du überprüfen, ob der Crawl Seiten enthält, die keinen 200er Statuscode zurückgeben (keine Antwort, 3XX, 4XX, 5XX, etc.) oder die über die robots.xt gesperrt sind, deren Canonical-Link auf eine andere URL zeigt, die auf „noindex“ gestellt sind oder die aus einem anderen Grund nicht in der Sitemap sein sollten.

Du kannst anschließend über den Screaming Frog SEO Spider auch eine XML-Sitemap erstellen. Dabei werden diese URLs automatisch entfernt. Wenn Deine Sitemap noch nicht live ist, Du aber bereits eine Datei hast, dann starte den Crawl einfach, indem Du über „Mode“ > „List“ > „from a file“ > „files of type as .xml“ auswählst und dort Deine Sitemap hochlädst.

#8 Javascript crawlen

Ein weiteres wirklich hilfreiches Feature ist die Möglichkeit JavaScript zu crawlen. Aber Vorsicht: Wenn Du JavaScript crawlst, wird Dein Crawl um einiges langsamer. Du solltest also nicht blind immer JavaScript crawlen, sondern dieses Feature immer nur bewusst einsetzen.

Um Javascript zu crawlen musst Du unter „Configuration“ > „Spider“ > Rendering die Einstellung zu „Rendering to JavaScript“ ändern:

Zusätzlich solltest Du die Haken unter „Configuration“ > „Spider“ Images, CSS and JS setzen, damit die Ressourcen auch gerendert werden:

Anschließend kannst Du die gerenderte URL anklicken und unter „Rendered Page“ rechts unten ansehen:

Weitere Informationen zum JavaScript Crawl findest Du im Blogpost auf Screamingfrog.co.uk

#9 Snippets Vorschau & Präferenzen

Snippetoptimierung ist ein wichtiger Bestandteil von SEO. Aus diesem Grund schätze ich es auch sehr im SEO Spider meine bevorzugte Pixel- und Zeichenlänge von Title und Description einstellen zu können, um anschließend auf einen Blick zu lange oder zu kurze Snippets zu identifizieren. Im Beispiel stelle ich die Titlelänge auf 569 Pixel und die Zeichenzahl der Description auf 135, weil diese ein Datum enthält und mir somit weniger Platz zur Verfügung steht. Du findest diese Einstellung unter Configuration >Spider > Preferences:

Du siehst anschließend nicht nur die Länge des Titles in der Crawl-Übersicht, sondern kannst in der rechten Sidebar auch gleich nach zu langen, zu kurzen, doppelten oder fehlenden Werten filtern, dabei orientiert sich der Screaming Frog an meinen vorher eingestellten Präferenzen:

Das ist aber noch nicht alles! Du hast die Möglichkeit Dir die Snippets Deiner gecrawlten URLs als Vorschau im Screaming Frog anzeigen zu lassen. Den Button dazu findest Du in der unteren Leiste unter SERP Preview:

Du kannst das Snippet direkt bearbeiten. Rechts neben der Vorschau werden nicht nur die Zeichen und Pixel gezählt, sondern Du kannst auch den Device umstellen, Rich Snippets oder Description Präfixes hinzufügen:

Einziges Manko hier: An dieser Stelle werden die vorher eingestellten Präferenzen leider nicht übernommen!

#10 Advanced: Custom extraction

Besonders hilfreich, wenn man spezielle Attribute einer Seite überprüfen will ist die „Custom Extraction“ Funktion des Screaming Frogs SEO Spiders. Mit ihr kannst Du über die CSS-Klasse, den Xpath oder regulären Ausdrücken gezielt Elemente ansteuern.

Ich zeige es Dir an einem Beispiel: Angenommen, ich möchte wissen, welcher erste „Verwandte Beitrag“ unter einem Seokratie Blogpost erscheint und dazu möchte ich auch noch den Autor des Blogposts haben.

Als erstes rufe ich dafür den Blogpost im Google Chrome auf und öffne die Chrome Entwickler Tools. Jetzt wähle ich über den Selector (1) das Element (2) an. Anschließend wähle ich es in der HTML mit dem rechten Mausklick aus (3) und kopiere den Xpath (4):

Anschließend wechsle ich wieder zum Screaming Frog und füge es unter Configuration > Custom > Extraction ein. Jetzt kann ich meinen Extractror noch benennen, so dass ich die richtige Spalte später im Crawl auch wiederfinde. Anschließend wähle ich noch XPath als Extraktionsmethode aus:

Dasselbe wiederhole ich für meinen ersten verwandten Artikel und starte dann den Crawl. Anschließend kann ich die Spalten suchen und bekomme mein Ergebnis:

Felix ist der Autor des gecrawlten Artikels und der erste ähnliche Beitrag ist Julians Video zur Snippet-Optimierung.

#11 Crawl von passwortgeschützten Bereichen

Besonders hilfreich für einen Relaunch ist es auch passwort-geschützte Bereiche crawlen zu können. Dazu startest Deinen Crawl der Testumgebung ganz normal. Gleich darauf frägt Dich der SEO-Spider nach den Zugangsdaten:

Sobald Du diese eingegeben hast, crawlt der Screaming Frog Deine Seite. Es ist übrigens auch möglich, Seiten zu crawlen, die über ein Web-Formular geschützt sind, wie zum Beispiel private WordPress-Seiten. Dazu kannst Du unter Configuration > Authentication die Login-Daten geben:

Aber Vorsicht! Du erlaubst damit den Screaming Frog sich einzuloggen: Er folgt dann jedem Link, den er findet – wenn er als Admin eingeloggt ist auch denjenigen ins Backend.

Du solltest also am besten dem Screaming Frog vorher einen eigenen Account erstellen, der lediglich einen Lesezugriff hat. Außerdem solltest Du bestimmte Bereiche, wie zum Beispiel wp-admin bei WordPress ausschließen. Sonst kann es Dir passieren, dass der SEO Spider neue Beiträge erstellt oder alte Beiträge löscht. In einem Test von Screaming Frog hat der Bot innerhalb einer halben Stunde nicht nur ein neues Theme aufgesetzt, sondern auch 108 Plugins installiert und 8 von diesen aktiviert. Ich rate Dir also dringend, alle weitere Sicherheitsregeln bei Screaming Frog vorab zu lesen, wenn Du diese Funktion nutzen willst.

War das schon alles? Nein!

Der Sreaming Frog SEO Spider kann natürlich noch viel mehr als diese 11 Anwendungsfälle. So kann er Dir zum Beispiel auf einem Mausklick alle Bilder ohne ALT-Tag reporten, alle Canonical-Fehler exportieren oder hreflang-Fehler identifizieren. Auch alle Linktexte kannst Du mit ihm prüfen und noch an die 1000 andere Dinge. Nutzt Du den Screaming Frog SEO Spider bereits? Hast Du noch einen praktischen Anwendungsfall? Wenn ja, dann freue ich mich, wenn Du ihn uns in den Kommentaren hinterlässt!

Titelbild: © kikkerdirk / istock.com

Merken

Merken