Crawls vergleichen und Veränderungen finden: Excel-Vorlage und Anleitung
Es gibt viele Tools, die Deine Seite crawlen und Fehler aufdecken. Das ist auch sehr hilfreich. Irgendwann siehst Du aber den Wald vor lauter Bäumen nicht mehr: Kenne ich die Fehler schon oder hat sich etwas geändert? Diese Info ist enorm wertvoll, nur bekommst Du sie von den Tools nicht. Aber Excel hilft Dir!
Veränderungen finden macht Spaß, ist aber nicht immer so einfach!
In diesem Artikel findest Du:
- Wie Du den Crawl-Vergleich in Excel selbst einrichtest
- Eine kostenlose Vorlage und eine Anleitung dazu
- Ansätze zur Auswertung der Crawls
Warum Crawls vergleichen?
An vielen Websites oder Online Shops arbeitet mehr als eine Person an den Inhalten, Kategorien und Produkten. Selbst der Inhouse SEO weiß dann nicht immer, was alles geändert wurde – und ob das SEO-relevant war. So entstehen oft versehentlich Fehler: Schnell sind Produkte gelöscht oder ein Title geändert und ein wichtiges Keyword durch eine Aktion ersetzt.
Die Lösung: Wenn wir regelmäßig oder nach Releases einen Crawl machen und diesen mit dem vorherigen Stand vergleichen, sehen wir alle Änderungen. So können wir gegensteuern, bevor die Rankings in den Brunnen gefallen sind.
Welche Alternativen gibt es?
Get:traction hat vor geraumer Zeit eine sehr gute Anleitung zu einem Crawl-Vergleich mit „R“ und Screaming Frog veröffentlicht. Allerdings ist die Einrichtung recht komplex und für Laien zeitintensiv.
Alternativ bietet Sistrix mit dem Optimizer die Funktion an, Webseiten-Veränderungen anzuzeigen. Allerdings kostet das Optimizer-Modul 100 € im Monat. Noch dazu vergleicht Sistrix nur eine Domain mit sich selbst. Bei einem Relaunch muss aber der Test-Server mit dem Live-Server abgeglichen werden, dann hilft die Funktion leider nicht mehr.
Was ist mit Excel möglich?
In Excel kannst Du mit wenigen, einfachen Funktionen und ohne zu programmieren automatisch Crawls abgleichen. Dabei beziehe ich mich vor allem auf Crawls mit Screaming Frog (» Screaming Frog Tutorial). Das Prinzip lässt sich aber auf jeden anderen Crawl-Export übertragen. Wird ein Crawl zu groß, stößt Excel mit diesem Vorgehen an seine Grenzen. Für mittelgroße Seiten mit einer fünfstelligen Anzahl an URLs funktioniert das aber sehr gut.
Mit der Vorlage aus diesem Beitrag kannst Du mit wenigen Klicks neue oder weggefallene URLs identifizieren:
Und Veränderungen an Titles, Descriptions & Co. feststellen:
Crawl-Vergleich selbst einrichten
Wenn Du verstehen möchtest, wie die Tabelle aufgebaut ist oder diese selbst nachbauen möchtest, habe ich hier die Bauweise erklärt.
Keine Lust auf selbst bauen? Dann überspring diesen Teil! Im nächsten Teil gibt es eine Excel-Vorlage zu Download, die Du nutzen kannst.
Als Grundlage brauchst Du natürlich erst mal zwei Crawl-Exporte – idealerweise aus Screming Frog. Diese speicherst Du lokal auf Deinem Laufwerk. Der Kern der Übung ist die PowerQuery-Funktion „Daten abrufen“ unter „Daten“ in Excel. Hierüber lädst Du Deine beiden Crawl-Exporte in eine leere Tabelle:
Sofern hier die Daten Überschriften haben und Umlaute richtig formatiert sind, kannst Du einfach nur auf Laden klicken:
Jetzt passiert die Magie mit der Funktion „Abfragen kombinieren“. Darüber kannst Du Deine beiden Crawls zusammenführen:
Zum Zusammenführen wählst Du im Dropdown jeweils eine der Abfragen aus und wählst eine Spalte aus, nach der die Tabellen zusammengefasst werden sollen – das ist in diesem Fall die Spalte „Address“, also die URL:
Die Join-Art entscheidet darüber, wie zusammengeführt wird. Die Funktion „Zusammenführen“ musst Du dreimal ausführen, mit drei verschiedenen Join-Arten:
- Linker Anti-Join (Zeilen nur in erster): Das sind die URLs, die nur im Vorher-Crawl auftauchen.
- Rechter Anti-Join (Zeilen nur in zweiter): Das sind die URLs, die nur im Nachher-Crawl auftauchen – also neu sind.
- Innerer Join (nur übereinstimmende Zeilen): Das sind alle URLs, die gleichgeblieben sind.
Bei der letzten Abfrage musst Du im Power-Query-Editor noch manuell alle Spalten des anderen Crawls laden. Das machst Du mit einem Klick auf die Pfeile am äußersten Rand der Spaltenüberschriften:
Um die Veränderungen bei bestehenden URLs zu vergleichen, baust Du in einem weiteren Sheet eine neue Tabelle, die sich aus den Daten im neu erstellten Sheet mit den gleichbleibenden URLs (innerer Join) speist. Das mache ich Schritt für Schritt so:
Schritt 1: Eine Zelle nutze ich als Dropdown-Liste, bei dem ich als Auswahlmöglichkeiten alle Überschriften aus dem Crawl ziehe (Daten > Datenüberprüfung):
Dann habe ich eine Zelle, in der ich von Status Code bis Title alle Metriken auswählen kann.
Schritt 2: In einer Hilfs-Zelle lasse ich mir mit dieser Funktion die Nummer der Spalte meiner Dropdown-Auswahl (in C3) ausgeben: =VERGLEICH(C1;gleiche!1:1;0)
Schritt 3: In einer zweiten Zeile lasse ich mir die Spalten-Nummer der zweiten Abfrage ziehen, der ich das Präfix „nachher.“ gegeben habe: =VERGLEICH(„nachher.“&C1;gleiche!1:1;0)
Schritt 4: Jetzt baue ich mir eine neue Tabelle, die sich nur die gefragten Daten aus der Tabelle mit den gleichgebliebenen URLs zieht. Die erste Zeile sieht dann so aus:
- URL: =gleiche!A2
- Referenz vorher: =@INDIREKT(„gleiche!“&ADRESSE(ZEILE(A3)-1;I$1;4;1;)) – wobei hier ZEILE(A3) die aktuelle Zeilen-Nummer ausgeben soll und I$1 der Hilfs-Zelle mit der passenden Spaltennummer entspricht (vgl. Punkt 2).
- Referenz vorher: =@INDIREKT(„gleiche!“&ADRESSE(ZEILE(A3)-1;K$1;4;1;)) – wobei hier K$1 der Hilfs-Zelle mit der Spaltennummer des Nachher-Werts entspricht (vgl. Punkt 3)
- Abgleich: =C3=B3 – diese Simple Funktion gleicht den Vorher-Wert mit dem Nachher-Wert ab.
Das gleiche habe ich mir dann nochmal für einen zweiten Referenz-Wert gebaut, damit ich zwei Werte anzeigen kann – denn gerade der Status Code ist bei allen Änderungen als Zweit-Wert sehr hilfreich.
Hat so weit geklappt? Super! Nicht? Dann nutze einfach unsere Vorlage im nächsten Abschnitt.
Crawl-Vergleich-Vorlage nutzen
Alles, was Du bei der Vorlage brauchst, sind zwei Crawls: Einen vorher, einen nachher. Es ist sinnvoll, dass Du immer mit den gleichen Einstellungen crawlst, um Crawls zu vergleichen. Speichere Dir dafür einmal einen Crawl als .seospider-Datei ab und starte ihn regelmäßig neu.
Schritt 1: Öffne die Vorlage aus diesem Beitrag:
Schritt 2: Klicke unter „Daten“ > „Daten abrufen“ auf „Datenquelleneinstellungen“:
Schritt 3: Ändere die Quelle der Datei „crawl-nachher.xlsx“ auf Deinen aktuellen Crawl und „crawl-vorher.xlsx“ auf Deinen alten Crawl.
Schritt 4: Danach klickst Du einmal auf „Alle aktualisieren“:
Schritt 5: Im Sheet „änderungen“ wird ganz oben links eine Fehlermeldung angezeigt, falls die Vorlage zu wenige Zeilen für Deinen Crawl enthält. In dem Fall solltest Du die Zeilen durch Verlängern der Formeln (Zell-Ecke unten rechts klicken und ziehen) auf so viele Zeilen verlängern, wie dir die Fehlermeldung sagt:
Wenn es keine Warnung gibt, kannst Du Schritt 5 auslassen.
Und schon bist Du fertig!
Crawl-Vergleich auswerten
Was machst Du jetzt mit dieser Tabelle? Die Datei hat vier Sheets, die Folgendes beinhalten:
- Im Sheet „neue“ findest Du alle URLs, die nurin Deinem Nachher-Crawl sind. Diese sind also neu entstanden.
- Im Sheet „weggefallene“ findest Du alle URLs, die nurin Deinem Vorher-Crawl sind. Diese werden also intern nicht mehr verlinkt.
- Im Sheet „gleiche“ sind alle URLs, die in beiden Crawls waren. Dieses Sheet ist vor allem die Datenbasis für das Sheet „änderungen“ und an sich nicht so interessant.
- Im Sheet „änderungen“ kannst Du in der Zelle C2 via Dropdown auswählen, nach was Du filtern möchtest. Wenn Du dann die Spalte „Abgleich“ nach „FALSCH“ filterst, findest Du alle Änderungen. Als „Referenz“ kannst Du einen zweiten Wert auswählen – oft ist es sehr hilfreich, den Status Code bei Veränderungen im Blick zu haben.
Ich empfehle Dir vor allem, dir folgende Fragen regelmäßig zu stellen:
- Sind URLs neu entstanden, die keinen sinnvollen Keywordfokus haben?
- Sind relevante URLs wegefallen? Falls ja, wurden sie auch gelöscht oder werden sie nur nicht mehr intern verlinkt?
- Sind neue URLs mit dem Status Code 301 oder 404 entstanden? Falls ja, sollten die Links dorthin bereinigt werden.
- Wurden Titles oder Descriptions geändert und sind dabei vielleicht wichtige Keywords verlorengegangen?
- Haben sich Robots-Metaangaben verändert? Erfahrungsgemäß stellt gerne mal jemand etwas auf „noindex,nofollow“
- Haben sich die Canonical-URLs verändert? Gerade hier fallen Bugs häufig erst auf, wenn die Rankings einbrechen.
Ich bin mir sicher, dass Du Änderungen finden wirst, die Dir nicht gefallen! Besonders bei einem Relaunch tauchen die wildesten Abweichungen auf. Was Du alles beim Relaunch abgleichen solltest, findest Du übrigens in unserer SEO-Checkliste für den Relaunch.
Excel-Vorlage herunterladen und los geht’s!
Hier geht’s zum Download:
Jetzt weißt Du, was alles geht und wie das geht. Ich bin gespannt, wie Du damit umgehst: Wie gleichst Du Crawls miteinander ab? Hast Du Ideen, wie Du den Abgleich performanter bauen könntest – etwa mit VBA? Schreib es gern in die Kommentare!
