Deutsch Deutsch English English

SEO Spider

Was ist Screaming Frog?

Screaming Frog ist eines der führenden SEO-Erfassen-Tools, das Website-Analysen auf technischer Ebene durchführt. Das Tool simuliert das Verhalten von Suchmaschinen-Crawlern und identifiziert potenzielle SEO-Probleme, die die Sichtbarkeit in den Suchergebnissen beeinträchtigen können.

Kernfunktionen von Screaming Frog

1. Website-Crawling

Screaming Frog crawlt Websites systematisch und erfasst dabei:

  • Alle erreichbaren URLs
  • Status-Meldungen
  • Meta-Tags und HTML-Titel
  • Überschriftenstruktur (H1-H6)
  • Interne und externe Links
  • Bilder und deren Alt-Texte

2. Technische SEO-Analyse

Das Tool überprüft automatisch:

  • Kopierter Content
  • Fehlende Seitenbeschreibung
  • Broken Links
  • Weiterleitungsketten
  • Canonical-Tag-Probleme
  • XML-Sitemap-Validierung

3. On-Page-SEO-Bewertung

Screaming Frog analysiert:

  • Schlüsselwort-Dichte
  • Title-Tag-Längen
  • Meta-Description-Längen
  • Überschriftenhierarchie
  • Bildoptimierung

Screaming Frog vs. andere SEO-Tools

Kriterium
Screaming Frog
Ahrefs Site Audit
SEMrush Site Audit
Crawling-Geschwindigkeit
Sehr schnell
Mittel
Mittel
Detaillierte Analyse
Sehr detailliert
Detailliert
Detailliert
Kosten
Kostenlos (bis 500 URLs)
Ab 99€/Monat
Ab 119€/Monat
Offline-Nutzung
Ja
Nein
Nein
Custom Crawling
Ja
Begrenzt
Begrenzt

Installation und Setup

Systemanforderungen

  • Windows, macOS oder Linux
  • Java Runtime Environment (JRE) 8 oder höher
  • Mindestens 4 GB RAM für große Websites
  • Stabile Internetverbindung

Erste Schritte

  1. Download: Tool von der offiziellen Website herunterladen
  2. Installation: Keine Installation erforderlich - direkt ausführbar
  3. Konfiguration: Crawling-Einstellungen anpassen
  4. Start: URL eingeben und Crawling starten

Crawling-Konfiguration

Basis-Einstellungen

  • Crawl-Modus: Spider (Standard) oder List-Modus
  • Crawl-Limit: Anzahl der zu crawlenden URLs
  • Crawl-Tiefe: Maximale Klick-Tiefe
  • User-Agent: Crawler-Identifikation

Erweiterte Optionen

  • JavaScript-Rendering: Für dynamische Inhalte
  • Custom Headers: Zusätzliche HTTP-Header
  • Proxy-Settings: Für anonymes Crawling
  • Respect Robots.txt: Einhaltung der Robots-Datei

Wichtige Berichte und Analysen

1. Internal Links Report

Der Internal Links Report zeigt:

  • Link-Verteilung innerhalb der Website
  • Orphan Pages (Seiten ohne interne Links)
  • Link-Equity-Verteilung
  • Interne Link-Ankertexte

2. Images Report

Der Images Report analysiert:

  • Fehlende Alt-Texte
  • Überdimensionierte Bilder
  • Bildformate und -größen
  • Broken Image Links

3. Page Titles Report

Der Page Titles Report identifiziert:

  • Duplicate Title Tags
  • Title-Tags mit unpassender Länge
  • Fehlende Title-Tags
  • Keyword-Optimierung in Titles

4. Meta Descriptions Report

Der Meta Descriptions Report zeigt:

  • Duplicate Meta Descriptions
  • Fehlende Meta Descriptions
  • Längen-Probleme
  • Keyword-Integration

Technische SEO-Checks

1. HTTP-Status-Codes

Screaming Frog erkennt:

  • 404-Fehler (Not Found)
  • 500-Server-Fehler
  • 301/302-Weiterleitungen
  • Soft 404-Fehler

2. Redirect-Analyse

Das Tool analysiert:

  • Redirect-Chains
  • Redirect-Loops
  • Fehlende Weiterleitungen
  • 301 vs. 302 Redirects

3. Canonical-Tag-Analyse

Screaming Frog überprüft:

  • Eigene Canonical-Tags
  • Canonical-Chains
  • Fehlende Canonical-Tags
  • Cross-Domain-Canonicals

On-Page-SEO-Optimierung

1. Content-Analyse

Das Tool bewertet:

  • Content-Länge
  • Keyword-Dichte
  • Überschriftenstruktur
  • Duplicate Content

2. Adress-Struktur

Screaming Frog analysiert:

  • URL-Längen
  • Parameter in URLs
  • URL-Hierarchie
  • Sprechende URLs

Export und Reporting

1. CSV-Export

  • Alle Crawling-Daten als CSV
  • Filterbare und sortierbare Daten
  • Integration in Excel oder Google Sheets
  • Custom-Export-Optionen

2. XML-Sitemap-Generierung

  • Automatische Sitemap-Erstellung
  • Prioritäts- und Frequenz-Einstellungen
  • Last-Modified-Daten
  • GSC-Integration

3. Visualisierung

  • Site-Architecture-Diagramme
  • Link-Diagramm-Visualisierung
  • Crawl-Depth-Analyse
  • Orphan-Page-Identifikation

Best Practices für Screaming Frog

1. Regelmäßige Audits

  • Wöchentliche Crawling-Routinen
  • Monatliche Deep-Dive-Analysen
  • Pre- und Post-Launch-Checks
  • Competitor-Analysen

2. Filter und Segmente

  • URL-Pattern-Filter
  • Status-Code-Filter
  • Content-Type-Segmente
  • Custom-Filter erstellen

3. Bulk-Operations

  • Bulk-URL-Export
  • Mass-Edit-Funktionen
  • Batch-Processing
  • Automatisierte Workflows

Integration mit anderen Tools

1. Google Search Console

  • GSC-Daten-Import
  • Coverage-Problem-Analyse
  • Performance-Daten-Korrelation
  • Indexierungs-Status-Check

2. Google Analytics

  • Traffic-Daten-Integration
  • Conversion-Path-Analyse
  • User-Journey-Mapping
  • Performance-Korrelation

3. Ahrefs und SEMrush

  • Backlink-Daten-Integration
  • Keyword-Ranking-Korrelation
  • Competitor-Analyse
  • Domain-Authority-Checks

Häufige Probleme und Lösungen

1. Crawling-Limits

Problem: Tool stoppt bei großen Websites

Lösung:

  • Crawl-Limits erhöhen
  • Segmentiertes Crawling
  • List-Modus nutzen
  • Pro-Version verwenden

2. JavaScript-Rendering

Problem: Dynamische Inhalte werden nicht erfasst

Lösung:

  • JavaScript-Rendering aktivieren
  • Rendering-Timeout anpassen
  • Headless-Browser-Konfiguration

3. Memory-Probleme

Problem: Tool wird langsam oder stürzt ab

Lösung:

  • RAM erhöhen
  • Crawl-Limits reduzieren
  • Regelmäßige Neustarts
  • 64-Bit-Version nutzen

Screaming Frog SEO Spider Pro Features

1. Erweiterte Crawling-Optionen

  • Unbegrenzte URL-Limits
  • Custom Extraction
  • Log File Analysis
  • Database Integration

2. Interface-Integration

  • REST-Interface
  • Webhook-Support
  • Automatisierte Crawling
  • Third-Party-Integration

3. Team-Features

  • Gruppen-Zugriff
  • Shared Configurations
  • Centralized Reporting
  • User Management

Kosten und Lizenzierung

Free Version

  • Bis zu 500 URLs
  • Basis-Crawling-Features
  • Standard-Reports
  • Gemeinschafts-Support

Pro Version

  • Unbegrenzte URLs
  • Erweiterte Features
  • API-Zugang
  • Priority Support
  • Kosten: 149£/Jahr

Häufig gestellte Fragen zu Screaming Frog

Frage
Antwort
Was macht Screaming Frog als SEO-Crawling-Tool genau?
Screaming Frog führt Website-Analysen auf technischer Ebene durch und simuliert dabei das Verhalten von Suchmaschinen-Crawlern. Das Tool crawlt systematisch erreichbare URLs und erfasst unter anderem HTTP-Status-Codes, Meta-Tags, Title-Tags, die Überschriftenstruktur von H1 bis H6, interne und externe Links sowie Bilder inklusive Alt-Texten. So lassen sich SEO-Probleme erkennen, die die Sichtbarkeit in den Suchergebnissen beeinträchtigen können.
Worin unterscheidet sich Screaming Frog von Ahrefs Site Audit und SEMrush Site Audit?
Laut dem Vergleich auf der Seite ist Screaming Frog beim Crawling sehr schnell und liefert eine sehr detaillierte Analyse, während Ahrefs und SEMrush eher mittlere Geschwindigkeit und detaillierte, aber weniger tiefgreifende Audits bieten. Screaming Frog ist kostenlos bis 500 URLs nutzbar und unterstützt Offline-Nutzung sowie Custom Crawling; Ahrefs und SEMrush starten ab 99 bzw. 119 Euro pro Monat, ohne Offline-Nutzung und mit begrenztem Custom Crawling. Damit eignet sich Screaming Frog besonders für lokale, sehr feingranulare technische Audits.
Welche Systemvoraussetzungen und Schritte brauche ich für den Einstieg?
Screaming Frog läuft unter Windows, macOS oder Linux und setzt eine Java Runtime Environment ab Version 8 voraus. Für große Websites werden mindestens 4 GB RAM und eine stabile Internetverbindung empfohlen. Nach dem Download von der offiziellen Website ist keine Installation nötig: Das Tool ist direkt ausführbar. Anschließend passen Sie die Crawling-Einstellungen an, geben die Start-URL ein und starten den Crawl.
Wann nutze ich Spider-Modus und wann den List-Modus?
Der Spider-Modus ist der Standard und folgt Links auf der Website, um die erreichbare Struktur zu erfassen. Der List-Modus eignet sich, wenn Sie gezielt eine vorgegebene URL-Liste prüfen wollen – etwa bei großen Sites, wenn das Tool an Limits stoppt. Ergänzend können Sie Crawl-Limit, maximale Klick-Tiefe und User-Agent setzen sowie Robots.txt respektieren, Custom Headers und Proxy-Settings nutzen.
Warum fehlen dynamische Inhalte im Crawl und wie behebe ich das?
Wenn Inhalte erst per JavaScript geladen werden, erfasst Screaming Frog sie ohne Rendering oft nicht. Die Lösung laut Seite: JavaScript-Rendering aktivieren, den Rendering-Timeout anpassen und die Headless-Browser-Konfiguration prüfen. So werden dynamische Seiteninhalte mitcrawlbar und fließen in die technischen und On-Page-Reports ein.
Welche Berichte helfen bei Links, Bildern, Titles und Meta Descriptions?
Der Internal Links Report zeigt Link-Verteilung, Orphan Pages ohne interne Links, Link-Equity und Ankertexte. Der Images Report findet fehlende Alt-Texte, überdimensionierte Bilder, Formate und Broken Image Links. Der Page Titles Report deckt doppelte, fehlende oder zu lange bzw. zu kurze Titles sowie Keyword-Themen in Titles auf. Der Meta Descriptions Report markiert Duplikate, fehlende Descriptions, Längenprobleme und die Keyword-Integration.
Was unterscheidet Free- und Pro-Version bei Kosten und Funktionen?
Die Free Version crawlt bis zu 500 URLs und bietet Basis-Crawling, Standard-Reports und Community-Support. Die Pro Version erlaubt unbegrenzte URLs, erweiterte Features wie Custom Extraction, Log File Analysis und Database Integration sowie API-Zugang mit RESTful API und Webhooks. Team-Features umfassen Multi-User-Access, Shared Configurations und zentrales Reporting. Die Pro-Lizenz kostet laut Seite 149 Pfund pro Jahr und liefert Priority Support.