Noindex, Nofollow - Meta-Robots-Tags verstehen und richtig einsetzen
Meta-Robots-Tags sind HTML-Meta-Elemente, die Website-Betreibern ermöglichen, Suchmaschinen-Crawler gezielt zu steuern. Sie geben Anweisungen darüber, wie eine Seite gecrawlt, indexiert und verlinkt werden soll.
Was sind Meta-Robots-Tags?
Grundlegende Funktionsweise
Meta-Robots-Tags funktionieren als direkte Kommunikation zwischen Website und Suchmaschine. Sie werden im <head>-Bereich einer HTML-Seite platziert und geben Crawlern spezifische Anweisungen.
Die wichtigsten Meta-Robots-Direktiven
Noindex - Indexierung verhindern
Die noindex-Direktive verhindert, dass eine Seite in den Suchmaschinen-Index aufgenommen wird.
<meta name="robots" content="noindex">
Anwendungsfälle für Noindex:
- Test- und Entwicklungsseiten
- Private Bereiche (Login, Admin)
- Duplicate Content (z.B. Druckversionen)
- Temporäre Seiten
- Seiten mit geringem Wert für Nutzer
Nofollow - Linkjuice nicht weitergeben
Die nofollow-Direktive verhindert, dass PageRank oder Linkjuice über Links weitergegeben wird.
<meta name="robots" content="nofollow">
Anwendungsfälle für Nofollow:
- User-generated Content
- Sponsored Links
- Externe Links zu nicht vertrauenswürdigen Seiten
- Interne Links zu unwichtigen Seiten
Kombinierte Direktiven
Häufig werden mehrere Direktiven kombiniert:
<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, follow">
Meta-Robots-Tags im Detail
Indexierung-Direktiven
Crawling-Direktiven
Zusätzliche Direktiven
Praktische Anwendungsfälle
E-Commerce: Produktvarianten
Bei Produktseiten mit vielen Varianten (Farbe, Größe) kann noindex für Varianten-Seiten sinnvoll sein:
<!-- Hauptproduktseite -->
<meta name="robots" content="index, follow">
<!-- Produktvarianten -->
<meta name="robots" content="noindex, follow">
Blog: Kategorie- und Tag-Seiten
Oft haben Kategorie-Seiten wenig einzigartigen Content:
<!-- Hauptartikel -->
<meta name="robots" content="index, follow">
<!-- Kategorie-Übersicht -->
<meta name="robots" content="noindex, follow">
Corporate Websites: Rechtliche Seiten
Impressum, Datenschutz und AGB haben meist keinen SEO-Wert:
<meta name="robots" content="noindex, nofollow">
Häufige Fehler und Fallstricke
1. Falsche Implementierung
❌ Falsch:
<meta name="robot" content="noindex">
✅ Richtig:
<meta name="robots" content="noindex">
2. Widersprüchliche Direktiven
❌ Problematisch:
<meta name="robots" content="noindex, index">
3. Vergessene Canonical-Tags
Bei noindex-Seiten sollten Canonical-Tags entfernt werden:
❌ Falsch:
<meta name="robots" content="noindex">
<link rel="canonical" href="https://example.com/page">
✅ Richtig:
<meta name="robots" content="noindex">
X-Robots-Tag als Alternative
Für dynamische Kontrolle können X-Robots-Tags im HTTP-Header gesetzt werden:
X-Robots-Tag: noindex, nofollow
Vorteile von X-Robots-Tag:
- Funktioniert auch bei nicht-HTML-Dateien
- Kann serverseitig dynamisch gesetzt werden
- Ermöglicht mehrere Header
Testing und Validierung
Google Search Console
Überprüfen Sie den Indexierungsstatus in der GSC:
- "Abdeckung" → "Ausgeschlossen"
- Prüfen Sie "Von 'noindex' ausgeschlossen"
Browser-Tools
Nutzen Sie Browser-Entwicklertools:
- F12 → Elements
- Suchen nach
<meta name="robots">
Online-Tools
- Google Rich Results Test
- Screaming Frog SEO Spider
- SEO Spider Tools
Best Practices für 2025
1. Strategische Anwendung
- Verwenden Sie
noindexnur bei berechtigten Fällen - Dokumentieren Sie alle
noindex-Entscheidungen - Regelmäßige Überprüfung der Indexierung
2. Performance-Optimierung
- Kombinieren Sie mit anderen technischen SEO-Maßnahmen
- Nutzen Sie X-Robots-Tag für bessere Performance
- Implementieren Sie serverseitig wenn möglich
3. Monitoring
- Überwachen Sie Indexierungs-Änderungen
- Prüfen Sie Crawl-Budget-Effizienz
- Analysieren Sie Auswirkungen auf Rankings
Checkliste: Meta-Robots-Tags richtig einsetzen
Vor der Implementierung:
- ☐ Ziel der Seite definiert
- ☐ SEO-Wert bewertet
- ☐ Alternative Lösungen geprüft
- ☐ Auswirkungen auf Linkjuice bedacht
Bei der Implementierung:
- ☐ Korrekte Syntax verwendet
- ☐ Widersprüche vermieden
- ☐ Canonical-Tags angepasst
- ☐ Sitemap aktualisiert
Nach der Implementierung:
- ☐ GSC-Status überprüft
- ☐ Crawling-Verhalten beobachtet
- ☐ Performance-Metriken analysiert
- ☐ Regelmäßige Reviews eingeplant