Noindex, Nofollow - Meta-Robots-Tags verstehen und richtig einsetzen

Meta-Robots-Tags sind HTML-Meta-Elemente, die Website-Betreibern ermöglichen, Suchmaschinen-Crawler gezielt zu steuern. Sie geben Anweisungen darüber, wie eine Seite gecrawlt, indexiert und verlinkt werden soll.

Was sind Meta-Robots-Tags?

Grundlegende Funktionsweise

Meta-Robots-Tags funktionieren als direkte Kommunikation zwischen Website und Suchmaschine. Sie werden im <head>-Bereich einer HTML-Seite platziert und geben Crawlern spezifische Anweisungen.

Die wichtigsten Meta-Robots-Direktiven

Noindex - Indexierung verhindern

Die noindex-Direktive verhindert, dass eine Seite in den Suchmaschinen-Index aufgenommen wird.

<meta name="robots" content="noindex">

Anwendungsfälle für Noindex:

  • Test- und Entwicklungsseiten
  • Private Bereiche (Login, Admin)
  • Duplicate Content (z.B. Druckversionen)
  • Temporäre Seiten
  • Seiten mit geringem Wert für Nutzer

Nofollow - Linkjuice nicht weitergeben

Die nofollow-Direktive verhindert, dass PageRank oder Linkjuice über Links weitergegeben wird.

<meta name="robots" content="nofollow">

Anwendungsfälle für Nofollow:

  • User-generated Content
  • Sponsored Links
  • Externe Links zu nicht vertrauenswürdigen Seiten
  • Interne Links zu unwichtigen Seiten

Kombinierte Direktiven

Häufig werden mehrere Direktiven kombiniert:

<meta name="robots" content="noindex, nofollow">
<meta name="robots" content="index, nofollow">
<meta name="robots" content="noindex, follow">

Meta-Robots-Tags im Detail

Indexierung-Direktiven

Direktive
Funktion
Standardverhalten
index
Seite darf indexiert werden
Standard (wenn nicht angegeben)
noindex
Seite darf NICHT indexiert werden
Seite wird aus Index entfernt

Crawling-Direktiven

Direktive
Funktion
Auswirkung
follow
Links auf der Seite verfolgen
Linkjuice wird weitergegeben
nofollow
Links auf der Seite NICHT verfolgen
Kein Linkjuice-Transfer

Zusätzliche Direktiven

Direktive
Funktion
Anwendung
noarchive
Keine Cached-Version speichern
Bei zeitkritischen Inhalten
nosnippet
Keine Snippets in SERPs
Bei sensiblen Inhalten
noodp
Open Directory Project ignorieren
Veraltete Direktive
notranslate
Keine Übersetzung anbieten
Bei sprachspezifischen Inhalten
noimageindex
Bilder nicht indexieren
Bei urheberrechtlich geschützten Bildern

Praktische Anwendungsfälle

E-Commerce: Produktvarianten

Bei Produktseiten mit vielen Varianten (Farbe, Größe) kann noindex für Varianten-Seiten sinnvoll sein:

<!-- Hauptproduktseite -->
<meta name="robots" content="index, follow">

<!-- Produktvarianten -->
<meta name="robots" content="noindex, follow">

Blog: Kategorie- und Tag-Seiten

Oft haben Kategorie-Seiten wenig einzigartigen Content:

<!-- Hauptartikel -->
<meta name="robots" content="index, follow">

<!-- Kategorie-Übersicht -->
<meta name="robots" content="noindex, follow">

Corporate Websites: Rechtliche Seiten

Impressum, Datenschutz und AGB haben meist keinen SEO-Wert:

<meta name="robots" content="noindex, nofollow">

Häufige Fehler und Fallstricke

1. Falsche Implementierung

❌ Falsch:

<meta name="robot" content="noindex">

✅ Richtig:

<meta name="robots" content="noindex">

2. Widersprüchliche Direktiven

❌ Problematisch:

<meta name="robots" content="noindex, index">

3. Vergessene Canonical-Tags

Bei noindex-Seiten sollten Canonical-Tags entfernt werden:

❌ Falsch:

<meta name="robots" content="noindex">
<link rel="canonical" href="https://example.com/page">

✅ Richtig:

<meta name="robots" content="noindex">

X-Robots-Tag als Alternative

Für dynamische Kontrolle können X-Robots-Tags im HTTP-Header gesetzt werden:

X-Robots-Tag: noindex, nofollow

Vorteile von X-Robots-Tag:

  • Funktioniert auch bei nicht-HTML-Dateien
  • Kann serverseitig dynamisch gesetzt werden
  • Ermöglicht mehrere Header

Testing und Validierung

Google Search Console

Überprüfen Sie den Indexierungsstatus in der GSC:

  1. "Abdeckung" → "Ausgeschlossen"
  2. Prüfen Sie "Von 'noindex' ausgeschlossen"

Browser-Tools

Nutzen Sie Browser-Entwicklertools:

  1. F12 → Elements
  2. Suchen nach <meta name="robots">

Online-Tools

  • Google Rich Results Test
  • Screaming Frog SEO Spider
  • SEO Spider Tools

Best Practices für 2025

1. Strategische Anwendung

  • Verwenden Sie noindex nur bei berechtigten Fällen
  • Dokumentieren Sie alle noindex-Entscheidungen
  • Regelmäßige Überprüfung der Indexierung

2. Performance-Optimierung

  • Kombinieren Sie mit anderen technischen SEO-Maßnahmen
  • Nutzen Sie X-Robots-Tag für bessere Performance
  • Implementieren Sie serverseitig wenn möglich

3. Monitoring

  • Überwachen Sie Indexierungs-Änderungen
  • Prüfen Sie Crawl-Budget-Effizienz
  • Analysieren Sie Auswirkungen auf Rankings

Checkliste: Meta-Robots-Tags richtig einsetzen

Vor der Implementierung:

  • ☐ Ziel der Seite definiert
  • ☐ SEO-Wert bewertet
  • ☐ Alternative Lösungen geprüft
  • ☐ Auswirkungen auf Linkjuice bedacht

Bei der Implementierung:

  • ☐ Korrekte Syntax verwendet
  • ☐ Widersprüche vermieden
  • ☐ Canonical-Tags angepasst
  • ☐ Sitemap aktualisiert

Nach der Implementierung:

  • ☐ GSC-Status überprüft
  • ☐ Crawling-Verhalten beobachtet
  • ☐ Performance-Metriken analysiert
  • ☐ Regelmäßige Reviews eingeplant

Verwandte Themen