vscooter psbot SearchmetericsBot AhrefsBot sistrix via robots.txt aussperren

bots

Das Problem

Wie nervig! Jeder mit größeren Webseiten kennt das Problem. Die dummen Bots verursachen ständig Fehler im Log.
Darüber hinaus will ich gar nicht von einem ahrefs oder webmeup-Bot gecrawlt werden 🙂
Raus mit Euch!

Wie gehts

Über die robots.txt natürlich

Schöne Liste

Schaut selbst und ergänzt Eure Vorschläge über die Kommentare. Ich trage dann alles zusammen und veröffentliche eine Liste zum Download.

User-agent: panscient.com
Disallow: /

User-agent: vscooter
Disallow: /

User-agent: psbot
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: twiceler
Disallow: /

User-agent: Yandex
Disallow: /

User-agent: taptubot
Disallow: /

User-agent: Googlebot-Image
Disallow: /

User-agent: TwengaBot
Disallow: /

User-agent: sitebot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: Ezooms
Disallow: /

User-agent: sistrix
Disallow: /

User-agent: aiHitBot
Disallow: /

User-agent: InfoPath
Disallow: /

User-agent: InfoPath.2
Disallow: /

User-agent: swebot
Disallow: /

User-agent: EC2LinkFinder
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: SearchmetericsBot
Disallow: /

User-agent: WBSearchBot
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: Sosospider
Disallow: /

User-agent: ip-web-crawler.com
Disallow: /

User-agent: netEstate NE Crawler
Disallow: /

User-agent: Aboundexbot
Disallow: /

User-agent: meanpathbot
Disallow: /

User-agent: Mail.Ru
Disallow: /

User-agent: spbot
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: LinkpadBot
Disallow: /

User-agent: EasouSpider
Disallow: /

User-agent: SeznamBot
Disallow: /

User-agent: wotbox
Disallow: /

>