# ===================================
# Robots.txt Datei
# ===================================

# ===================================
# Pfad zur Sitemap:
# ===================================
Sitemap: http://www.obsonline.de/sitemap.xml

# ===================================
# Folgende Seiten sollen nicht indexiert werden:
# ===================================

User-agent: *
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /datenschutz.html
Disallow: /feedback.html
Disallow: /bezahlung-paypal.html

# ===================================
# Schließe folgende Spider komplett aus:
# ===================================

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
Disallow: /