# robots.txt for xblognetwork.com
# Generated: 2025-12-19 22:10:18 UTC
# RFC 9309 compliant robots.txt
# @see https://www.rfc-editor.org/rfc/rfc9309.html

#############################
# All crawlers (default)
#############################
User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /cache/
Disallow: /private/
Disallow: /*.json$
Disallow: /*?*print=
Disallow: /*?*debug=
Crawl-delay: 1

#############################
# Google
#############################
User-agent: Googlebot
Allow: /
Disallow: /api/
Disallow: /*?*debug=

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

#############################
# Bing
#############################
User-agent: Bingbot
Allow: /
Disallow: /api/
Crawl-delay: 1

User-agent: msnbot
Allow: /
Crawl-delay: 1

#############################
# Yandex
#############################
User-agent: Yandex
Allow: /
Crawl-delay: 1
Clean-param: utm_source&utm_medium&utm_campaign&ref&sid

#############################
# DuckDuckGo
#############################
User-agent: DuckDuckBot
Allow: /

#############################
# Baidu
#############################
User-agent: Baiduspider
Allow: /
Crawl-delay: 2

#############################
# AI Training Bots (blocked)
#############################
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: PerplexityBot
Disallow: /

#############################
# Bad bots (always blocked)
#############################
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SearchmetricsBot
Disallow: /

#############################
# Sitemap
#############################
Sitemap: https://xblognetwork.com/sitemap.xml

# Host directive (legacy, for Yandex)
Host: xblognetwork.com