# Buscadores y crawlers generales — permitidos
User-agent: *
Allow: /
# Endpoints de acción (POST-only, nunca pensados como páginas): Googlebot los
# descubre analizando el JS (fetch() en index.html/scraper.py) e intenta un
# GET, que siempre da 404 — ver GSC "No se ha encontrado (404)" 2026-10-26.
# Bloqueados aquí para que deje de intentarlo (no son contenido indexable).
Disallow: /vote
Disallow: /track-affiliate-click
Disallow: /track-detail-open
Disallow: /sync-favorites
Disallow: /sync-town
Disallow: /subscribe
Disallow: /unsubscribe
Disallow: /pwa-install

# ── Bots de BÚSQUEDA de IA (citar el sitio en respuestas) — PERMITIDOS ───────
# OAI-SearchBot: indexación para ChatGPT Search (ya permitido por * arriba)
# PerplexityBot: indexación para Perplexity (ya permitido por * arriba)
# ChatGPT-User: browsing activo de ChatGPT — necesario para que cite el sitio
User-agent: ChatGPT-User
Allow: /

# Claude-SearchBot / Claude-Web: búsqueda de Anthropic
User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# ── Bots de ENTRENAMIENTO de IA — BLOQUEADOS ─────────────────────────────────
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: cohere-ai
Disallow: /

Sitemap: https://agendaferrol.es/sitemap.xml