# Mira (getmira.ru) — static promo landing.
#
# Two categories of AI crawler, kept deliberately separate:
#  - retrieval/search bots power live citations in chat answers (ChatGPT,
#    Claude, Perplexity, Bing/Copilot) — allowed, this is what we want.
#  - training bots feed model pretraining, no citation effect either way —
#    allowed too (free brand exposure, marketing site, nothing sensitive).
# Blocking a *-Bot training crawler does NOT block that vendor's separate
# search/citation crawler (e.g. GPTBot vs OAI-SearchBot) — don't conflate them.

# /go/ — не контент, а редирект-счётчик кликов по CTA (Caddy отдаёт 302 на
# t.me). Он закрыт от обхода в КАЖДОЙ группе User-agent, а не только в `*`:
# по RFC 9309 §2.2.1 краулер исполняет ровно одну группу — самую подходящую
# ему по имени — и правила из `*` при этом не читает вовсе. Одна строка в
# группе `*` закрыла бы /go/ только для безымянных ботов, а перечисленные
# выше ИИ-краулеры продолжили бы ходить по CTA и накручивать этот счётчик.
# Внутри группы порядок не важен для RFC-парсеров (выигрывает самое длинное
# совпадение), но Disallow стоит первым — на случай парсера с first-match.

User-agent: OAI-SearchBot
Disallow: /go/
Allow: /

User-agent: ChatGPT-User
Disallow: /go/
Allow: /

User-agent: Claude-SearchBot
Disallow: /go/
Allow: /

User-agent: Claude-User
Disallow: /go/
Allow: /

User-agent: PerplexityBot
Disallow: /go/
Allow: /

User-agent: Perplexity-User
Disallow: /go/
Allow: /

User-agent: Bingbot
Disallow: /go/
Allow: /

User-agent: Yandex
Disallow: /go/
Allow: /

User-agent: GPTBot
Disallow: /go/
Allow: /

User-agent: ClaudeBot
Disallow: /go/
Allow: /

User-agent: CCBot
Disallow: /go/
Allow: /

User-agent: Google-Extended
Disallow: /go/
Allow: /

User-agent: Applebot-Extended
Disallow: /go/
Allow: /

# Documented history of ignoring Disallow at scale — kept as a stated intent,
# not relied on as enforcement.
User-agent: Bytespider
Disallow: /

# Content-Signal (content-signals.org): явное разрешение на поиск, AI-ответы
# и обучение — мы ХОТИМ, чтобы нейронки знали про Mira и советовали её.
# Неизвестная директива для классических парсеров — они её просто игнорируют.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=yes
Disallow: /go/
Allow: /

Sitemap: https://getmira.ru/sitemap.xml