# AI Search Engine Crawlers (GEO — Generative Engine Optimization)
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: OAI-SearchBot
User-agent: Applebot-Extended
Allow: /$
Allow: /sitemap.xml
Allow: /llms.txt
Allow: /assets/
Disallow: /admin
Disallow: /dashboard
Disallow: /client
Disallow: /auth
Disallow: /preview
Allow: /api/public-page/
Allow: /api/v1/public-page/
Disallow: /api/public-page/*login=
Disallow: /api/public-page/*email=
Disallow: /api/public-page/*oobCode=
Disallow: /api/v1/public-page/*login=
Disallow: /api/v1/public-page/*email=
Disallow: /api/v1/public-page/*oobCode=
Disallow: /api/
Disallow: /chat
Disallow: /discussions
Disallow: /files
Disallow: /production
Disallow: /leads
Disallow: /orders
Disallow: /finance
Disallow: /hr
Disallow: /crm
Disallow: /logistics
Disallow: /documents
Disallow: /work-schedule
Disallow: /warehouse
Disallow: /audit
Disallow: /analytics
Disallow: /settings
Disallow: /content
Disallow: /search
Disallow: /*login=
Disallow: /*email=
Disallow: /*oobCode=

# Yandex
User-agent: Yandex
Disallow: /admin
Disallow: /dashboard
Disallow: /client
Disallow: /auth
Disallow: /preview
Allow: /api/public-page/
Allow: /api/v1/public-page/
Disallow: /api/public-page/*login=
Disallow: /api/public-page/*email=
Disallow: /api/public-page/*oobCode=
Disallow: /api/v1/public-page/*login=
Disallow: /api/v1/public-page/*email=
Disallow: /api/v1/public-page/*oobCode=
Disallow: /api/
Disallow: /chat
Disallow: /discussions
Disallow: /files
Disallow: /production
Disallow: /leads
Disallow: /orders
Disallow: /finance
Disallow: /hr
Disallow: /crm
Disallow: /logistics
Disallow: /documents
Disallow: /work-schedule
Disallow: /warehouse
Disallow: /audit
Disallow: /analytics
Disallow: /settings
Disallow: /content
Disallow: /search
Disallow: /*login=
Disallow: /*email=
Disallow: /*oobCode=
# Метки кампаний — склеиваем с чистым URL, чтобы не плодить дубли.
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&ysclid&yclid&yandex-source&hhtmFrom&etext
# Параметры deep-link из наших писем. 2026-08-21: в индекс попали два URL вида
# /?login=true&email=<почта клиента> — персональные данные стали доступны через
# поиск. Ссылки почту больше не несут, а эта строка убирает уже проиндексированное
# и страхует от любых будущих параметров этого класса.
Clean-param: login&email&lead&oobCode&mode&continueUrl&apiKey
# Кэш-бастинг статики и версия медиа. 2026-09-04: в индексе Яндекса висели
# /?v=media0824, /stati?cb=... и /faktura-poverhnosti?cb=... — четыре дубля
# при верном rel=canonical. Для Яндекса Clean-param сильнее canonical.
# 2026-09-14: к ним добавился /?preview=true — появился в индексе 11.09.
# Disallow: /preview закрывает ПУТЬ, а не параметр, поэтому дубль прошёл мимо.
# Размывает главную, а на неё садится 76% всей органики.
# 2026-09-29: те же дубли от служебных проверок скорости — /?probe=1 и /?cold=1
# были в индексе Яндекса. Адреса с пустым «?» (/?) параметра не несут — их склеивает
# только rel=canonical.
# 2026-10-04: в выдаче Яндекса нашлись /?qa=vpn-sim, /anodirovanie?qa=plain, ?qa=perf-measure и один
# вариант с shem. qa — метка наших замеров (scripts/perf), shem — источник не найден; сайт оба параметра
# не читает, а HTML на /, /anodirovanie и /mehanicheskaya-obrabotka с ними побайтно тот же, canonical чистый.
Clean-param: cb&v&preview&probe&cold&qa&shem
Host: https://oxi-pro.ru

# Googlebot
User-agent: Googlebot
Disallow: /admin
Disallow: /dashboard
Disallow: /client
Disallow: /auth
Disallow: /preview
Allow: /api/public-page/
Allow: /api/v1/public-page/
Disallow: /api/public-page/*login=
Disallow: /api/public-page/*email=
Disallow: /api/public-page/*oobCode=
Disallow: /api/v1/public-page/*login=
Disallow: /api/v1/public-page/*email=
Disallow: /api/v1/public-page/*oobCode=
Disallow: /api/
Disallow: /chat
Disallow: /discussions
Disallow: /files
Disallow: /production
Disallow: /leads
Disallow: /orders
Disallow: /finance
Disallow: /hr
Disallow: /crm
Disallow: /logistics
Disallow: /documents
Disallow: /work-schedule
Disallow: /warehouse
Disallow: /audit
Disallow: /analytics
Disallow: /settings
Disallow: /content
Disallow: /search
Disallow: /*login=
Disallow: /*email=
Disallow: /*oobCode=

# Bingbot
User-agent: Bingbot
Disallow: /admin
Disallow: /dashboard
Disallow: /client
Disallow: /auth
Disallow: /preview
Allow: /api/public-page/
Allow: /api/v1/public-page/
Disallow: /api/public-page/*login=
Disallow: /api/public-page/*email=
Disallow: /api/public-page/*oobCode=
Disallow: /api/v1/public-page/*login=
Disallow: /api/v1/public-page/*email=
Disallow: /api/v1/public-page/*oobCode=
Disallow: /api/
Disallow: /chat
Disallow: /discussions
Disallow: /files
Disallow: /production
Disallow: /leads
Disallow: /orders
Disallow: /finance
Disallow: /hr
Disallow: /crm
Disallow: /logistics
Disallow: /documents
Disallow: /work-schedule
Disallow: /warehouse
Disallow: /audit
Disallow: /analytics
Disallow: /settings
Disallow: /content
Disallow: /search
Disallow: /*login=
Disallow: /*email=
Disallow: /*oobCode=

# All other crawlers
User-agent: *
Disallow: /admin
Disallow: /dashboard
Disallow: /client
Disallow: /auth
Disallow: /preview
Allow: /api/public-page/
Allow: /api/v1/public-page/
Disallow: /api/public-page/*login=
Disallow: /api/public-page/*email=
Disallow: /api/public-page/*oobCode=
Disallow: /api/v1/public-page/*login=
Disallow: /api/v1/public-page/*email=
Disallow: /api/v1/public-page/*oobCode=
Disallow: /api/
Disallow: /chat
Disallow: /discussions
Disallow: /files
Disallow: /production
Disallow: /leads
Disallow: /orders
Disallow: /finance
Disallow: /hr
Disallow: /crm
Disallow: /logistics
Disallow: /documents
Disallow: /work-schedule
Disallow: /warehouse
Disallow: /audit
Disallow: /analytics
Disallow: /settings
Disallow: /content
Disallow: /search
Disallow: /*login=
Disallow: /*email=
Disallow: /*oobCode=

Sitemap: https://oxi-pro.ru/sitemap.xml