# Общие правила для всех ботов
User-agent: *

# Запрещаем индексацию технических и служебных страниц
Disallow: /admin/
Disallow: /api/
Disallow: /static/admin/
Disallow: /investment-success/
Disallow: /invest/success/
Disallow: /_debug/
Disallow: /logs/
Disallow: /media/private/

# Запрещаем индексацию документов (соглашения и политики)
# ВАЖНО: эти правила должны быть ДО Allow: /static/
Disallow: /static/documents/becore_user_agreement.pdf
Disallow: /static/documents/becore_privacy_policy.pdf

# Разрешаем доступ ко всему остальному
Allow: /

# Специальные правила для Yandex
User-agent: Yandex
Crawl-delay: 1

# Специальные правила для Googlebot
User-agent: Googlebot
Crawl-delay: 1

# Специальные правила для Bingbot
User-agent: Bingbot
Crawl-delay: 1

# Указываем местоположение sitemap
Sitemap: https://becore.ru/sitemap.xml