# scolaire.ru
#
# ПЕРЕПИСАН 2026-08-14. Прежний запрещал роботам /css/, /fonts/, /js/ и /img/.
# Это вредило самому сайту: поисковик отрисовывает страницу так же, как
# браузер, и без стилей видит голый текст — а по такой картинке решает,
# годится ли страница для чтения с телефона. Google называет закрытые стили
# и скрипты прямой ошибкой. Теперь они открыты.
#
# Закрыто только то, что и должно быть закрыто: служебные каталоги,
# страница ошибки и адреса с доводами (они дают поисковику десятки
# одинаковых страниц под разными адресами).

User-agent: *

# Адреса с доводами — те же страницы под другими именами.
Disallow: /?

# Страница ошибки в выдаче не нужна.
Disallow: /404.php
Disallow: /404.html

# Служебное и черновое.
Disallow: /.qit/
Disallow: /download/
Disallow: /new/
Disallow: /scolaire/

# Внутренности библиотеки распознавания мобильных: на сервере они закрыты,
# здесь сказано и роботам, чтобы не ходили впустую.
Disallow: /mob/

# Стили, шрифты, скрипты и картинки ОТКРЫТЫ НАРОЧНО — без них поисковик
# не может отрисовать страницу.
Allow: /css/
Allow: /fonts/
Allow: /js/
Allow: /img/
Allow: /math/

# ======================================================================
# РОБОТЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА — РАЗРЕШЕНЫ НАРОЧНО. 2026-08-15.
# ======================================================================
#
# Большинство сайтов сегодня их закрывает. У нас противоположная задача:
# замысел проекта (DNA, §1) — быть источником, у которого ИИ учится.
# Закрыв их, мы отменили бы собственную цель.
#
# Разрешение здесь объявлено ИМЕНАМИ, а не молчанием: «User-agent: *»
# выше уже разрешает всё, но названный робот получает разрешение прямо,
# и правило переживает будущие ужесточения общего блока.
#
# Запреты те же, что и у прочих: служебное и адреса с доводами.

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: YandexAdditional
Disallow: /?
Disallow: /404.php
Disallow: /404.html
Disallow: /.qit/
Disallow: /download/
Disallow: /new/
Disallow: /scolaire/
Allow: /

Sitemap: https://scolaire.ru/sitemap.xml