Robots.txt: как правильно настроить для Яндекса и не потерять трафик

Robots.txt — это простой текстовый файл, который решает сложную задачу: кому давать доступ к страницам сайта, а кому закрывать путь. Для владельца проекта он похож на регулировщика на перекрестке поисковых роботов. Неправильная настройка может закрыть важные страницы от индексации, а грамотная — сэкономить бюджет обхода и подсказать Яндексу предпочтительный домен.

В этой статье разберём практические правила, обязательные для Яндекса, объясним важные директивы и приведём рабочие примеры, которые можно адаптировать под свой сайт.

Где и как размещать robots.txt

Файл должен лежать в корне сайта по адресу https://example.com/robots.txt. Яндекс запрашивает его перед обходом, поэтому любое расположение иначе, чем в корне, не сработает. Поместите файл в кодировку UTF-8, тогда символы и пути корректно воспринимаются.

Если файл отсутствует, Яндекс считает, что всё разрешено для индексации. Если файл есть, он применяется ко всем роботам, если внутри явно не прописаны исключения по User-agent.

Основные директивы, которые поддерживает Яндекс

Есть несколько директив, которые важны именно для Яндекса. Некоторые из них уникальны, другие — общие и привычные по Google, но поведение может различаться. Ниже — краткая таблица с назначением.

Как правильно использовать Host

Host — это особенность Яндекса. Если у вас несколько зеркал (www и без www), укажите в robots.txt один предпочитаемый хост, например Host: example.com. Эта директива учитывается только Яндексом и помогает выбрать основной домен при индексации.

Host не заменяет корректные 301-редиректы и настройку канонических URL. Он лишь подсказывает Яндексу предпочтение, но не гарантирует абсолютной приоритетности.

Практические примеры robots.txt для Яндекса

Ниже несколько типичных шаблонов. Возьмите за основу и подгоняйте под структуру сайта.

Пример 1 — открытый сайт с картой:

User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
Host: example.com

Пример 2 — закрыть административную часть, открыть остальное:

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
Host: example.com

Частые ошибки и проверка

Ошибки делают даже опытные специалисты. Вот список, который помогает их избежать:

• Файл не в корне сайта — Яндекс его не увидит.
• Случайный Disallow: / — закрыли весь сайт.
• Блокировка CSS/JS — ухудшает рендеринг страниц и может снизить позиции.
• Несоответствие кодировки — кириллические пути могут некорректно читаться.
• Отсутствие Sitemap и Host — упускаете возможность оптимизировать обход.

Проверяйте файл через инструмент Яндекс.Вебмастер. Там можно протестировать конкретный URL и увидеть, как робот трактует правила.

Короткая инструкция по внедрению

Последовательность простая и минималистичная:

1. Создайте robots.txt в кодировке UTF-8 в корне сайта.
2. Укажите User-agent, Disallow/Allow, Sitemap и Host при необходимости.
3. Проверьте файл в Яндекс.Вебмастер, отладьте правила на отдельных URL.
4. Не полагайтесь только на robots.txt для управления каноничностью — используйте редиректы и rel=canonical.

Если придерживаться этих шагов, вы настроите логичный и понятный для Яндекса robots.txt, который сохранит трафик и облегчит индексирование важных страниц.