SEO 7 мин чтения

Правильный robots.txt для WordPress

Оптимальный robots.txt для WordPress: что запрещать, что разрешать, как не потерять индексацию. Готовый шаблон с объяснениями.

Robots.txt — файл, который говорит поисковым роботам, какие страницы индексировать, а какие нет. Неправильный robots.txt может закрыть от индексации весь сайт.

Готовый robots.txt для WordPress

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /tag/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/

Sitemap: https://yoursite.com/sitemap.xml
Sitemap: https://yoursite.com/sitemap_index.xml

Что обязательно закрывать

Техническая часть WordPress

Disallow: /wp-admin/          # Панель управления
Disallow: /wp-includes/       # Ядро WordPress
Disallow: /wp-login.php       # Страница входа
Disallow: /xmlrpc.php         # XML-RPC (вектор атак)
Disallow: /wp-content/plugins/ # Файлы плагинов
Disallow: /wp-content/themes/  # Файлы тем

Дублированный контент

Disallow: /?s=        # Результаты поиска
Disallow: /search/    # То же
Disallow: /?p=        # Устаревшие URL постов
Disallow: /feed/      # RSS-ленты (опционально)

Технические страницы

Disallow: /author/    # Страницы авторов (если нет SEO-ценности)
Disallow: /page/      # Пагинация (осторожно!)

Что важно РАЗРЕШИТЬ

Allow: /wp-admin/admin-ajax.php  # Нужен для AJAX
Allow: /wp-content/uploads/      # Медиафайлы ОБЯЗАТЕЛЬНО

Медиафайлы в /wp-content/uploads/ должны быть доступны для индексации изображений.

Для интернет-магазинов (WooCommerce)

# Закрыть технические страницы WooCommerce
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /wc-api/
Disallow: /?add-to-cart=

Директивы для разных роботов

# Яндекс-бот
User-agent: Yandex
Crawl-delay: 1
Disallow: /wp-admin/

# Googlebot
User-agent: Googlebot
Allow: /wp-content/
Disallow: /wp-admin/

# Все остальные
User-agent: *
Disallow: /wp-admin/

Проверка robots.txt

  • Google Search Console → Инструмент проверки robots.txt
  • Яндекс Вебмастер → Инструменты → Анализ robots.txt
  • Online: robots.txt Tester

В WordPress: где редактировать

  1. Через Yoast SEO: Настройки → Инструменты → Редактор файлов
  2. Через файл: /var/www/html/robots.txt (в корне сайта)
  3. Через WordPress: Настройки → Чтение → Видимость для поисковиков