Генератор robots.txt
Что такое robots.txt
Файл robots.txt — это текстовый файл в корне сайта, который указывает поисковым роботам (краулерам), какие разделы и страницы можно индексировать, а какие нельзя. Это стандарт Robots Exclusion Protocol, предложенный в 1994 году и поддерживаемый всеми крупными поисковыми системами.
Стандарт REP
Robots Exclusion Protocol (REP) — стандарт, принятый в 1994 году Мартином Костером. В 2019 году Google предложил формализовать его как RFC 9309. Все крупные поисковики — Яндекс, Google, Bing, Mail.ru — соблюдают этот протокол и проверяют robots.txt перед сканированием сайта.
Как работает
Поисковый робот, приходя на сайт, первым делом запрашивает файл /robots.txt. Если файл найден, бот читает правила и следует им: не сканирует запрещённые страницы, соблюдает задержку между запросами (Crawl-delay). Если файла нет — робот индексирует весь сайт без ограничений.
Рекомендация, не защита
Robots.txt — это рекомендательный протокол. Добропорядочные боты (Google, Яндекс) его соблюдают, но вредоносные парсеры и скраперы могут игнорировать. Для настоящей защиты контента используйте авторизацию, HTTP-заголовок X-Robots-Tag или мета-тег noindex.
Возможности генератора
Наш инструмент учитывает особенности всех популярных поисковых систем, включая специфические директивы Яндекса.
SEO-оптимизация
Правильный robots.txt помогает поисковикам эффективно сканировать ваш сайт, направляя краулинговый бюджет на важные страницы и исключая технические разделы.
Защита серверных ресурсов
Закрывая административные панели, API-эндпоинты и служебные директории, вы снижаете нагрузку на сервер от ботов и защищаете чувствительные данные от попадания в выдачу.
Оптимизация краулингового бюджета
Каждый поисковик выделяет сайту ограниченное количество запросов. Блокируя фасетную навигацию, дубли и технические страницы, вы направляете бюджет на ценный контент.
Яндекс-специфичные директивы
Поддержка Host для указания основного зеркала, Clean-param для борьбы с дублями из-за UTM-меток, и правильная настройка Crawl-delay, критичная для индексации в Яндексе.
Готовые шаблоны
Предустановленные конфигурации для WordPress, Next.js, блокировки ИИ-ботов (GPTBot, ClaudeBot) и типовых сценариев. Один клик — и основа файла готова.
Встроенный валидатор
Вставьте существующий robots.txt и получите детальный разбор: ошибки синтаксиса, предупреждения о нестандартных директивах, пояснения по Яндекс-специфике.
Синтаксис robots.txt/ полное руководство
Файл robots.txt состоит из набора правил. Каждое правило начинается с директивы User-agent, за которой следуют инструкции Disallow и Allow. Дополнительные директивы (Sitemap, Host, Clean-param) указываются отдельно.
User-agent
Указывает, для какого робота предназначены следующие правила. Символ * означает «все роботы». Можно указать конкретного бота: Googlebot, Yandexbot, Bingbot, GPTBot и др.
User-agent: *
User-agent: Googlebot
User-agent: YandexbotDisallow
Запрещает сканирование указанного пути и всех URL, начинающихся с этого пути. Пустое значение Disallow разрешает доступ ко всему сайту. Поддерживаются подстановочные символы * и окончание $.
Disallow: /admin/
Disallow: /api/
Disallow: /*.pdf$
Disallow: /search?*q=Allow
Разрешает сканирование указанного пути, даже если он попадает под более широкое правило Disallow. Позволяет создавать исключения: запретить директорию целиком, но разрешить отдельные файлы внутри.
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpSitemap
Указывает путь к XML-карте сайта. Должен содержать полный URL с протоколом. Можно указать несколько директив Sitemap. Поддерживается всеми поисковыми системами.
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-news.xmlCrawl-delay
Минимальная пауза (в секундах) между запросами бота. Яндекс учитывает, Google — игнорирует.
Crawl-delay: 2Host
Основное зеркало сайта (www или без www). Специфика Яндекса, другие поисковики игнорируют.
Host: example.comClean-param
GET-параметры, не влияющие на содержание. Яндекс не будет считать URL с этими параметрами дублями.
Clean-param: utm_source /Примеры для разных платформ
Для каждой CMS и фреймворка есть свои особенности настройки robots.txt. Ниже приведены рекомендации по типовым конфигурациям.
WPWordPress
Закройте wp-admin (но разрешите admin-ajax.php для AJAX-форм), wp-includes, служебные файлы (xmlrpc.php, wp-login.php). Запретите индексацию страниц поиска (?s=), тегов и авторских архивов, если они не несут SEO-ценности. Обязательно укажите Sitemap.
Используйте шаблон «WordPress (стандарт)» в конструкторе выше.
NNext.js
В Next.js основные технические файлы находятся в /_next/. Статические ассеты (JS, CSS) обычно не нуждаются в индексации. Закройте API-маршруты (/api/) и административные разделы. Next.js позволяет генерировать robots.txt программно через app/robots.js.
Используйте шаблон «Next.js (стандарт)» в конструкторе выше.
1C1С-Битрикс
Закройте /bitrix/, /upload/resize_cache/, /personal/, /auth/, страницы с параметрами фильтрации и сортировки. Для интернет-магазинов важно запретить индексацию корзины, оформления заказа и личного кабинета. Укажите Host для выбора основного зеркала.
DDjango / Flask
Закройте /admin/ (панель Django Admin), /static/ (если не нужно индексировать CSS/JS), /media/private/, API-эндпоинты. В Django можно обслуживать robots.txt через django-robots или простой TemplateView. Для Flask — через send_from_directory.
Особенности robots.txt для Яндекса
Яндекс поддерживает ряд директив, которые не учитываются Google и другими поисковиками. Правильная настройка этих директив может существенно улучшить индексацию вашего сайта в Яндексе.
Директива Host
Выбор основного зеркалаHost указывает Яндексу, какой домен считать основным: example.com или www.example.com. Это помогает избежать дублирования контента между зеркалами. В Яндекс.Вебмастере можно проверить, какое зеркало выбрано. Google для этих целей использует rel=canonical и 301-редиректы.
Директива Clean-param
Борьба с дублямиClean-param сообщает Яндексу, что определённые GET-параметры (utm_source, utm_medium, ref, session_id и т.д.) не меняют содержимое страницы. Яндекс не будет считать URL с разными значениями этих параметров отдельными страницами, что уменьшает количество дублей в индексе.
Crawl-delay для Яндекса
Контроль нагрузкиВ отличие от Google (который игнорирует Crawl-delay), Яндекс строго соблюдает эту директиву. Значение 2 означает, что Yandexbot будет делать паузу минимум 2 секунды между запросами. Для небольших сайтов на shared-хостинге рекомендуется ставить 1-2 секунды, чтобы снизить нагрузку.
Проверка в Яндекс.Вебмастере
Отладка и мониторингЯндекс.Вебмастер предоставляет инструмент «Анализ robots.txt», где можно проверить, как Яндекс интерпретирует ваш файл. Там же видно, какие страницы заблокированы и какие директивы применяются. Это самый надёжный способ убедиться, что robots.txt работает правильно.
Советы по настройке robots.txt
Практические рекомендации, которые помогут избежать типичных ошибок при создании файла robots.txt.
1Не блокируйте CSS и JS
Google явно рекомендует не закрывать CSS и JavaScript файлы от индексации. Googlebot рендерит страницы как браузер и без стилей/скриптов не может правильно оценить контент. Блокировка CSS/JS может привести к понижению в выдаче.
2Файл должен быть в корне
Robots.txt должен располагаться строго по адресу /robots.txt (в корне домена). Файл в поддиректории (example.com/blog/robots.txt) не будет найден роботами. Для поддоменов нужен отдельный файл: blog.example.com/robots.txt.
3Используйте полные URL для Sitemap
Директива Sitemap должна содержать абсолютный URL с протоколом: https://example.com/sitemap.xml. Относительные пути (/sitemap.xml) не распознаются стандартом и могут быть проигнорированы поисковиками.
4Проверяйте после каждого изменения
После изменения robots.txt проверьте его в инструментах вебмастера Google Search Console и Яндекс.Вебмастере. Ошибка в одном символе (например, пропущенный слэш) может заблокировать важные страницы от индексации.
5Не используйте для скрытия контента
Disallow в robots.txt не удаляет страницу из индекса — она может попасть туда через внешние ссылки. Для полного удаления используйте мета-тег noindex или HTTP-заголовок X-Robots-Tag: noindex в сочетании с разрешением на сканирование.
6Учитывайте порядок правил
Google и Яндекс по-разному обрабатывают конфликтующие правила Allow и Disallow. Google выбирает наиболее конкретное правило (по длине пути). Яндекс применяет последнее подходящее правило. Старайтесь делать правила однозначными, без конфликтов.
Как пользоваться генератором
Создайте файл robots.txt для вашего сайта за несколько простых шагов.
Выберите шаблон или начните с нуля
Нажмите на один из готовых пресетов (WordPress, Next.js, блокировка ИИ-ботов) или начните добавлять правила вручную.
Настройте правила
Выберите User-agent, добавьте пути Allow и Disallow. Установите Crawl-delay при необходимости. Добавьте правила для нескольких ботов.
Укажите глобальные директивы
Добавьте URL карты сайта (Sitemap), основное зеркало (Host) и параметры для очистки (Clean-param) для Яндекса.
Скопируйте или скачайте
Скопируйте сгенерированный текст в буфер обмена или скачайте как файл robots.txt. Загрузите его в корень вашего сайта.
Часто задаваемые вопросы
Лиана Арифметова
Миссия: Демократизировать сложные расчеты. Превратить страх перед числами в ясность и контроль. Девиз: «Любая повторяющаяся задача заслуживает своего калькулятора».
Был ли этот калькулятор полезен?
Отказ от ответственности
Только для информационных целей. Все расчёты, результаты и данные, предоставляемые данным инструментом, носят исключительно ознакомительный и справочный характер. Они не являются профессиональной консультацией — медицинской, юридической, финансовой, инженерной или иной.
Точность результатов. Калькулятор основан на общепринятых формулах и методиках, однако фактические результаты могут отличаться в зависимости от индивидуальных условий, исходных данных и применяемых стандартов. Мы не гарантируем полноту, точность или актуальность приведённых расчётов.
Медицинские, финансовые и профессиональные решения должны приниматься исключительно на основании консультации с квалифицированными специалистами — врачом, финансовым советником, инженером или другим профессионалом в соответствующей области. Не используйте результаты данного инструмента как единственное основание для принятия важных решений.
Ограничение ответственности. Авторы и разработчики сервиса не несут никакой ответственности за прямой или косвенный ущерб, возникший в результате использования данных расчётов. Пользователь принимает на себя всю ответственность за интерпретацию и применение полученных результатов.
Похожие инструменты
Генератор цветовых палитр
Подбор гармоничных цветовых сочетаний: комплементарные, аналогичные, триадные. Экспорт в CSS, Tailwind, SCSS.
Калькулятор рассрочки онлайн
Рассчитайте рассрочку без процентов, сравните с кредитом, определите скрытые наценки магазинов. М.Видео, Эльдорадо, DNS, Wildberries.
Калькулятор вреда курения
Узнайте, сколько лет жизни и денег вы теряете из-за сигарет. Мотиватор для отказа от курения.
Калькулятор бруса
Расчёт бруса на дом: объём, количество, венцы, нагели, межвенцовый утеплитель.
Фотокалькулятор: ГРИП, гиперфокал и экспозиция
Полезные инструменты для фотографа: расчет глубины резкости (DOF), гиперфокального расстояния и экспозиции (EV).
Калькулятор замены масла
Расчёт объёма моторного масла по объёму двигателя, стоимости замены с фильтром и работой, интервала и даты следующего ТО.
Генератор .htaccess редиректов
Визуальный конструктор .htaccess для Apache. Создание редиректов 301/302, принудительный HTTPS, www, блокировка IP, кэширование и сжатие.
Калькулятор теории графов
Построение графов, алгоритмы Дейкстры, BFS, DFS, минимальное остовное дерево (Краскал, Прим). Свойства графов.
Калькулятор электромагнитных волн
Конвертер длины волны, частоты и энергии фотона. Спектр электромагнитных волн, распространение в среде.
Конвертер номеров телефонов
Конвертация российских номеров: +7, 8, без кода. Определение оператора по DEF-коду, форматирование для CRM.
Калькулятор расхода пряжи для вязания
Расчёт расхода пряжи по типу изделия, размеру и толщине нити. Шарф, шапка, свитер, плед.
Калькулятор умных сетей (Smart Grid)
Расчёты умных электросетей: нагрузка, счётчики, распределённая генерация, потери, надёжность
Калькулятор взноса на капитальный ремонт
Расчёт ежемесячного взноса на капремонт по вашему региону. Ставки по всем регионам России. Льготы пенсионерам и инвалидам.
Калькулятор газы (PV=nRT): идеальный газ и Ван-дер-Ваальс
Рассчитайте параметры газа онлайн. Уравнение Менделеева-Клапейрона (идеальный газ), законы Бойля-Мариотта, Шарля и Ван-дер-Ваальса для реальных газов.
Калькулятор микрозайма (МФО, переплата, ПСК)
Рассчитайте полную стоимость микрозайма: проценты, переплату, ПСК в % годовых, дату возврата. Учёт пролонгации и ограничения 130% по 353-ФЗ.