Категории

Пример файла robots.txt для сайтов на MODX Revolution

В каждом отдельном случае директивы могут отличатся, но в большинстве случаев можно использовать этот вариант:

User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?
Host: site-name.com

Давайте внесём некоторую ясность:

  • User-agent - набор правил указанный ниже будет действителен для всех поисковых систем
  • Disallow - директира, которая запрещает индексирование отдельных страниц и целых разделов сайта
  • index.php - дубль главной страницы сайта
  • *? - удаляем дубли для всех страниц
  • Host - домен вашего сайта

Наверх ↑

закрыть х
Новые уроки на постоянной основе!

Некоторые уроки вы сможете посмотреть на моем канале YouTube, но полноценный доступ только для email-подписчиков. Необходимо подписаться на рассылку, чтобы получать оповещения о новых уроках на почту

  • Fireworks, Photoshop, Illustrator
  • HTML, CSS, JavaScript
  • PHP, MySQL
  • CMS, PHP фреймворки, JS библиотеки
  • Инфобизнес, Email-маркетинг
Бесплатно!

Только для email-подписчиков!