Настройка Robots txt для WordPress и Opencart

Настройка Robots txt для WordPress

Создаем файл robots.txt в корне вашего сайта со следующим содержимым:

User-agent: *       
Disallow: /cgi-bin            
Disallow: /wp-admin/           
Disallow: /?                   
Disallow: *?s=                 
Disallow: *&s=                
Disallow: /search             
Disallow: /author/             
Disallow: */embed$           
Disallow: */page/              
Disallow: */xmlrpc.php         
Disallow: *utm*=              
Disallow: *openstat=           

Host: https://sajt-pod-klyuch.ru
Sitemap: https://sajt-pod-klyuch.ru/sitemap.xml

В последней строчке требуется указать URL-адрес файла Sitemap XML. Сгенерировать его можно с помощью этого сервиса или воспользоваться расширением SEO Yoast. Просто вставьте ссылку на ваш сайт и скачайте получившийся файл. Затем залейте его в корень вашего сайта и замените последнюю строчку в коде.

Настройка Robots txt для Opencart

Создаем файл Robots TXT со следующим содержимым в корне вашего сайта:

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?etext=
Disallow: /*?ajaxfilter=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter=
Disallow: /*&filter=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: *page=*
Disallow: *search=*
Disallow: /cart/
Disallow: /forgot-password/
Disallow: /login/
Disallow: /compare-products/
Disallow: /add-return/
Disallow: /vouchers/

Host: https://sajt-pod-klyuch.ru/
Sitemap: https://sajt-pod-klyuch.ru/sitemap.xml

Не забудьте заменить последние 2 ссылки на URL вашего сайта и адрес файла Sitemap XML. Сгененировать такой файл можно с помощью этого сервиса. Просто вставьте ссылку на свой сайт, скачайте получившийся файл, залейте в корень вашего сайта и замените последнюю строчку.

Дубли страниц с параметром etext в URL. Как избавиться?

Иногда в Яндекс Вебмастер может появиться ошибка дублей страниц с параметром ETEXT в URL. Избавиться от нее можно с помощью всего 1 строчки в файле Robots TXT:

Clean-param: etext

С помощью этой команды мы говорим поисковым роботам, что страницы, в URL которых есть параметр ETEXT, генерировать не нужно, так он не меняет содержимого документа.
По аналогии с этим способом можно избавиться и от других ошибок, связанных с подобными параметрами.

Подведем итоги

В этом материале мы рассмотрели самые простые способы создания файла Robots txt для CMS WordPress и Opencart. А также рассказали про параметр «Clean-param».

У вас есть вопросы по разработке сайтов? Хотите узнать больше о настройке рекламных кампаний в Яндекс Директ? Обязательно подпишитесь на нашу группу в вконтакте, чтобы не пропустить свежие и актуальные статьи на волнующие вас темы.