Москва

Укажите свой город

8 (800) 250-32-83

Телефоны для связи:

Телефон в Москве

+7 (985) 768-32-83

Техническая поддержка

+7 (4932) 21-22-34

Отдел продаж

+7 (4932) 22-21-23

SEO специалисты

+7 (4932) 21-22-34

Бухгалтерия

+7 (4932) 22-13-33

Руководство

+7 (4932) 21-22-33

Контакты

Обратный звонок
Стать нашим клиентом

Как настроить robots.txt?

Как правильно настроить файл robots.txt для поисковых систем?

вопрос задан 17.09.2019

|

1824 просмотра

Ответ на вопрос

17.09.2019

Чтобы ваш сайт правильно индексировался поисковыми системами, необходимо настроить файл robots.txt, который работает как инструкция для поисковых роботов.


Запрет индексации

Чтобы запретить индексацию некоторых страниц на сайте, используйте подобные конструкции. Используйте параметр Disallow, чтобы скрыть от индексации системные страницы, например, корзину, регистрацию, аутентификацию и пр.

Disallow: /

Скрыть от индексации весь сайт

Disallow: /cart

Скрыть от индексации корзину заказа


Подробнее про регулярные выражения в robots.txt


Разрешение индексации

Не обязательная и практически бесполезная конструкция, позволяющая разрешить индексацию страницы. Данная конструкция пригодится для случаев, когда вы хотите закрыть все страницы папки кроме одной

Allow: /system/images

Разрешить индексировать /system/images


User-agent

Эта директива указывает конкретного поискового робота, для которого будут действовать указания по индексации

User-agent: Yandex 
Disallow: /

Запрет индексации сайта только для поискового робота Яндекса


Список юзерагентов для роботов поисковых систем:

  1. Yandex - Яндекс
  2. Googlebot - Google
  3. Mail.Ru - Мэйл.Ру

Карта сайта

Чтобы установить ссылку на карту сайта в файле robots.txt, воспользуйтесь конструкцией. Правильно указывайте протокол (https или http)

Sitemap: http://САЙТ/sitemap.xml

Чтобы проверить правильность генерации файла, попробуйте валидатор robots.txt

Ищете SEO продвижение сайта?

Если вы хотите опередить своего конкурента и улучшить видимость в поиске, увеличить качество и количество трафика и вывести сайт в ТОП, попробуйте наши услуги по SEO оптимизации и продвижению. Подробнее »

Наши специалисты готовы ответить на ваши вопросы

Интернет-маркетологи, программисты, контент-менеджеры и копирайтеры компании «Web Project Group» готовы быстро ответить на ваши вопросы о продвижении, создании, наполнении и поддержке современных сайтов

На ваши вопросы отвечают

Максим Марков

Максим Марков

Менеджер по развитию

Сергей Горностаев

Сергей Горностаев

Специалист по интернет-маркетингу

Константин Покровский

Константин Покровский

Специалист отдела разработки

Владимир Федоров

Владимир Федоров

Контент-менеджер

Россия:

8-800-250-32-83

Москва:

+7 (985) 768-32-83

Санкт-Петербург:

+7 (812) 925-42-72

Нижний новгород:

+7 (831) 410-72-73

Иваново:

+7 (4932) 21-22-33

Владимир:

+7 (919) 002-1-002

Кострома:

+7 (4942) 499-664

Ярославль:

+7 (4942) 499-664

support@webproject.group

manager@webproject.group

seo@webproject.group

billing@webproject.group

director@webproject.group

Написать нам

© 2011–2019 ООО «Web Project Group»