Карта сайта и robots.txt

Обратите внимание: раздел отображается, если включено приложение «SEO-настройки». Подробнее смотрите документ «Приложение SEO-настройки».

Карта сайта

На карте сайта представлен полный перечень разделов, групп товарных позиций и всех страниц, имеющихся на сайте. Карта сайта (sitemap) генерируется автоматически и доступна для просмотра по этой ссылке.

Редактирование robots.txt

Файл «robots.txt» – это текстовый файл, который находится в корневой директории сайта компании. В него записываются специальные инструкции (указания) для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте.

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt.

Файл «robots.txt» – идентичен для всех сайтов, созданных на платформе портала, и уже находится в корневой директории вашего сайта. Для улучшения индексации поисковыми системами, в файле «robots.txt» заблокированы только дублирующиеся страницы, например, список одних и тех же товаров в виде галереи и в виде списка:

По умолчанию, в файле «robots.txt» вашего сайта закрыты от индексации не информационные страницы, такие как страница добавления товара в корзину, заказа товара, создания отзыва, все страницы личного кабинета и так далее. Открытие для индексации таких страниц только навредит вашему сайту, так как на них нет полезной информации ни для клиентов, ни для поисковых систем.

Все остальные страницы разрешены к индексации.

Для компаний, подключивших внешний домен вида «Company.com», есть возможность вносить изменения в файл «robots.txt». Более детально о подключении внешнего домена в документе «Доменное имя компании».

Для редактирования файла нажмите Редактировать в блоке «Robots.txt», внесите изменения в раскрывшемся поле «Редактирование robots.txt» и сохраните их.

Внимание! Редактирование «robots.txt» может привести к неправильной индексации вашего сайта поисковыми системами. Перед внесением изменений в файл проконсультируйтесь предварительно у SEO-специалиста.

Редактирование файла «robots.txt»

Для возврата к исходным установкам файла «robots.txt» нажмите на кнопку Вернуть стандартные настройки и сохраните изменения.

Основные ошибки при редактировании файла:

  • Переименование или удаление инструкций:
    • User-Agent: YadirectBot
      Disallow:
    • User-Agent: YandexDirect
      Disallow:
  • В директиве Host аббревиатура протокола передачи гипертекста указана с использованием http:// и закрывающим слешем /
  • Удаление инструкции «Host: company.com»
  • Использование инструкции Allow не всегда корректно воспринимается поисковыми системами и может ухудшить индексацию вашего сайта.
  • Удаление инструкции «Sitemap: http://company.com/sitemap.xml»

Примечание. Карта сайта «sitemap.xml» генерируется и обновляется системой портала автоматически.

Ниже представлен пример файла «robots.txt», находящийся в корневой директории сайта компании на портале:

Пример файла «robots.txt»

Более детальная инструкция по формированию файла «robots.txt» с сайтов поисковых систем:

Была ли статья полезной?

Сообщество не принимает новых отзывов!