• Никакой политики на форуме. Иначе - бан!
  • Вопрос без рабочей ссылки на проблему считается риторическим. Без ссылки и скриншота - провокацией!
  • Темы озаглавленные с маленькой буквы или капсом удаляются без предупреждения!

Вопрос по СЕО а конкретно по файлу роботс.тхт

Torcedor

Опытный
Здравствуйте,
на всех своих сайтах на вордпресс я делаю роботс.тхт таким:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /?cat=*
Disallow: /?tag=*
Disallow: /?m=*
Disallow: /*.gz
Disallow: /archives/category
Disallow: /archives/tag
Disallow: /*?*
Disallow: /*?replytocom

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /?cat=*
Disallow: /?tag=*
Disallow: /?m=*
Disallow: /*.gz
Disallow: /archives/category
Disallow: /archives/tag
Disallow: /*?*
Disallow: /*?replytocom

Host: www.сайт.ru
Sitemap: http://www.сайт.ru/sitemap_index.xml

Но так как я первый раз сталкиваюсь с вукоммерс, то возник вопрос:
- правильно ли в данном случае я сделал файл роботс.тхт?
 

D&B

Администратор
Команда форума
Местный
Можно конечно тут в очередной раз поднять тему об этом несчастном файлике, но я иногда смотрю его же на каком ни будь почтенном западном сайте типа https://www.woothemes.com/robots.txt и что- то мне подсказывает, что холивара в сети больше гораздо чем нужно на эту тему. Понятно, что у них нет яндкса, но все же.
 
Сверху Снизу