Torcedor
Опытный

Здравствуйте,
на всех своих сайтах на вордпресс я делаю роботс.тхт таким:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /?cat=*
Disallow: /?tag=*
Disallow: /?m=*
Disallow: /*.gz
Disallow: /archives/category
Disallow: /archives/tag
Disallow: /*?*
Disallow: /*?replytocom
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /?cat=*
Disallow: /?tag=*
Disallow: /?m=*
Disallow: /*.gz
Disallow: /archives/category
Disallow: /archives/tag
Disallow: /*?*
Disallow: /*?replytocom
Host: www.сайт.ru
Sitemap: http://www.сайт.ru/sitemap_index.xml
Но так как я первый раз сталкиваюсь с вукоммерс, то возник вопрос:
- правильно ли в данном случае я сделал файл роботс.тхт?
на всех своих сайтах на вордпресс я делаю роботс.тхт таким:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /?cat=*
Disallow: /?tag=*
Disallow: /?m=*
Disallow: /*.gz
Disallow: /archives/category
Disallow: /archives/tag
Disallow: /*?*
Disallow: /*?replytocom
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comment/
Disallow: /tag/
Disallow: /author/
Disallow: /search/
Disallow: /rss/
Disallow: /*.js
Disallow: /*.inc
Disallow: /*.css
Disallow: /?cat=*
Disallow: /?tag=*
Disallow: /?m=*
Disallow: /*.gz
Disallow: /archives/category
Disallow: /archives/tag
Disallow: /*?*
Disallow: /*?replytocom
Host: www.сайт.ru
Sitemap: http://www.сайт.ru/sitemap_index.xml
Но так как я первый раз сталкиваюсь с вукоммерс, то возник вопрос:
- правильно ли в данном случае я сделал файл роботс.тхт?