Введите часть искомого слова, названия или фразы...
↑ ↓
  1. Новые темы озаглавленные с маленькой буквы - удаляются без предупреждения!
  2. Вопрос без рабочей ссылки на проблему считается риторическим. Без ссылки и скриншота - провокацией!

Вопрос по СЕО а конкретно по файлу роботс.тхт

Тема в разделе "Общее для WordPress", создана пользователем Torcedor, 14 апр 2016.

  1. Torcedor

    Torcedor

    Сообщения:
    62
    Симпатии:
    1
    Баллы:
    8
    Здравствуйте,
    на всех своих сайтах на вордпресс я делаю роботс.тхт таким:

    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /themes/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comment/
    Disallow: /tag/
    Disallow: /author/
    Disallow: /search/
    Disallow: /rss/
    Disallow: /*.js
    Disallow: /*.inc
    Disallow: /*.css
    Disallow: /?cat=*
    Disallow: /?tag=*
    Disallow: /?m=*
    Disallow: /*.gz
    Disallow: /archives/category
    Disallow: /archives/tag
    Disallow: /*?*
    Disallow: /*?replytocom

    User-agent: Yandex
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /themes/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /comment/
    Disallow: /tag/
    Disallow: /author/
    Disallow: /search/
    Disallow: /rss/
    Disallow: /*.js
    Disallow: /*.inc
    Disallow: /*.css
    Disallow: /?cat=*
    Disallow: /?tag=*
    Disallow: /?m=*
    Disallow: /*.gz
    Disallow: /archives/category
    Disallow: /archives/tag
    Disallow: /*?*
    Disallow: /*?replytocom

    Host: www.сайт.ru
    Sitemap: http://www.сайт.ru/sitemap_index.xml

    Но так как я первый раз сталкиваюсь с вукоммерс, то возник вопрос:
    - правильно ли в данном случае я сделал файл роботс.тхт?
     
  2. D&B

    D&B Администратор Команда форума Местный

    Сообщения:
    3.264
    Симпатии:
    721
    Баллы:
    113
    Можно конечно тут в очередной раз поднять тему об этом несчастном файлике, но я иногда смотрю его же на каком ни будь почтенном западном сайте типа https://www.woothemes.com/robots.txt и что- то мне подсказывает, что холивара в сети больше гораздо чем нужно на эту тему. Понятно, что у них нет яндкса, но все же.
     
    • Согласен Согласен x 2
  3. Torcedor

    Torcedor

    Сообщения:
    62
    Симпатии:
    1
    Баллы:
    8
    Да уж, вот это роботс так роботс)))