Введите часть искомого слова, названия или фразы...
↑ ↓
  1. Новые темы озаглавленные с маленькой буквы - удаляются без предупреждения!
  2. Вопрос без рабочей ссылки на проблему считается риторическим. Без ссылки и скриншота - провокацией!

Как должен выглядеть файл robots.txt для интернет-магазина?

Тема в разделе "Вопросы новичков", создана пользователем Oksana, 10 янв 2014.

  1. Mixon14

    Mixon14

    Сообщения:
    61
    Симпатии:
    2
    Баллы:
    8
    Добрый день!

    Хочу закрыть для роботов атрибуты (цвет, ID и т.п.), а то по нескольку тысяч в поиск добавляет. Как правильно прописать?

    Вот мой роботс:
    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /feed/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */comments
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /?s=
    Allow: /wp-content/themes/Divi
    Allow: /wp-includes/

    User-agent: Yandex
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /feed/
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */comments
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /?s=

    Host: kalitoys.ru
    Sitemap: http://kalitoys.ru/sitemap.xml
     
  2. Ardizan

    Ardizan

    Сообщения:
    11
    Симпатии:
    2
    Баллы:
    3
    Про robots.txt информация "из первых рук" от Яндекса.