Введите часть искомого слова, названия или фразы...
↑ ↓
  1. Новые темы озаглавленные с маленькой буквы - удаляются без предупреждения!
  2. Вопрос без рабочей ссылки на проблему считается риторическим. Без ссылки и скриншота - провокацией!

Как должен выглядеть файл robots.txt для интернет-магазина?

Тема в разделе "Вопросы новичков", создана пользователем Oksana, 10 янв 2014.

  1. Oksana

    Oksana

    Сообщения:
    16
    Симпатии:
    1
    Баллы:
    3
    Подскажите пожалуйста правильно составлен файл или для интернет магазина необходимо что-то добавить или убрать? Если можно подробнее, для яслей.

    Код:
    User-agent: *
    Crawl-delay: 4
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    User-agent: Yandex
    Crawl-delay: 4
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Host: lady-charm.in.ua
     
    Последнее редактирование модератором: 10 янв 2014
  2. D&B

    D&B Администратор Команда форума Местный

    Сообщения:
    3.273
    Симпатии:
    724
    Баллы:
    113
    Интересная тема связанная к тому же, с плагинами SEO. Я пока использую стандартный robots.txt. В данном случае возможно Вам стоит добавить:
    Код:
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Иностранные товарищи считают что будет не лишним включить:
    Код:
    Disallow: /*add-to-cart=*
    Кроме того, обычно добавляют ссылки на сайтмап (если он есть конечно у вас). Для вашего сайта:
    Код:
    Sitemap: http://lady-charm.in.ua/sitemap.xml
    Sitemap: http://lady-charm.in.ua/sitemap.xml.gz
     
  3. Oksana

    Oksana

    Сообщения:
    16
    Симпатии:
    1
    Баллы:
    3
    Извините за возможно глупый вопрос, а куда конкретно это вставлять, не важно? Можно после Disallow: /*?*
     
  4. D&B

    D&B Администратор Команда форума Местный

    Сообщения:
    3.273
    Симпатии:
    724
    Баллы:
    113
    Совершенно без разницы
     
    • Нравится Нравится x 1
  5. Noval

    Noval

    Сообщения:
    14
    Симпатии:
    2
    Баллы:
    3
    А почему нельзя просто запретить весь сайт к индексации, а разрешить только, то что необходимо?
    Что-то вроде этого:
    User-agent: *
    Crawl-delay: 4
    Disallow: /
    Allow: /katalog
     
  6. Oksana

    Oksana

    Сообщения:
    16
    Симпатии:
    1
    Баллы:
    3
    Тогда, если планируется SEO продвижение, надо наверно еще разрешить доступ к разделу (новости, советы, полезно) где будут размещаться статьи?
     
  7. Noval

    Noval

    Сообщения:
    14
    Симпатии:
    2
    Баллы:
    3
    Это, если у Вас блог и для него требуется продвижение. Я имел ввиду небольшой интернет-магазин. Для него такой же файл рекомендуется?
     
  8. Oksana

    Oksana

    Сообщения:
    16
    Симпатии:
    1
    Баллы:
    3
    Кто-то не верит в сео продвижение, но как показывает практика оно приносит свои плоды, а соответственно бесплатный трафик с поисковых систем, поэтому можно сделать раздел "советы" или "интересно" где публиковать статьи оптимизированные по теме ваших товаров, делать ссылки на категории. Например магазин обуви в описании товара сильно не разгонишься, делаете серии статей с низкочастотными запросами допустим "замшевая обувь" 10-15 статей плюс перелинковка, добавить ссылок и через месяц-два ваш сайт на первых позициях, бесплатный трафик. Даже для не большого магазина будет не лишним
     
    • Нравится Нравится x 1
  9. sveta_vyazanie

    sveta_vyazanie

    Сообщения:
    45
    Симпатии:
    5
    Баллы:
    8
    Меня вопрос про robots.txt тоже интересует. Я сделала так
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /xmlrpc.php
    Disallow: /trackback/
    Disallow: /?feed=
    Disallow: /feed/
    Disallow: /*?*
    Disallow: /author/
    Disallow: /category/
    Disallow: /tag/
    Disallow: /kategorii/ (то, что в wc товарная-категория)
    Disallow: /metki/
    Disallow: /?s=

    Sitemap: http:// название сайта /sitemap.xml.gz
    Sitemap: http:// название сайта /sitemap.xml

    Сделала NOINDEX в консоли для страниц Аккаунт, Корзина и Оплата. И, кажется, рубрики можно закрыть не в robots, а в консоли/настройки SEO.
    Есть плагин для динамического robots.txt. Кажется это новые технологии. В help по Яндекс не нашла информации про динамический robots.txt и решила оставить обычный.

    Предполагаю, что если с картинками все в порядке, то для картинок надо сделать Allow: /папка с картинками/. Я с картинками пока разбираюсь.

    В результате в индексе осталось несколько страниц (без дублей и файлов php) .
     
    Последнее редактирование: 22 апр 2014
  10. Stork.71

    Stork.71 Местный

    Сообщения:
    1.043
    Симпатии:
    254
    Баллы:
    83
    Вроде для всех страниц-дублей прописывается cannonical:
    Как я понимаю, этого должно хватать, чтобы и не распылить трафик, и в то же время учесть переходы на эти страницы. Или нет?
     
  11. sveta_vyazanie

    sveta_vyazanie

    Сообщения:
    45
    Симпатии:
    5
    Баллы:
    8
    Для товара где прописывается тег?
     
  12. Stork.71

    Stork.71 Местный

    Сообщения:
    1.043
    Симпатии:
    254
    Баллы:
    83
    я так понимаю, автоматом генерируется то ли WC, то ли темой.
    Я смотрел когда товар относится к разным категориям и открывается по разным адресам, но cannonical прописан на одну страницу.
     
  13. Noval

    Noval

    Сообщения:
    14
    Симпатии:
    2
    Баллы:
    3
    А разве робот будет находить страницы с конкретным товаром, который находится в категории, если – Disallow: /kategorii/ (то, что в wc товарная-категория)?
     
  14. sveta_vyazanie

    sveta_vyazanie

    Сообщения:
    45
    Симпатии:
    5
    Баллы:
    8
    У меня ссылка для товара короткая: магазин/товар, товары появляются в Яндексе, независимо от манипуляций с категориями и метками.
    cannonical, кажется, прописывается потому, что в консоль/настройки SEO стоит галочка в "канонические урлы" и помогает в том случае, если используется "читать подробнее".
    Также в настройки SEO есть настройки заголовков при использовании категорий и меток. Кажется дублирование информации, которое создается в этом случае - это нужные дубли. Наверное, делать disallow для категорий и меток не нужно.
     
  15. Tanhuxa

    Tanhuxa

    Сообщения:
    86
    Симпатии:
    6
    Баллы:
    8
    Добрый день! У меня проблема с robots.txt. Использовала стандартный robots.txt для сайта на WP (не Woo). Вот он:
    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag

    User-agent: Yandex
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Host: tradutoras.pt

    Sitemap: http://tradutoras.pt/sitemap.xml
    Залила на сайт,проверила в Яндексе и Гугл, они видят только 2 строчки

    User-agent: *
    Disallow: /wp-admin/

    Захожу через http://www.tradutoras.pt/robots.txt - то же самое. Отключила Yoast SEO, который использовала. Не помогло.
    Проверила сам файл robots.txt через FTP - все в порядке.
    Пыталась найти решение проблемы на других форумах, заметила, что у многих была эта проблема, но нигде не видела объяснения или внятного решения. Может, кто подскажет?
     
  16. Tanhuxa

    Tanhuxa

    Сообщения:
    86
    Симпатии:
    6
    Баллы:
    8
    Ок, сама разобралась. Ошиблась в названии файла - вместо robots.txt залила robot.txt
     
    • Победитель Победитель x 1
  17. teddy_spb

    teddy_spb

    Сообщения:
    23
    Симпатии:
    0
    Баллы:
    1
    подскажите а вот такая строка нужна? wp подставил сам
    Allow: /wp-admin/admin-ajax.php
     
  18. igor.gayyar

    igor.gayyar

    Сообщения:
    308
    Симпатии:
    4
    Баллы:
    18
    добрый вечер
    у меня такой robots.txt
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /cgi-bin/
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed
    Disallow: */feed
    Disallow: /tag
    Host: magickids.com.ua
    Sitemap: http://magickids.com.ua/sitemap.xml
    Sitemap: http://magickids.com.ua/sitemap.xml.gz

    при проверке ссылок столкнулся с таким вот:
    upload_2016-7-15_21-27-48.png

    так же если ввожу в google какой-то артикул, чтобы получить его у себя на сайте, мне выдает такие ссылки:
    http://magickids.com.ua/product/min...v-dispensere-assorti-91200/attachment/108609/
    вместо
    http://magickids.com.ua/product/mini-figurka-serii-cherepashki-nindzya-v-dispensere-assorti-91200/

    что-то я наверное с роботом.тхт намудрил.... подскажите, что нужно разрешить или запретить еще?

    п.с
    может нужно что-то запретить индексировать или разрешить в карте сайта?
     
  19. Oksana

    Oksana

    Сообщения:
    16
    Симпатии:
    1
    Баллы:
    3
    Проверьте настройки/постоянные ссылки (по первой ссылке выдает товар, а по второй 404)
    Судя по всему вы пользуетесь плагином Yoast SEO, у вас с карты сайта по адресу /sitemap.xml перебрасывает на /sitemap_index.xml и выдает 404 ошибку, я отключила карту в Yoast SEO и установила старый плагин
    Google XML Sitemaps и Яндекс снова начал видеть карту сайта, до этого в новом вебмастере указывал на ошибку
     
  20. igor.gayyar

    igor.gayyar

    Сообщения:
    308
    Симпатии:
    4
    Баллы:
    18