• Никакой политики на форуме. Иначе - бан!
  • Вопрос без рабочей ссылки на проблему считается риторическим. Без ссылки и скриншота - провокацией!
  • Темы озаглавленные с маленькой буквы или капсом удаляются без предупреждения!

Как должен выглядеть файл robots.txt для интернет-магазина?

Oksana

Oksana

Новичок
Подскажите пожалуйста правильно составлен файл или для интернет магазина необходимо что-то добавить или убрать? Если можно подробнее, для яслей.

Код: 
User-agent: *
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
User-agent: Yandex
Crawl-delay: 4
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: lady-charm.in.ua
 
Последнее редактирование модератором:
D&B

D&B

Администратор
Команда форума
Местный
Интересная тема связанная к тому же, с плагинами SEO. Я пока использую стандартный robots.txt. В данном случае возможно Вам стоит добавить:
Код: 
Disallow: /wp-login.php
Disallow: /wp-register.php

Иностранные товарищи считают что будет не лишним включить:
Код: 
Disallow: /*add-to-cart=*

Кроме того, обычно добавляют ссылки на сайтмап (если он есть конечно у вас). Для вашего сайта:
Код: 
Sitemap: http://lady-charm.in.ua/sitemap.xml
Sitemap: http://lady-charm.in.ua/sitemap.xml.gz
 
Oksana

Oksana

Новичок
Извините за возможно глупый вопрос, а куда конкретно это вставлять, не важно? Можно после Disallow: /*?*
 
Noval

Noval

Новичок
А почему нельзя просто запретить весь сайт к индексации, а разрешить только, то что необходимо?
Что-то вроде этого:
User-agent: *
Crawl-delay: 4
Disallow: /
Allow: /katalog
 
Oksana

Oksana

Новичок
Noval написал(а):
А почему нельзя просто запретить весь сайт к индексации, а разрешить только, то что необходимо?
Что-то вроде этого:
User-agent: *
Crawl-delay: 4
Disallow: /
Allow: /katalog
Нажмите для раскрытия...
Тогда, если планируется SEO продвижение, надо наверно еще разрешить доступ к разделу (новости, советы, полезно) где будут размещаться статьи?
 
Noval

Noval

Новичок
Это, если у Вас блог и для него требуется продвижение. Я имел ввиду небольшой интернет-магазин. Для него такой же файл рекомендуется?
 
Oksana

Oksana

Новичок
Noval написал(а):
Это, если у Вас блог и для него требуется продвижение. Я имел ввиду небольшой интернет-магазин. Для него такой же файл рекомендуется?
Нажмите для раскрытия...
Кто-то не верит в сео продвижение, но как показывает практика оно приносит свои плоды, а соответственно бесплатный трафик с поисковых систем, поэтому можно сделать раздел "советы" или "интересно" где публиковать статьи оптимизированные по теме ваших товаров, делать ссылки на категории. Например магазин обуви в описании товара сильно не разгонишься, делаете серии статей с низкочастотными запросами допустим "замшевая обувь" 10-15 статей плюс перелинковка, добавить ссылок и через месяц-два ваш сайт на первых позициях, бесплатный трафик. Даже для не большого магазина будет не лишним
 
S

sveta_vyazanie

Форумчанин
Меня вопрос про robots.txt тоже интересует. Я сделала так
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /?feed=
Disallow: /feed/
Disallow: /*?*
Disallow: /author/
Disallow: /category/
Disallow: /tag/
Disallow: /kategorii/ (то, что в wc товарная-категория)
Disallow: /metki/
Disallow: /?s=

Sitemap: http:// название сайта /sitemap.xml.gz
Sitemap: http:// название сайта /sitemap.xml

Сделала NOINDEX в консоли для страниц Аккаунт, Корзина и Оплата. И, кажется, рубрики можно закрыть не в robots, а в консоли/настройки SEO.
Есть плагин для динамического robots.txt. Кажется это новые технологии. В help по Яндекс не нашла информации про динамический robots.txt и решила оставить обычный.

Предполагаю, что если с картинками все в порядке, то для картинок надо сделать Allow: /папка с картинками/. Я с картинками пока разбираюсь.

В результате в индексе осталось несколько страниц (без дублей и файлов php) .
 
Последнее редактирование:
Stork.71

Stork.71

Гуру
Местный
Вроде для всех страниц-дублей прописывается cannonical:
Как я понимаю, этого должно хватать, чтобы и не распылить трафик, и в то же время учесть переходы на эти страницы. Или нет?
 
Stork.71

Stork.71

Гуру
Местный
я так понимаю, автоматом генерируется то ли WC, то ли темой.
Я смотрел когда товар относится к разным категориям и открывается по разным адресам, но cannonical прописан на одну страницу.
 
Noval

Noval

Новичок
А разве робот будет находить страницы с конкретным товаром, который находится в категории, если – Disallow: /kategorii/ (то, что в wc товарная-категория)?
 
S

sveta_vyazanie

Форумчанин
У меня ссылка для товара короткая: магазин/товар, товары появляются в Яндексе, независимо от манипуляций с категориями и метками.
cannonical, кажется, прописывается потому, что в консоль/настройки SEO стоит галочка в "канонические урлы" и помогает в том случае, если используется "читать подробнее".
Также в настройки SEO есть настройки заголовков при использовании категорий и меток. Кажется дублирование информации, которое создается в этом случае - это нужные дубли. Наверное, делать disallow для категорий и меток не нужно.
 
Tanhuxa

Tanhuxa

Форумчанин
Добрый день! У меня проблема с robots.txt. Использовала стандартный robots.txt для сайта на WP (не Woo). Вот он:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: tradutoras.pt

Sitemap: http://tradutoras.pt/sitemap.xml
Залила на сайт,проверила в Яндексе и Гугл, они видят только 2 строчки

User-agent: *
Disallow: /wp-admin/

Захожу через http://www.tradutoras.pt/robots.txt - то же самое. Отключила Yoast SEO, который использовала. Не помогло.
Проверила сам файл robots.txt через FTP - все в порядке.
Пыталась найти решение проблемы на других форумах, заметила, что у многих была эта проблема, но нигде не видела объяснения или внятного решения. Может, кто подскажет?
 
Tanhuxa

Tanhuxa

Форумчанин
Tanhuxa написал(а):
Добрый день! У меня проблема с robots.txt. Использовала стандартный robots.txt для сайта на WP (не Woo). Вот он:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: tradutoras.pt

Sitemap: http://tradutoras.pt/sitemap.xml
Залила на сайт,проверила в Яндексе и Гугл, они видят только 2 строчки

User-agent: *
Disallow: /wp-admin/

Захожу через http://www.tradutoras.pt/robots.txt - то же самое. Отключила Yoast SEO, который использовала. Не помогло.
Проверила сам файл robots.txt через FTP - все в порядке.
Пыталась найти решение проблемы на других форумах, заметила, что у многих была эта проблема, но нигде не видела объяснения или внятного решения. Может, кто подскажет?
Нажмите для раскрытия...
Ок, сама разобралась. Ошиблась в названии файла - вместо robots.txt залила robot.txt
 
T

teddy_spb

Форумчанин
подскажите а вот такая строка нужна? wp подставил сам
Allow: /wp-admin/admin-ajax.php
 
I

igor.gayyar

Опытный
добрый вечер
у меня такой robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /tag
Host: magickids.com.ua
Sitemap: http://magickids.com.ua/sitemap.xml
Sitemap: http://magickids.com.ua/sitemap.xml.gz

при проверке ссылок столкнулся с таким вот:
upload_2016-7-15_21-27-48.png

так же если ввожу в google какой-то артикул, чтобы получить его у себя на сайте, мне выдает такие ссылки:
http://magickids.com.ua/product/min...v-dispensere-assorti-91200/attachment/108609/
вместо
http://magickids.com.ua/product/mini-figurka-serii-cherepashki-nindzya-v-dispensere-assorti-91200/

что-то я наверное с роботом.тхт намудрил.... подскажите, что нужно разрешить или запретить еще?

п.с
может нужно что-то запретить индексировать или разрешить в карте сайта?
 
Oksana

Oksana

Новичок
igor.gayyar написал(а):
добрый вечер
у меня такой robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin/
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed
Disallow: */feed
Disallow: /tag
Host: magickids.com.ua
Sitemap: http://magickids.com.ua/sitemap.xml
Sitemap: http://magickids.com.ua/sitemap.xml.gz

при проверке ссылок столкнулся с таким вот:
Посмотреть вложение 2281

так же если ввожу в google какой-то артикул, чтобы получить его у себя на сайте, мне выдает такие ссылки:
http://magickids.com.ua/product/min...v-dispensere-assorti-91200/attachment/108609/
вместо
http://magickids.com.ua/product/mini-figurka-serii-cherepashki-nindzya-v-dispensere-assorti-91200/

что-то я наверное с роботом.тхт намудрил.... подскажите, что нужно разрешить или запретить еще?

п.с
может нужно что-то запретить индексировать или разрешить в карте сайта?
Нажмите для раскрытия...
Проверьте настройки/постоянные ссылки (по первой ссылке выдает товар, а по второй 404)
Судя по всему вы пользуетесь плагином Yoast SEO, у вас с карты сайта по адресу /sitemap.xml перебрасывает на /sitemap_index.xml и выдает 404 ошибку, я отключила карту в Yoast SEO и установила старый плагин
Google XML Sitemaps и Яндекс снова начал видеть карту сайта, до этого в новом вебмастере указывал на ошибку
 
Войдите или зарегистрируйтесь для ответа.
Сверху Снизу