• Вопрос без рабочей ссылки на проблему считается риторическим. Без ссылки и скриншота - провокацией!

Решено Sitemap и Robots правильность оформления

Image CMS
#1
Добрый день
Помогите, пожалуйста, советом. Перечитал кучу информации, запутался, в голове каша...
Сайт интернет-магазина - http://magickids.com.ua/
Плагин - yoast by seo

Мой sitemap находится по ссылке "sitemap_index.xml", а в нём уже картЫ сайта:
http://magickids.com.ua/post-sitemap.xml 2016-08-08 10:52
http://magickids.com.ua/page-sitemap.xml 2016-08-08 11:14
http://magickids.com.ua/product-sitemap1.xml 2016-07-26 09:51
http://magickids.com.ua/product-sitemap2.xml 2016-08-08 14:57
http://magickids.com.ua/product_brand-sitemap.xml 2016-08-08 14:57
http://magickids.com.ua/product_cat-sitemap.xml 2016-08-08 14:57
http://magickids.com.ua/product_tag-sitemap.xml 2016-08-08 14:57
Правильно ли это?
В поисковых системах (google/yandex) указывать нужно "sitemap_index.xml" или каждую карту отдельно копировать? Достаточно ли в yoast я указал информации для карты сайта? мне кажется достаточно, но я могу ошибаться.

Далее.... robots.txt сейчас у меня такой:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php

Host: magickids.com.ua
Sitemap: http://magickids.com.ua/sitemap.xml

Было на много больше ограничений, НО google search console, показывает 97 заблокированных ресурсов. Я много ограничений удалил т.к. думал, что заблокированные ресурсы разблокируются, но нет (((

upload_2016-8-8_17-23-6.png
 

dave14

Опытный
Местный
#2
Правильно ли это?
В поисковых системах (google/yandex) указывать нужно "sitemap_index.xml" или каждую карту отдельно копировать? Достаточно ли в yoast я указал информации для карты сайта? мне кажется достаточно, но я могу ошибаться.
Достаточно конечно, можно вообще указать http://magickids.com.ua/sitemap.xml

Вот эти страницы нужно из индекса убрать:
http://magickids.com.ua/cart/ 80% 0 Weekly 2016-07-20 17:46
http://magickids.com.ua/checkout/ 80% 0 Weekly 2016-07-20 17:20
http://magickids.com.ua/my-account/ 80% 0 Weekly 2016-07-21 15:18
http://magickids.com.ua/poisk/ 80% 0 Weekly 2016-07-20 17:22
http://magickids.com.ua/wishlist/ 80% 0 Weekly 2016-08-08 11:13
http://magickids.com.ua/yith-compare/ 80% 0 Weekly 2016-07-20 17:30

Далее.... robots.txt сейчас у меня такой:
вот такой можете попробовать:
Код:
User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /*?*

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
 

dave14

Опытный
Местный
#4
спасибо
так правильно будет дописать?

Disallow: */my-account
Disallow: */poisk
Disallow: */wishlist
Disallow: */yith-compare
не совсем. Раз уж у Вас стоит yoast, заходите в редактор нужной страницы, в блоке Yoast SEO жмете шестеренку и в поле Meta Robots Index выбираете Noindex. Корзину и чекаут тоже убирайте из индекса.
 
#6
последние 2-3 дня робот у меня такой, посмотрю что он назапрещает...
по проверке в гугл, вроде все что нужно - доступно

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */cart
Disallow: */checkout
Disallow: /wp-login
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*add-to-cart=*

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */cart
Disallow: */checkout
Disallow: /wp-login
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /*add-to-cart=*

Host: magickids.com.ua
Sitemap: http://magickids.com.ua/sitemap_index.xml
 

dave14

Опытный
Местный
#7
последние 2-3 дня робот у меня такой, посмотрю что он назапрещает...
по проверке в гугл, вроде все что нужно - доступно
Много лишнего, вот это на мой взгляд вообще не нужно:

Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
 

Ed777

Форумчанин
#9
@dave14, Добрый день!
Можете посмотреть мой роботс для гугла и яндекса. Все правильно?
Не совсем понимаю нужно или нет перечислять все карты сайта. У меня их 8 по этой ссылке что в файле роботс. Страницы Корзина, Мой аккаунт, Оформление заказа и список желаний я закрыл через Yoast SEO

User-agent: *
Allow: /
Disallow: /wp-admin/
Sitemap: https://vela-art.com/sitemap_index.xml

User-agent: Yandex
Allow: /
Disallow: /wp-admin/
Sitemap: https://vela-art.com/sitemap_index.xml
Host: vela-art.com
 
Последнее редактирование:
Сверху Снизу