Проблема с индексацией магазина

[Leonid1]

Приветствую.
В общем есть магазин. Все url на товары кириллицей, произвольная основа /shop
Проблема в том, что в поисковиках не индексируются товары, гугл пишет:
При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. Мы советуем использовать в файле Sitemap URL-адреса, непосредственно указывающие на нужные страницы (цели перенаправления), а не перенаправляющие на другие URL.

И правда, переходя по ссылкам из гугла на эти страницы, пишет будто идет перенаправление.
HTTP выдает ошибку 301.

Я так понимаю проблема в ЧПУ? Подскажите, что делать, менять url на другие не вариант.

 

[D&B]

Обсуждалось вот тут

 

[Валерий]

Я так понимаю проблема в ЧПУ? Подскажите, что делать, менять url на другие не вариант.

Надо поставить плагин транслитерации. URL должны быть на английском. Если URL на русском, да еще и очень длинные, то как раз подобная проблема и может возникнуть.

 

[Leonid1]

Обсуждалось вот тут

Там обсуждалась не моя проблема.

Надо поставить плагин транслитерации. URL должны быть на английском. Если URL на русском, да еще и очень длинные, то как раз подобная проблема и может возникнуть.

Вот именно, что URL должны быть русскими. Можно ли как-то решить эот вопрос, не использую транслитерацию?

 

[Валерий]

Можно ли как-то решить этот вопрос, не использую транслитерацию?

Думаю, "как то решить этот вопрос" можно, но придется Вам поломать голову. Вся загвоздка в том, что изначально CMS WordPress спроектирована таким образом, что длина поля базы данных для хранения URL составляет 200 однобайтных (латинских) символов. В случае с английскими символами длина URL ограничивается именно этими 200 символами. В случае русского языка происходит преобразование в кодовую последовательность, в которой каждой русской букве соответствует 6 символов (например, русская буква “а” будет заменена на “%D0%B0”), т.е. вместо 200 символов длина русского URL составляет всего около 33 символов (200/6=33.33333), остальные символы будут обрезаны. Т.е. WordPress без проблем работает с русским языком в пределах длины URL в 33 символа. Поскольку, существует понятие "длина поля базы данных для хранения permalink" и она составляет 200 однобайтовых (латинских) символов, то вполне резонно предположить, что эта длина черным по белому где-то прописывается в ядре WordPress, а значит ее можно изменить. В конце концов, базы данных - это обычные таблички с заданными параметрами, и эти параметры можно изменять даже в ручную. В самом простом случае - в панели администрирования хостинга через PHP MyAdmin, но здесь такое вряд ли прокатит, надо, помимо этого, вносить коррективы в исходники ядра WordPress.

 

[Leonid1]

Думаю, "как то решить этот вопрос" можно, но придется Вам поломать голову. Вся загвоздка в том, что изначально CMS WordPress спроектирована таким образом, что длина поля базы данных для хранения URL составляет 200 однобайтных (латинских) символов. В случае с английскими символами длина URL ограничивается именно этими 200 символами. В случае русского языка происходит преобразование в кодовую последовательность, в которой каждой русской букве соответствует 6 символов (например, русская буква “а” будет заменена на “%D0%B0”), т.е. вместо 200 символов длина русского URL составляет всего около 33 символов (200/6=33.33333), остальные символы будут обрезаны. Т.е. WordPress без проблем работает с русским языком в пределах длины URL в 33 символа. Поскольку, существует понятие "длина поля базы данных для хранения permalink" и она составляет 200 однобайтовых (латинских) символов, то вполне резонно предположить, что эта длина черным по белому где-то прописывается в ядре WordPress, а значит ее можно изменить. В конце концов, базы данных - это обычные таблички с заданными параметрами, и эти параметры можно изменять даже в ручную. В самом простом случае - в панели администрирования хостинга через PHP MyAdmin, но здесь такое вряд ли прокатит, надо, помимо этого, вносить коррективы в исходники ядра WordPress.

Выходят вряд ли проблема в этом, так как линк http://site.ru/о-нас тоже не индексируется.
Так же выдает ошибку перенаправления, поэтому я так понял поисковые роботы не могут отобразить страницу.
В браузерах этой ошибки нет, но в опере иногда страница долго грузится и в итоге выдает ошибку '"Состояние перенаправления".
Будто на страницах, где в url используется кириллица происходит какой-то редирект, который роботам не нравится.
Я думаю, что как раз редирект происходит с линка такого вида “%D0%B0” на кириллицу.

 

[Валерий]

вряд ли проблема в этом, так как линк http://site.ru/о-нас тоже не индексируется

Ну значит, Вы сами этот редирект и поставили. У меня была аналогичная проблема, причем даже не с кирилицей, а с латинскими символами в URL. Сайт нормально индексировался, а в один "прекрасный" момент большая часть ссылок вылетела из индексации, а часть осталась. Причем в браузерах этой ошибки не было, т.е. при копировании ссылки в браузер все нормально открывалось, а при попытке зайти по ссылке с панели вебмастера Яндекса получал бесконечный редирект. Я долго вспоминал, что же такого я сделал плохого, т.к. с момента, когда я последний раз в коде ковырялся, до момента, когда я заметил проблему -прошло около 3-х месяцев. В итоге нашел. Я начитался всяких там "гуру" и вставил кусок кода в .htaccess, который этот редирект и организовал. Вставлял я сей код совсем для других целей (для склейки доменов, или для защиты, сейчас не помню), но в итоге получил "гранату не той системы"!

 

[Leonid1]

Ну значит, Вы сами этот редирект и поставили. У меня была аналогичная проблема, причем даже не с кирилицей, а с латинскими символами в URL. Сайт нормально индексировался, а в один "прекрасный" момент большая часть ссылок вылетела из индексации, а часть осталась. Причем в браузерах этой ошибки не было, т.е. при копировании ссылки в браузер все нормально открывалось, а при попытке зайти по ссылке с панели вебмастера Яндекса получал бесконечный редирект. Я долго вспоминал, что же такого я сделал плохого, т.к. с момента, когда я последний раз в коде ковырялся, до момента, когда я заметил проблему -прошло около 3-х месяцев. В итоге нашел. Я начитался всяких там "гуру" и вставил кусок кода в .htaccess, который этот редирект и организовал. Вставлял я сей код совсем для других целей (для склейки доменов, или для защиты, сейчас не помню), но в итоге получил "гранату не той системы"!

Ошибка с индексацией уже с самого начала, так же плагинов, влияющих на ЧПУ я не устанавливал.
У меня .htaccess был составлен автоматически, как я понимаю, от плагина woocommerce.
Посмотрите, что тут не так?
Код:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

 

[delitant]

Я бы не советовал кириллицу, уж слишком криво она отображается. Переводите в латиницу не только названия товаров, но и категорий, рубрик, меток.

 

[Leonid1]

Я бы не советовал кириллицу, уж слишком криво она отображается. Переводите в латиницу не только названия товаров, но и категорий, рубрик, меток.

Магазин не мой, я сделал его для людей, которые настоятельно требуют кириллицу, поэтому менять ничего мне не нужно. Только исправить вопрос с редиректами.

 

[delitant]

При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. Мы советуем использовать в файле Sitemap URL-адреса, непосредственно указывающие на нужные страницы (цели перенаправления), а не перенаправляющие на другие URL.
Я так понимаю проблема в ЧПУ? Подскажите, что делать, менять url на другие не вариант.

Насколько я понял речь идет о файле sitemap, а не о сайте.

 

[Leonid1]

Насколько я понял речь идет о файле sitemap, а не о сайте.

Хм.. и правда, в файле sitemap все ссылки такого вида: %82%d0%b0%
Попробую их заменить и посмотрю, как отреагирует гугл.

 

[Валерий]

А может delitant прав? Ведь по сути Вы сформулировали вопрос весьма витиевато: "Проблема в том, что в поисковиках не индексируются товары, гугл пишет: При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. " Т.е. Ваш вопрос можно понимать двояко:
1) Сайт в принципе не индексируется - это одно дело;
2) Проблема в файле Sitemap, т.е. все в принципе индексируется, но Гуглу не нравится Ваш Sitemap - это совсем другое дело.

Если проблема в п.2, то из-за кривого Sitemap Гугл, в теории, может и не индексировать сайт, т.к. в первую очередь он ищет в корневой директории сайта карту сайта, и отправляется блуждать по ее ссылкам. А если ссылки - сплошной редирект, то на этом все и заканчивается, т.е. Гугл нарывается на бесконечный редирект.

Если проблема в п.1, то здесь может быть масса подводных камней. Посмотрите robots.txt (в нем всего лишь одной маленькой строчкой можно запретить индексировать сайт ), проверьте все плагины (встречаются плагины, не связанные напрямые не с редиректом, не с ЧПУ, но внутри них может по умолчанию стоять маленькая галочка в каком-то не заметном на первый взгляд чекбоксе, которая редирект и организует ) и т.д.

 

[Leonid1]

А может delitant прав? Ведь по сути Вы сформулировали вопрос весьма витиевато: "Проблема в том, что в поисковиках не индексируются товары, гугл пишет: При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. " Т.е. Ваш вопрос можно понимать двояко:
1) Сайт в принципе не индексируется - это одно дело;
2) Проблема в файле Sitemap, т.е. все в принципе индексируется, но Гуглу не нравится Ваш Sitemap - это совсем другое дело.

Если проблема в п.2, то из-за кривого Sitemap Гугл, в теории, может и не индексировать сайт, т.к. в первую очередь он ищет в корневой директории сайта карту сайта, и отправляется блуждать по ее ссылкам. А если ссылки - сплошной редирект, то на этом все и заканчивается, т.е. Гугл нарывается на бесконечный редирект.

Если проблема в п.1, то здесь может быть масса подводных камней. Посмотрите robots.txt (в нем всего лишь одной маленькой строчкой можно запретить индексировать сайт ), проверьте все плагины (встречаются плагины, не связанные напрямые не с редиректом, не с ЧПУ, но внутри них может по умолчанию стоять маленькая галочка в каком-то не заметном на первый взгляд чекбоксе, которая редирект и организует ) и т.д.

Sitemap изменил, но кажется индексации не будет.
Проверил ссылку на товар тут: http://webmaster.yandex.ru/server-response.xml

Код статуса HTTP:"301 Moved Permanently"
Время ответа сервера:726мс
IP сайта:67.211.xxx.xxx
Кодировка:UTF-8
Размер страницы:0Кб
Заголовки:

• Location:http://site.ru/%D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D1%8B/
• Content-Length: 0

Так что явно проблема в пункте 1.

 

[Leonid1]

Я разобрался в чем проблема.
Валерий, Вы были правы, проблема в плагине, который делал перенаправления с ссылок такого вида "%D0%BE%D0%BD%", так как считал их некрасивыми.

Спасибо всем за внимание и за помощь!

 

[Валерий]

Возможно, что Вы еще не во всем разобрались, и проблема с индексацией, по крайней мере в Яндексе, еще даст о себе знать. Где на вашем сайте реквизиты компании? Где в футере или на странице "Контакты" ОГРН и прочая белиберда? Нет такого? А не желаете ли отведать фильтр от Яндекса, работающий по принципу АГС-16? Вы (или Ваш клиент) его с высокой степенью вероятности получите! Яндекс нынче злой, т.к. ему компетентными органами поручено (и он за это несет определенную ответственность перед дяденьками в штатском) пресекать незаконную предпринимательскую деятельность на корню! Начинается все обычно с роботов Яндекса, которые в процессе индексации страниц сайта безошибочно определяют интернет-магазин, или сайт коммерческой тематики. А дальше роботы ищут реквизиты (ОГРН и все такое) и сравнивают их с базой зарегистрированных предприятий. Не находят реквизитов - и вот он, карающий меч правосудия! В лучшем случае, в выдаче остается около 10 страниц сайта, ну а в худшем - автоматически отправляется письмецо куда следует, чтобы товарищи разобрались с ситуацией. А китайские адреса каких-то там заводов - это все филькина грамота.

 

[delitant]

Я разобрался в чем проблема.
Валерий, Вы были правы, проблема в плагине, который делал перенаправления с ссылок такого вида "%D0%BE%D0%BD%", так как считал их некрасивыми.
Спасибо всем за внимание и за помощь!

Отлично. Добавляй ссылку на свой магазин - сюда. Будем "препарировать"

 

[delitant]

Возможно, что Вы еще не во всем разобрались, и проблема с индексацией, по крайней мере в Яндексе, еще даст о себе знать. Где на вашем сайте реквизиты компании? Где в футере или на странице "Контакты" ОГРН и прочая белиберда? Нет такого? А не желаете ли отведать фильтр от Яндекса, работающий по принципу АГС-16?

Вы подняли очень интересную тему, достойную отдельного обсуждения. Предлагаю продолжить его здесь

 

[Leonid1]

Возможно, что Вы еще не во всем разобрались, и проблема с индексацией, по крайней мере в Яндексе, еще даст о себе знать. Где на вашем сайте реквизиты компании? Где в футере или на странице "Контакты" ОГРН и прочая белиберда? Нет такого? А не желаете ли отведать фильтр от Яндекса, работающий по принципу АГС-16? Вы (или Ваш клиент) его с высокой степенью вероятности получите! Яндекс нынче злой, т.к. ему компетентными органами поручено (и он за это несет определенную ответственность перед дяденьками в штатском) пресекать незаконную предпринимательскую деятельность на корню! Начинается все обычно с роботов Яндекса, которые в процессе индексации страниц сайта безошибочно определяют интернет-магазин, или сайт коммерческой тематики. А дальше роботы ищут реквизиты (ОГРН и все такое) и сравнивают их с базой зарегистрированных предприятий. Не находят реквизитов - и вот он, карающий меч правосудия! В лучшем случае, в выдаче остается около 10 страниц сайта, ну а в худшем - автоматически отправляется письмецо куда следует, чтобы товарищи разобрались с ситуацией. А китайские адреса каких-то там заводов - это все филькина грамота.

ОГРН, реквизиты, адреса и так далее уже указаны на сайте, поэтому вряд ли яша будет к чему-то еще придираться.
Спасибо за предупреждение.