• Вопрос без рабочей ссылки на проблему считается риторическим. Без ссылки и скриншота - провокацией!

Проблема с индексацией магазина

Image CMS
Статус
В этой теме нельзя размещать новые ответы.

Leonid1

Новичок
#1
Приветствую.
В общем есть магазин. Все url на товары кириллицей, произвольная основа /shop
Проблема в том, что в поисковиках не индексируются товары, гугл пишет:
При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. Мы советуем использовать в файле Sitemap URL-адреса, непосредственно указывающие на нужные страницы (цели перенаправления), а не перенаправляющие на другие URL.

И правда, переходя по ссылкам из гугла на эти страницы, пишет будто идет перенаправление.
HTTP выдает ошибку 301.

Я так понимаю проблема в ЧПУ? Подскажите, что делать, менять url на другие не вариант.
 

Валерий

Специалист
#3
Я так понимаю проблема в ЧПУ? Подскажите, что делать, менять url на другие не вариант.
Надо поставить плагин транслитерации. URL должны быть на английском. Если URL на русском, да еще и очень длинные, то как раз подобная проблема и может возникнуть.
 

Leonid1

Новичок
#4
Там обсуждалась не моя проблема.

Надо поставить плагин транслитерации. URL должны быть на английском. Если URL на русском, да еще и очень длинные, то как раз подобная проблема и может возникнуть.
Вот именно, что URL должны быть русскими. Можно ли как-то решить эот вопрос, не использую транслитерацию?
 

Валерий

Специалист
#5
Можно ли как-то решить этот вопрос, не использую транслитерацию?
Думаю, "как то решить этот вопрос" можно, но придется Вам поломать голову. :confused: Вся загвоздка в том, что изначально CMS WordPress спроектирована таким образом, что длина поля базы данных для хранения URL составляет 200 однобайтных (латинских) символов. В случае с английскими символами длина URL ограничивается именно этими 200 символами. В случае русского языка происходит преобразование в кодовую последовательность, в которой каждой русской букве соответствует 6 символов (например, русская буква “а” будет заменена на “%D0%B0”), т.е. вместо 200 символов длина русского URL составляет всего около 33 символов (200/6=33.33333), остальные символы будут обрезаны. Т.е. WordPress без проблем работает с русским языком в пределах длины URL в 33 символа. ;) Поскольку, существует понятие "длина поля базы данных для хранения permalink" и она составляет 200 однобайтовых (латинских) символов, то вполне резонно предположить, что эта длина черным по белому где-то прописывается в ядре WordPress, а значит ее можно изменить. o_O В конце концов, базы данных - это обычные таблички с заданными параметрами, и эти параметры можно изменять даже в ручную. В самом простом случае - в панели администрирования хостинга через PHP MyAdmin, но здесь такое вряд ли прокатит, надо, помимо этого, вносить коррективы в исходники ядра WordPress. :eek:
 

Leonid1

Новичок
#6
Думаю, "как то решить этот вопрос" можно, но придется Вам поломать голову. :confused: Вся загвоздка в том, что изначально CMS WordPress спроектирована таким образом, что длина поля базы данных для хранения URL составляет 200 однобайтных (латинских) символов. В случае с английскими символами длина URL ограничивается именно этими 200 символами. В случае русского языка происходит преобразование в кодовую последовательность, в которой каждой русской букве соответствует 6 символов (например, русская буква “а” будет заменена на “%D0%B0”), т.е. вместо 200 символов длина русского URL составляет всего около 33 символов (200/6=33.33333), остальные символы будут обрезаны. Т.е. WordPress без проблем работает с русским языком в пределах длины URL в 33 символа. ;) Поскольку, существует понятие "длина поля базы данных для хранения permalink" и она составляет 200 однобайтовых (латинских) символов, то вполне резонно предположить, что эта длина черным по белому где-то прописывается в ядре WordPress, а значит ее можно изменить. o_O В конце концов, базы данных - это обычные таблички с заданными параметрами, и эти параметры можно изменять даже в ручную. В самом простом случае - в панели администрирования хостинга через PHP MyAdmin, но здесь такое вряд ли прокатит, надо, помимо этого, вносить коррективы в исходники ядра WordPress. :eek:
Выходят вряд ли проблема в этом, так как линк http://site.ru/о-нас тоже не индексируется.
Так же выдает ошибку перенаправления, поэтому я так понял поисковые роботы не могут отобразить страницу.
В браузерах этой ошибки нет, но в опере иногда страница долго грузится и в итоге выдает ошибку '"Состояние перенаправления".
Будто на страницах, где в url используется кириллица происходит какой-то редирект, который роботам не нравится.
Я думаю, что как раз редирект происходит с линка такого вида “%D0%B0” на кириллицу.
 

Валерий

Специалист
#7
вряд ли проблема в этом, так как линк http://site.ru/о-нас тоже не индексируется
Ну значит, Вы сами этот редирект и поставили. У меня была аналогичная проблема, причем даже не с кирилицей, а с латинскими символами в URL. Сайт нормально индексировался, а в один "прекрасный" момент большая часть ссылок вылетела из индексации, а часть осталась. Причем в браузерах этой ошибки не было, т.е. при копировании ссылки в браузер все нормально открывалось, а при попытке зайти по ссылке с панели вебмастера Яндекса получал бесконечный редирект. :confused: Я долго вспоминал, что же такого я сделал плохого, т.к. с момента, когда я последний раз в коде ковырялся, до момента, когда я заметил проблему -прошло около 3-х месяцев. В итоге нашел. Я начитался всяких там "гуру" и вставил кусок кода в .htaccess, который этот редирект и организовал. Вставлял я сей код совсем для других целей (для склейки доменов, или для защиты, сейчас не помню), но в итоге получил "гранату не той системы"! :D
 
Последнее редактирование:

Leonid1

Новичок
#8
Ну значит, Вы сами этот редирект и поставили. У меня была аналогичная проблема, причем даже не с кирилицей, а с латинскими символами в URL. Сайт нормально индексировался, а в один "прекрасный" момент большая часть ссылок вылетела из индексации, а часть осталась. Причем в браузерах этой ошибки не было, т.е. при копировании ссылки в браузер все нормально открывалось, а при попытке зайти по ссылке с панели вебмастера Яндекса получал бесконечный редирект. :confused: Я долго вспоминал, что же такого я сделал плохого, т.к. с момента, когда я последний раз в коде ковырялся, до момента, когда я заметил проблему -прошло около 3-х месяцев. В итоге нашел. Я начитался всяких там "гуру" и вставил кусок кода в .htaccess, который этот редирект и организовал. Вставлял я сей код совсем для других целей (для склейки доменов, или для защиты, сейчас не помню), но в итоге получил "гранату не той системы"! :D
Ошибка с индексацией уже с самого начала, так же плагинов, влияющих на ЧПУ я не устанавливал.
У меня .htaccess был составлен автоматически, как я понимаю, от плагина woocommerce.
Посмотрите, что тут не так?
Код:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress
 

delitant

Опытный
#9
Я бы не советовал кириллицу, уж слишком криво она отображается. Переводите в латиницу не только названия товаров, но и категорий, рубрик, меток.
 

Leonid1

Новичок
#10
Я бы не советовал кириллицу, уж слишком криво она отображается. Переводите в латиницу не только названия товаров, но и категорий, рубрик, меток.
Магазин не мой, я сделал его для людей, которые настоятельно требуют кириллицу, поэтому менять ничего мне не нужно. Только исправить вопрос с редиректами.
 

delitant

Опытный
#11
При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. Мы советуем использовать в файле Sitemap URL-адреса, непосредственно указывающие на нужные страницы (цели перенаправления), а не перенаправляющие на другие URL.
Я так понимаю проблема в ЧПУ? Подскажите, что делать, менять url на другие не вариант.
Насколько я понял речь идет о файле sitemap, а не о сайте.
 

Валерий

Специалист
#13
А может delitant прав? o_O Ведь по сути Вы сформулировали вопрос весьма витиевато: "Проблема в том, что в поисковиках не индексируются товары, гугл пишет: При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. " Т.е. Ваш вопрос можно понимать двояко:
1) Сайт в принципе не индексируется - это одно дело;
2) Проблема в файле Sitemap, т.е. все в принципе индексируется, но Гуглу не нравится Ваш Sitemap - это совсем другое дело.

Если проблема в п.2, то из-за кривого Sitemap Гугл, в теории, может и не индексировать сайт, т.к. в первую очередь он ищет в корневой директории сайта карту сайта, и отправляется блуждать по ее ссылкам. А если ссылки - сплошной редирект, то на этом все и заканчивается, т.е. Гугл нарывается на бесконечный редирект.

Если проблема в п.1, то здесь может быть масса подводных камней. Посмотрите robots.txt (в нем всего лишь одной маленькой строчкой можно запретить индексировать сайт :D), проверьте все плагины (встречаются плагины, не связанные напрямые не с редиректом, не с ЧПУ, но внутри них может по умолчанию стоять маленькая галочка в каком-то не заметном на первый взгляд чекбоксе, которая редирект и организует ;)) и т.д.
 

Leonid1

Новичок
#14
А может delitant прав? o_O Ведь по сути Вы сформулировали вопрос весьма витиевато: "Проблема в том, что в поисковиках не индексируются товары, гугл пишет: При проверке нескольких URL из вашего файла Sitemap мы обнаружили, что некоторые URL перенаправляют на другие страницы. " Т.е. Ваш вопрос можно понимать двояко:
1) Сайт в принципе не индексируется - это одно дело;
2) Проблема в файле Sitemap, т.е. все в принципе индексируется, но Гуглу не нравится Ваш Sitemap - это совсем другое дело.

Если проблема в п.2, то из-за кривого Sitemap Гугл, в теории, может и не индексировать сайт, т.к. в первую очередь он ищет в корневой директории сайта карту сайта, и отправляется блуждать по ее ссылкам. А если ссылки - сплошной редирект, то на этом все и заканчивается, т.е. Гугл нарывается на бесконечный редирект.

Если проблема в п.1, то здесь может быть масса подводных камней. Посмотрите robots.txt (в нем всего лишь одной маленькой строчкой можно запретить индексировать сайт :D), проверьте все плагины (встречаются плагины, не связанные напрямые не с редиректом, не с ЧПУ, но внутри них может по умолчанию стоять маленькая галочка в каком-то не заметном на первый взгляд чекбоксе, которая редирект и организует ;)) и т.д.
Sitemap изменил, но кажется индексации не будет.
Проверил ссылку на товар тут: http://webmaster.yandex.ru/server-response.xml

Код статуса HTTP:"301 Moved Permanently"

Время ответа сервера:726мс
IP сайта:67.211.xxx.xxx
Кодировка:UTF-8
Размер страницы:0Кб
Заголовки:


Так что явно проблема в пункте 1.
 

Leonid1

Новичок
#15
Я разобрался в чем проблема.
Валерий, Вы были правы, проблема в плагине, который делал перенаправления с ссылок такого вида "%D0%BE%D0%BD%", так как считал их некрасивыми.

Спасибо всем за внимание и за помощь!
 

Валерий

Специалист
#16
Возможно, что Вы еще не во всем разобрались, и проблема с индексацией, по крайней мере в Яндексе, еще даст о себе знать. Где на вашем сайте реквизиты компании? Где в футере или на странице "Контакты" ОГРН и прочая белиберда? o_O Нет такого? А не желаете ли отведать фильтр от Яндекса, работающий по принципу АГС-16? :p Вы (или Ваш клиент) его с высокой степенью вероятности получите! :eek: Яндекс нынче злой, т.к. ему компетентными органами поручено (и он за это несет определенную ответственность перед дяденьками в штатском) пресекать незаконную предпринимательскую деятельность на корню! Начинается все обычно с роботов Яндекса, которые в процессе индексации страниц сайта безошибочно определяют интернет-магазин, или сайт коммерческой тематики. А дальше роботы ищут реквизиты (ОГРН и все такое) и сравнивают их с базой зарегистрированных предприятий. Не находят реквизитов - и вот он, карающий меч правосудия! :D В лучшем случае, в выдаче остается около 10 страниц сайта, ну а в худшем - автоматически отправляется письмецо куда следует, чтобы товарищи разобрались с ситуацией. А китайские адреса каких-то там заводов - это все филькина грамота. :p
 

delitant

Опытный
#17
Я разобрался в чем проблема.
Валерий, Вы были правы, проблема в плагине, который делал перенаправления с ссылок такого вида "%D0%BE%D0%BD%", так как считал их некрасивыми.
Спасибо всем за внимание и за помощь!
Отлично. Добавляй ссылку на свой магазин - сюда. Будем "препарировать" :)
 

delitant

Опытный
#18
Возможно, что Вы еще не во всем разобрались, и проблема с индексацией, по крайней мере в Яндексе, еще даст о себе знать. Где на вашем сайте реквизиты компании? Где в футере или на странице "Контакты" ОГРН и прочая белиберда? o_O Нет такого? А не желаете ли отведать фильтр от Яндекса, работающий по принципу АГС-16? :p
Вы подняли очень интересную тему, достойную отдельного обсуждения. Предлагаю продолжить его здесь
 

Leonid1

Новичок
#19
Возможно, что Вы еще не во всем разобрались, и проблема с индексацией, по крайней мере в Яндексе, еще даст о себе знать. Где на вашем сайте реквизиты компании? Где в футере или на странице "Контакты" ОГРН и прочая белиберда? o_O Нет такого? А не желаете ли отведать фильтр от Яндекса, работающий по принципу АГС-16? :p Вы (или Ваш клиент) его с высокой степенью вероятности получите! :eek: Яндекс нынче злой, т.к. ему компетентными органами поручено (и он за это несет определенную ответственность перед дяденьками в штатском) пресекать незаконную предпринимательскую деятельность на корню! Начинается все обычно с роботов Яндекса, которые в процессе индексации страниц сайта безошибочно определяют интернет-магазин, или сайт коммерческой тематики. А дальше роботы ищут реквизиты (ОГРН и все такое) и сравнивают их с базой зарегистрированных предприятий. Не находят реквизитов - и вот он, карающий меч правосудия! :D В лучшем случае, в выдаче остается около 10 страниц сайта, ну а в худшем - автоматически отправляется письмецо куда следует, чтобы товарищи разобрались с ситуацией. А китайские адреса каких-то там заводов - это все филькина грамота. :p
ОГРН, реквизиты, адреса и так далее уже указаны на сайте, поэтому вряд ли яша будет к чему-то еще придираться.
Спасибо за предупреждение.
 
Статус
В этой теме нельзя размещать новые ответы.