• Никакой политики на форуме. Иначе - бан!
  • Вопрос без рабочей ссылки на проблему считается риторическим. Без ссылки и скриншота - провокацией!
  • Темы озаглавленные с маленькой буквы или капсом удаляются без предупреждения!

Корректный файл robots.txt

pawetra

Новичок
Доброго дня, может кто подскажет каким должен быть и выглядеть файл robots.txt ? В интернете множество мнений и я не нашел нигде установку в которой все соглашаются. Сайт под локальную товарку на вордпрессе, пример моего файла ниже. Ссылка на сайт https://pawetra.by/


User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments
Disallow: */trackback
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: */?orderby*
Disallow: */?*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.js
Allow: /*.css
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

Host: https://pawetra.by

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments
Disallow: */trackback
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: */?orderby*
Disallow: */?*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.js
Allow: /*.css
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

Sitemap: https://pawetra.by/sitemap.xml

 

marr

Специалист
Местный
каким должен быть и выглядеть файл robots.txt ?
Вот пример того, что по умолчанию динамически создается WP, при отсутствии robots.txt на диске:
Код:
User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/

Sitemap: https://ваш_сайт/sitemap.xml

Этого вполне достаточно. А в остальном — смотрите инструменты вебмастера в Google, там вам подсказок дадут больше, что и как.

В интернете множество мнений и я не нашел нигде установку в которой все соглашаются
Потому что все сайты разные, и единого роботса для всех не существует. Не надо тащить в свой роботс все найденное в окрестностях интернета.

 

pawetra

Новичок
Вот пример того, что по умолчанию динамически создается WP, при отсутствии robots.txt на диске:
Код:
User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/

Sitemap: https://ваш_сайт/sitemap.xml

Этого вполне достаточно. А в остальном — смотрите инструменты вебмастера в Google, там вам подсказок дадут больше, что и как.


Потому что все сайты разные, и единого роботса для всех не существует. Не надо тащить в свой роботс все найденное в окрестностях интернета.



Часть кода, что в вашем ответе, этого достаточно?
 
Сверху Снизу