Корректный файл robots.txt

[pawetra]

Доброго дня, может кто подскажет каким должен быть и выглядеть файл robots.txt ? В интернете множество мнений и я не нашел нигде установку в которой все соглашаются. Сайт под локальную товарку на вордпрессе, пример моего файла ниже. Ссылка на сайт https://pawetra.by/

---

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments
Disallow: */trackback
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: */?orderby*
Disallow: */?*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.js
Allow: /*.css
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

Host: https://pawetra.by

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments
Disallow: */trackback
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: */?orderby*
Disallow: */?*
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.js
Allow: /*.css
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

Sitemap: https://pawetra.by/sitemap.xml

---

 

[marr]

каким должен быть и выглядеть файл robots.txt ?

Вот пример того, что по умолчанию динамически создается WP, при отсутствии robots.txt на диске:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/

Sitemap: https://ваш_сайт/sitemap.xml

Этого вполне достаточно. А в остальном — смотрите инструменты вебмастера в Google, там вам подсказок дадут больше, что и как.

В интернете множество мнений и я не нашел нигде установку в которой все соглашаются

Потому что все сайты разные, и единого роботса для всех не существует. Не надо тащить в свой роботс все найденное в окрестностях интернета.

WordPress robots.txt: Best-practice example for SEO

Make sure your WordPress robots.txt is in line with the latest best practices in SEO. Don't block Google from loading important content!

yoast.com

 

[pawetra]

Вот пример того, что по умолчанию динамически создается WP, при отсутствии robots.txt на диске:

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/

Sitemap: https://ваш_сайт/sitemap.xml

Этого вполне достаточно. А в остальном — смотрите инструменты вебмастера в Google, там вам подсказок дадут больше, что и как.


Потому что все сайты разные, и единого роботса для всех не существует. Не надо тащить в свой роботс все найденное в окрестностях интернета.

WordPress robots.txt: Best-practice example for SEO

Make sure your WordPress robots.txt is in line with the latest best practices in SEO. Don't block Google from loading important content!

yoast.com

Часть кода, что в вашем ответе, этого достаточно?