Ну это помогло лишь отчасти.
Если Вы параллельно понаделаете обыкновенных рубрик, и станете в них писать статьи, то в рубриках также будет отображаться по 20 статей, что может оказаться совсем не айс, ну или вполне даже ничего, смотря как Вы это будите делать. Лучше посмотрите настройки вашего шаблона. Или подключите плагин, который позволяет изменять количество товаров, отображаемых именно на страницах магазина. Плагин с нужными настройками Вы найдете в разделе
"Плагины для WooCommerce". Что это за плагин, подсказывать не буду
, но даже по названию плагина вполне можно догадаться!