Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нём некорректно. Вам необходимо обновить браузер или попробовать использовать другой.
В последних версиях FF, Chrome, Edge все Ок, квадратик вместо знака рубля только в Яндекс Браузере.
Чтобы не заморачиваться с подбором шрифтов и не трогать ядро, можно добавить в файл functions.php своей темы небольшой фильтр:
function change_rub_symbol() {
// Just returns rubles :)...