Wygląda na to, że udało mi się rozwiązać problem:
1) zmiana języka telefonu i usunięcie dodatkowych języków (na liście zostaje tylko polski)
2) z przeglądarki (komputer) zmieniamy ustawienia konta Google (język polski)
Wg informacji na forach powinno to wystarczyć ale u mnie jeszcze nie działało, więc dodatkowo:
3) Wylogowalem się na telefonie z wszystkich produktów googla (np. Gmail otwarty w przeglądarce, Google Maps) i usunąłem i zainstalowałem ponownie Chroma.
Po tym kroku komendy głosowe zaczęły działać, działają również po zalogowaniu do produktów googla.