その後も、いつもお世話になっているディーラーの工場長さんと根気よくチェックを続けていました。
あるときジャッキアップ状態で駆動をかけてチェックをしてもらったときに右リアのハブベアリングから大き目な音が出ているのを発見してもらいました。
ダメモトで右側だけ交換してみたところ、なんとフラフラ挙動が直ってしまいました。