前の方から浮かせて、取っ手の下にヘラ入れて浮かせれば外れます。
某ショップのマニュアルに丁寧に書かれてます。
アレ見るとすごく外れなさそうですが以外と簡単です。

ドアノブも傷だらけで交換したかったのですが、ディーラーのサービスに聞いたらは内装を外さないと取れないんで交換は面倒だとのこと。
仕方ないのでドアノブの部分はダイノック貼ることにしました。