すると画像の様な状態になります。

黄色い丸の部分に爪があるのでマイナスドライバーか何かで浮かせて引っ張り外します。

フィットの取り扱い説明書にもやり方が載っています。