シフトパネルを外しますがピアノブラックのパネルとシルバーのパネル(インパネ側)の間に少しだけ隙間があるので、内張り外し(またはマイナスドライバー)で徐々に持ち上げる様に外します。(自分は赤矢印の所から)
少し外れたところで一挙に引っ張ります。

※シフトパネルは外側と内側の二枚重ねになっています。