ベアリングの外径よりも少し小さくベアリングの外枠を押せる物を探したら自転車部品のシマノのスプロケットのスペーサーが使えそうでした。
スペーサーは内側の穴が大きいのでニップル回しを当てて穴を小さくしました。
ベアリングをホームセンターに持って行って使えそうなワッシャーを購入してください。
押されて変形する可能性がありますのでワッシャーだと2枚重ねのほうがいいかもしれません。