バイクのホイールのバランスウェイトについて

バイクの話題ばかりで申し訳ないのですが。

バイクを洗車している時にフロント側のバランスウェイト（挟み込むタイプ）が手で触ると動くことに気づきました。
ウェイトの自重（重力）では辛うじて移動しないですが手で押すと動きます。
スポークがあるので一周するわけではないですがこのまま乗り続けるのまずいですよね？
高速道路もたまに使うのでいつか飛んでいきそうな気がします。
一か月前にバイク用品店でタイヤ交換（バランス調整料込み）をしたのでその時の影響なのかなぁ？

動いてるからバランスとりなおさないとダメ？
いっそのこと外した方がよい？
自分のミスではないのでお金はかけたくない。

バイク用品店での伝票とかが残っていないのが面倒だなぁ。。。