瞳の物理演算の際、キーバインドの表情差分で非表示にしたパーツが見えてしまう

キーバインドで目の差分を作っています。
瞳を物理演算でプルプルさせる設定をしているのですが、Live2D Cubism Viewerで見た時、プルプルしている際に、キーバインドで非表示にしたパーツが表示されてしまいます。解決方法はありますでしょうか?