ぐちゃぐちゃ弄ってたら一応形にはなった。最初はカクカクしてたんだけど、PhysicsHandleを一度クライアント側で移動させてから、サーバー側に同じ処理をマルチキャストしてもらうことで比較的滑らかに移動してくれた。二度手間になってるけど…動けばええね…