Я лишь об ощущениях. Возможно, просто уменьшить массу, а не обнулить. Хотя обычно персонажа в таких играх через CharacterController делают - та же фигня, тоже детектирующая коллизии, но без заявки на реалистичную физику при толчках. RigidBody в нашей игре контроллер - но это чтобы оно в космосе без ускорения толкалось врагами.