А как вы сделаи такую механику ходьбы ?
rb.MovePosition(rb.position + movement * speed * Time.fixedDeltaTime);
Спасибо
