Вероятно подобная ошибка могла быть вызвана тем, что вы меняете некоторые характеристики в Update() методе, который не обеспечивает периодичность вызовов функций, в отличии от метода FixedUpdate().
Да, в этом и была проблема.
