Realmente, não usar o cinemachine pra tudo pode dar merda, já passei por isso em outro projeto. Então basicamente o jeito é ou usar o cinemachine pra tudo que envolve camera ou não usar. E como o cinemachine é bem completo na maioria das vezes é o melhor jeito.