Да, я уже понял свою ошибку, почему-то даже не подумал заморочиться над движением камеры при падении)
Вообще она не cinemachine, для неё прописывался отдельный код, поэтому всё можно было сделать, но я как-то в спешке забыл про этот момент)