Git LFS wäre da mein Tipp. Ich lass mal zwei Links hier vielleicht hilft es ja dafür oder für zukünftige Projekte:
https://thoughtbot.com/blog/how-to-git-with-unity
Der Erste ist ein Guide, der Zweite ist ein Plugin für Unity welches dir die Arbeit abnimmt.