その判断で正しいと思う
VRはVRAM消費が激しくて3人ダンスでも12GB超える
スタジオで6人出すと14GBをこえる
ただ、この時代のUnityはVRAMに置くべきデータをメインメモリに退避させるので
どれだけVRAM積んであってもメインメモリに足引っ張られるというのはある

VRで複数人数を出したいならVRAM16GB以上
内部解像度高くして画質あげたいなら帯域幅が大事で目安は4070TiSuper以上

CPUの負荷を下げるならテクスチャやNPR、ハイポリボディなどを調整