どなたかアドバイスお願いします

【quest2 有線接続 72fps設定 垂直同期系オフ rtx3070 3500x 電源ハイ設定】

72fpsで何とか動くsceneで使用してますが、負荷が掛かった時(人物に非常に近づいた時など)
FPSが一気に半減(30台後半)してしまい、GPU/CPU使用率も同時に下がります
原因が解消すると(非常に近づくのをやめた時など)72fpsにもどります

72fps GPU 98% CPU 60〜80%

36fps GPU 40〜60% CPU 50〜60%

なぜ使用率が下がらないままFPSが50や60などに下がらないのでしょうか
PCスペック、設定、そもそもPCがそういう物なのか　よろしくお願いします