詳しい原因までは分からないけど、
RTX5000シリーズだと最新のNVIDIAドライバーが入っていそうなので、CUDAのバージョンも高めになってるはず
そのせいでPython側のライブラリとの互換性が合わず、動作しない可能性があると思う

個人的なおすすめとしては、直接Windowsにソフトを入れるのではなく、WSL＋Dockerで仮想環境を作ること
そうすればCUDAバージョンの違うコンテナを用意できるので、バージョン依存の問題は解決しやすくなるはず