私も無知で今日知ったことを書くと。
まず、ご存じかもしれませんが、VAMの解像度設定バッチファイル（VaM (Config).bat）を起動すると解像度の設定+VAMの起動ができます。
ここで、「Windowed」にチェックを入れるとウィンドモードでVAMが起動するようになり、そのときの解像度設定になります。
このときの解像度の上限は画面の解像度に依存し、画面の解像度を超える解像度は設定できないようです。
また、「Windowed」のチェックを外した場合は全画面モードでVAMが起動するようになり、そのときの解像度設定になります。
このときの解像度の上限は画面の解像度に関係なく一定の上限まで設定できるようです。
ちなみに、環境依存なのかVAMの仕様なのかわかりませんが、うちの環境では3840X2160まで設定できます。
ただ、やってみたところではフルHDの画面解像度で3840X2160を設定してもその解像度での全画面モードにはならないようです。
さて、ここまで書いたことはたぶんご質問の回答とは直接関係ありません（すみません）。
すでに>>761氏が書かれていることが回答で、録画ツールは画面の表示をキャプチャーするので、画面に表示された解像度までしかキャプチャーできないはず。
なので3840X2160全画面モードで起動されているはずの私の環境で4096X2160でキャプチャーされるのは謎。
（たぶん3840X2160が4096X2160に引き延ばされているだけ）
4Kモニタを持ってない場合にグラボにダミープラグを刺して、splashtopみたいな遠隔操作ソフトで他のPCやスマホから3840X2160の設定やその解像度のキャプチャーができたりしないんでしょうかね。