直接表情を読み込まないというのは多分出来ないと思います（出来る方法があれば下記は無視してください）
読み込んだ後にMorphs タブでPoseをデフォルトにするのが簡単だと思います。
ここで言うPoseはMorphで作られているPoseのことです。
これをすると指のPoseも変わるので変えたくない場合には面倒ですが事前に指のPoseをセーブして全体のPoseをデフォルトにしてから再度指のPoseをロードします。
指のPoseのセーブ・ロードには下記のプラグインが使えますがBuiltInのPoseにしか対応していないのでカスタムモーフ（赤や青のモーフ）のPoseは手作業で数値をイジる必要があります。
https://hub.virtamate.com/resources/builtin-hand-and-finger-morph-manager.13860/