不義理のある相手の家に気軽に行きづらい＝敷居が高いっていうのは
入口の門の溝パーツが気遅れのせいで高く見えるっていう心持ちだと思うから
ハードルが高いっていうのとイメージが重なるところは多いんじゃないかね