ちょっと揉めかけましたが、最終的に相手と直接話をすることができました。

仕事も忙しい中で嫁の締め付けがきつくなっていて、そっちの気遣いで必死なこと、
そこを突破するほど私への強い気持ちはないこと、
家庭環境は良くないが離婚する意思はないこと、だからごめんと言われました。

私も、相手がずっと罪悪感を持っていたようなので、
それを持つ必要はないこと(誘ってきたのは向こうだけど、その道を選んだのは私の意思。元々こうなるってわかってたし)、
一時期でも好きでいてくれたことのお礼を話して、ケリをつけました。

今はしんどいけど、ちゃんと話せてよかったと思います。