公序良俗違反のうち、倫理に違反する行為の例として既婚者が愛人を持つってのが上がるからそれ読んだんだと思うけど、そもそも愛人というのが公序良俗違反じゃないかな。
こういうのは最終的には裁判を経ないと分からないけど、このあたりのやりとりは参考になりそう。
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q12126840697
愛人契約そのものは無効でも、金銭の対価として性行為を約束したのに反故にした場合、詐欺となった判例はあるとのこと。