売春防止法第2条にある定義の「不特定の相手方」という言葉がポイント。
愛人などの「特定の相手方」は対象外。

次に、仮に「不特定の相手方」だとしても、罰則があるのは「公衆での勧誘」「斡旋」「強要」だけ。