自分で答え書いてるじゃん。このまま上司と部下の関係のままで行くといいと思うよ。
不倫を軽蔑してるし、恋愛感情ないと感じとってるなら無理だと思う。