それだけ見ると、意識はしてるけど、周囲のことも気になっていて、リスクを考えて頑張って距離をとってるように見える

あなたが社内で好意をあからさまにするのは上司の立場からしたら迷惑な話。既に複数の人にからかわれてるしね

とにかく社内ではおとなしくしておきながら、何かのきっかけや口実を作って社外で会う機会を増やすこと。水面下に潜って事を進めること。
そうでなければ、相手が距離を詰めてくることはないと思う