>>188 言い方次第かと。
「時間作ってくれてありがとう。自分はちょっと仕事してから出るのでお先にどうぞ」あたりは無難だろう。

「一緒だと嫌だろうからお先にどうぞ」は最悪で、実際の見た目がどうこうではなく、そういう思考のおっさんは蛆虫か何かと見下されその後の交渉が不利になるだけ。