お嬢様の祖父が現役で
しかも主人公は母に連れられて四條家にやってきて
お嬢様とは兄妹のように育った、とな

これは妾腹の大叔父かな