鬼は単純に体躯の大きい人間を恐れただけだと思うが
赤鬼は南蛮人の肌の色を形容してるって話もあるし