マジレスすると慣用句なんだから実際にかすってるかどうかは関係無い
土砂降りといっても実際に土砂や犬猫が降ってる訳じゃないだろ？