ただ、Directional lightのMonoBehaviourのdiffusecubeで指定されてるcubemapの色を変えるだけでも結構変わるので、
クセの少ないないライトを使ってるマップをベースにdiffusecubeの色だけ変えるといいと思う
http://blog-imgs-77.fc2.com/p/l/a/play3d/20160904-1.jpg
↓洋室のcubemapを彩度ゼロ
http://blog-imgs-77.fc2.com/p/l/a/play3d/20160904-2.jpg
http://blog-imgs-77.fc2.com/p/l/a/play3d/20160904-3.jpg
↓牢屋のcubemapを彩度ゼロ＆SpecIntensityを小さく
http://blog-imgs-77.fc2.com/p/l/a/play3d/20160904-4.jpg
新ライテイング使ってる人は、暗いマップのSpecIntensityを下げると、肌とか髪が銅像みたいになっちゃうのを改善できるよ