ちゃんと検証した訳ではないが
モブ娘を捕獲する、ゴブ突撃するとかでゴブリン数が変動すると時間回復のカウントがリセットされるっぽい