栄一は日記に妾のことを「一友人」と記している。フランスに遊学経験がある栄一は、フランス語の「アミ」に友人と愛人の両方の意味があることを知っていたからだろう。
栄一には20人の子がいたとされるが、一説には50人だという話もあり、多くは妾の子ということになる。
栄一は68歳のときにも妾との間に子を成した。そのときは「いや、お恥ずかしい。若気の至りで……」と言ったという。あちらのほうも68才でまだまだ現役だったのだから、仕事も生涯現役だったのは当然だろう。
渋沢は酒もたばこも飲まず、食事は根菜類が好みだった。実に質素な暮らしだったが、唯一の道楽が女だったらしい。
渋沢栄一夫人（後妻の兼子）が晩年よくこんな言葉を言っていたという。
「大人（たいじん 栄一のこと）も『論語』とは上手いものを見つけなさったよ。あれが『聖書』だったら、てんで守れっこないものね」
キリスト教は姦淫を禁じているが、論語には性に関する戒めはほとんど書かれていないからだ。
ただ、一方で栄一が定めた渋沢家家訓には、こんな一節がある。
「子弟には卑猥なる文書を読ましめ、卑猥なる事物に接せしむべからず。また芸妓芸人の類に近接せしむべからず」
栄一の長男で跡継ぎの篤二は、新橋の芸者にのめり込み、いくら栄一が注意してもその女に執心し、妻を追い出して芸者を家に入れると言い出したので、とうとう栄一は篤二を廃嫡している。
栄一と異なり息子は、公私の区別をつけられなかったようだ。