První manželství trvalo měsíc, druhé dvanáct let, třetí patnáct let, čtvrté osm let. Nyní žije se ženou o dvaačtyřicet let mladší.

Jeho maminka o něm tvrdila, že byl šašek odjakživa, prakticky od narození. Někdy z toho byl i průšvih, zejména když Ivan Vyskočil (79) imitoval učitele ve škole, to pak maminka spínala ruce a lamentovala, že takového šaška jí byl čert dlužen.

Sama prošla za války koncentračním táborem v Terezíně, její muž byl kvůli jejímu židovskému původu totálně nasazený. Herec se jako nejmladší ze tří sourozenců narodil až po válce, v roce 1946. Navzdory tomu, co si prožili, se rodiče bohužel záhy rozešli a budoucí herec tátu pak už celý život neviděl.