Jeho život byl skvělý, až v posledních letech ho osud nešetřil. Umíral dlouho a těžce. I přesto mu do poslední chvíle nosila jeho žena do postele rum a pivo, které pil brčkem.
Do svých jedenácti let neuměl česky. Jeho rodnou zemí bylo Slovinsko, kam se přistěhoval jeho otec, stavební inženýr, za prací. Maminka byla jugoslávsko-italského původu. Říkala o sobě, že je posledním potomkem šlechtického rodu de Martellossiů, a ačkoliv jí to nikdo nevěřil, byla to prý pravda. O tři roky po Pepovi se narodil druhý syn Drugomir. Josef dlouho a s hrůzou vzpomínal, jak chodili s bratrem několik kilometrů ze samoty přes les do školy v Novo Mesto a kolikrát viděli medvěda. V polovině 30. let otec přišel o práci a rozhodl se pro návrat do Československa. Josefovi bylo jedenáct a neuměl ani slovo česky. To chtěl jeho otec dohonit. Už po cestě vlakem do nové země mu proto udělal rychlokurz, kterým Josefa doslova týral. Rodina se usídlila v Písku, kam začal chlapec chodit do školy, ale moc mu to nešlo. Bylo to hlavně kvůli češtině. Začátky v Čechách proto nebyly jednoduché, malý Josef bojoval zvláště s hláskou „ř“.