Narodil se v Hradci Králové do silně věřící katolické rodiny. Byl tzv. vymodleným dítětem. Rodiče už měli dvě dcery Marii Magdalénu a Růženku, ale tatínek Josef si přál ještě syna. Maminka Kateřina nakonec přece jen do třetice otěhotněla, ale syna porodila dva měsíce před termínem.Porodní bába mu moc šancí na přežití nedávala.
Byla tuhá zima a tehdy žádné inkubátory nebyly, a tak si maminka musela pomoct sama. Malého Josífka několik měsíců zahřívala v troubě kamen. Josefovi rodiče žili velmi skromně. Tatínek sice pocházel z bohaté velkostatkářské rodiny, ale protože se oženil s chudou kuchařkou, rodiče ho vydědili. Do konce života tak jezdil u dráhy s rudlem a měl co dělat, aby všechny uživil. Josef byl od dětství velmi temperamentní a disponoval silným a znělým hlasem, ale do devíti neuměl správně vyslovit Ř. Přesto ve škole patřil k nejlepším recitátorům. S nadšením hrál v ochotnickém divadle a zpíval na kúru. Jako malý kluk se chtěl stát fotbalistou, hajným nebo knězem, ale rodiče ho poslali do Hradce Králové na obchodní akademii. Ve škole se opět aktivně věnoval ochotničení a zpěvu. Zpíval tak dobře, že si ho brzy všiml ředitel Východoslovenského divadla v Košicích a nabídl mu angažmá operetního tenora. Když Josef mamince řekl, že by chtěl k divadlu, nechtěla o tom ani slyšet. Bála se, aby tam herečky syna nezkazily, a tak mu to nedovolila. Po maturitě jako poslušný syn, nastoupil do spořitelny a pět let tam počítal peníze.
