Narodil se v Plzni jako jediný syn Marie a Karla Gottových. Když bylo Karlovi šest let, přestěhovala se rodina do Prahy. Na základní škole rozhodně nepatřil mezi vzorné žáky a stále vymýšlel nějaké lotroviny. Ve třinácti letech se se svým spolužákem Oldou Bukanovským rozhodl navštívit Německo.
Vydali se na sever Čech až k pohraničnímu pásmu u Cínovce, kde je ale dostihla policejní hlídka a vrátila je zpátky domů. Karel už odmala rád maloval a ve svých snech se viděl jako malíř. Po základní škole se přihlásil na pražskou UMPRUM, kam ho ale nevzali. Šel tedy do učení na elektromontéra pro montáž a provoz průmyslového zařízení a později nastoupil do ČKD Stalingrad, kde pracoval až do roku 1960. V té době se začal intenzivně věnovat zpěvu a v roce 1958 se přihlásil do soutěže Hledáme nové talenty. Brzy poté začal příležitostně vystupovat v pražských kavárnách a v orchestru Karla Krautgartnera (†60).