Co se stalo jeho rodičům v jednu listopadovou noc, to nikdy nepřebolí. Přesto se herec naučil znovu se radovat ze života.

Rodák z amerického státu Montana byl odmala posedlý sportem, nejdřív propadl atletice, později potápění. Nicméně byl zároveň členem školního ochotnického souboru, a to jej nakonec dovedlo k rozhodnutí studovat herectví na univerzitě v Seattlu. Patrick Duffy se dostal mezi dvanáct přijatých z přibližně dvanácti set uchazečů.

Přitom jeho rodiče nebyli herci, ba ani ochotníci, měli prosperující hospůdku.V posledním ročníku se seznámil s budoucí manželkou, baletkou Carlyn Rosser (†78) a záhy po svatbě, která se konala v roce 1974, se narodil syn Padraic (45), o pět let později druhý syn Conor (40). Manželství bylo – na to, jaká byl Duffy postupem času celebrita, kterou znal celý svět – neobvykle vzorné, Carlyn a Patricka rozdělila až Carlynina smrt v roce 2017.