Patterson nasceu em Newcastle, Inglaterra. Ele mudou-se para Belfast, Irlanda do Norte, com a sua mãe após os seus pais terem casado, e foi criado em meio à violência religiosa e política. Primeiro, em Belfast e mais tarde em Leeds, Patterson provou ser um estudante indiferente e deixou a escola sem completar seus estudos. Ele encontrou uma casa no exército britânico, no entanto, e serviu dois anos como um oficial não-comissionado no Household Cavalry na fronteira da Alemanha Oriental durante a década de 1950. Patterson descobriu, durante o serviço militar, que possuía tanto considerável habilidade para atirar tiros com grande precisão, como considerável inteligência (147 pontos num teste de inteligência). Após deixar o exército, ele voltou aos estudos, se graduando em sociologia na London School of Economics and Political Science, enquanto se sustentava como um condutor e trabalhador. Depois de se formar, trabalhou durante algum tempo como professor e começou a escrever romances em 1959. O crescente sucesso dos seus primeiros trabalhos permitiu-lhe levar tempo fora do seu trabalho, e ele acabou por deixar as salas de aula para se tornar um romancista em tempo integral.