Nel 1942 viene espulso dal PCI per i suoi atteggiamenti critici nei confronti della direzione del partito, ma è riammesso nel 1944. Rifugiatosi in Svizzera dopo l’armistizio, rientra in Italia nel 1944 e diviene segretario generale del libero governo dell’Ossola. Nel 1945 è nominato membro della Consulta nazionale. Eletto deputato all’Assemblea costituente il 2 giugno 1946 assume la carica di vicepresidente. L’8 febbraio 1947 a seguito delle dimissioni del presidente Saragat, inviato ambasciatore a Parigi, Terracini viene eletto presidente dell’Assemblea.
Il 22 dicembre 1947 è tra i firmatari, assieme a De Nicola e De Gasperi, della Costituzione della Repubblica. Designato senatore nel 1948, viene confermato nelle successive legislature.

E’ presidente del gruppo parlamentare comunista dal 1958 al 1973. Dopo l’attentato a Togliatti nel luglio 1948, con il paese in altissima tensione con gli scioperi proclamati dalla Cgil Terracini presenta una mozione di sfiducia nei confronti del governo, indicato come responsabile politico e morale dell’attentato, ma la sua mozione viene respinta con 173 voti contro 83. Il 2 maggio 1962, alle elezioni del presidente della Repubblica, Terracini è il secondo con 200 preferenze, dopo Mario Segni con 333 voti. In quelle del 16 maggio del 1964 è ancora secondo con 250 preferenze, rispetto
a Giovanni Leone che ne prende 319.

Il suo atteggiamento è spesso critico nei confronti della linea del partito. In particolare va sottolineato il dissenso nei confronti della strategia del “compromesso storico” di Enrico Berlinguer. Muore a Roma il 6 dicembre 1983.