Óssip Mandelstam nasceu em Varsóvia, Polônia, em 1891, descendente de uma família judia. Cresceu na cidade imperial de S. Petersburgo, onde frequentou a prestigiada escola Tenishev, seguindo mais tarde para Paris (1907-08) e para Heidelberg (1909-10) com intenção de estudar Literatura Francesa. A partir de 1911 estudou Filosofia na Universidade de S. Petersburgo, curso que abandonou para se dedicar à escrita. Mandelstam é considerado ao lado de Boris Pasternak, Marina Tsvetaéva e Anna Akhmátova uma das mais importantes vozes da poesia russa do século XX.
Mandelstam publicou seus poemas primeiramente em Apollyon, uma revista de vanguarda, em 1910, depois uniu-se a Anna Akhmatova e Nicholas Gumilev para formar o grupo Acmeist, que defendia uma estética de descrição exata e forma cinzelada, em oposição à corrente simbolista predominante na época.
Fortemente censurado e perseguido pelas autoridades soviéticas por atividades contrarrevolucionárias, ele passou a maior parte de seus últimos anos no exílio.
Mandelstam foi distinguido por um compromisso completo com sua vocação de poeta-profeta e poeta-mártir. Sem residência permanente ou emprego estável, mas por um breve interlúdio no início dos anos 1930, ele viveu a vida de um poeta arquetípico, dispersando manuscritos entre seus amigos e confiando em suas memórias para "arquivar" sua poesia inédita. Foi principalmente através dos esforços de sua viúva, Nadezhda, que pouco da poesia de Mandelstam se perdeu; ela manteve suas obras vivas durante a repressão, memorizando-as e coletando cópias.
Ele morreu anonimamente a caminho do gulag siberiano em 1938, cumprindo assim sua própria profecia sombria: "Somente na Rússia a poesia é respeitada; leva as pessoas à morte. Há algum outro lugar onde a poesia é tão comum motivo para assassinato?"