Studiował w Akademii Medycznej w Moskwie. Do Polski przyjechał w 1947 roku, gdzie ukończył studia na Akademii Medycznej w Warszawie. Jako poeta debiutował na początku lat 50. W tamtym okresie opublikował tomy wierszy "Dzisiaj", "Wiosna sześciolatki", "Słowa na co dzień" oraz poemat "Płomienie". W latach 50. pracował jako redaktor w tygodniku "Nowa Kultura".
W okresie stalinowskim Mandalian stał się sztandarowym poetą polskiego socrealizmu. Swoje zaangażowanie i wiarę w komunizm w Polsce Mandalian tłumaczył następująco: "Uważałem, że tu w Polsce jest i będzie inaczej, że wszystkie błędy systemu właśnie tu będą naprawione, że Wielka Utopia tu zostanie zrealizowana. Niemal wszyscy, którzy wraz ze mną repatriowali się do Polski i aktywnie włączyli w budowanie nowego systemu, przeszli przez więzienia lub łagier. Dla mnie to była rękojmia, że nie dopuszczą, by w Polsce stało się to samo, co w ZSRR. Zresztą proszę pamiętać, że z mojego punktu widzenia przeniosłem się z kraju wielkiej niewoli do kraju dzikiej wolności." (Anna Bikont, Joanna Szczęsna, "Lawina i kamienie. Pisarze wobec komunizmu", Warszawa 2006).
W latach 70. poeta zmienił poglądy polityczne i działał w opozycji. W latach 70. i 80. XX w. wydał m.in. kolejne tomy wierszy: "Krajobraz z kometą" (1976), "Egzorcyzmy" (1981) i opowiadanie "Na psa urok" (1985). W 1985 roku wydał także, w drugim obiegu, pod kryptonimem X-666, pisaną w czasie stanu wojennego, powieść "Operacja Kartagina", a w 1993 roku, w działającym już oficjalnie wydawnictwie, opublikował zbiór opowiadań "Czerwona orkiestra". Ponownie w stronę liryki zwrócił się po śmierci żony, Joanny Rapackiej - profesora slawistyki w Instytucie Slawistyki PAN. Wydał m.in. dedykowany pamięci żony tom "Strzęp całunu" (2002). "Żeby pisać o śmierci i bólu, nie trzeba być poetą wzniosłym. I Mandalian - szczęśliwie - nim nie jest" - pisał w 2003 roku na łamach "Gazety Wyborczej" Michał Głowiński.
W 2008 roku Mandalian był nominowany do nagrody Nike za "Poemat odjazdu". "Panie Zastępów: zachowaj nas/w pamięci nie takimi, jacyśmy byli, lecz jakimi chcieliśmy/ być" - napisał na koniec utworu poeta. "Dzięki jego wierszom zanurzamy się w żywioł polszczyzny, w którym króluje potoczny, kolokwialny idiom, na przemian z kulturowym cytatem. A jeśli gdzieś przydarzy się patos albo skądś wychynie rozpacz, niemal zawsze wzięte są w nawias ironii" - pisała o poezji Mandaliana w 2008 roku na łamach "Gazety Wyborczej" Joanna Szczęsna.
Mandalian był wybitnym tłumaczem z języka rosyjskiego. Na polski przekładał m.in. poezje Osipa Mandelsztama, Bułata Okudżawy, Josifa Brodskiego. Pisał także scenariusze filmowe m.in. do filmów "Przygoda noworoczna" w reż. Stanisława Wohla, "Zakochani są między nami" w reż. Jana Rutkiewicza i "Dama pikowa" w reż. Janusza Morgensterna i Jerzego Domaradzkiego.pap, ps