Сергей Гандлевский родился в Москве в 1952 году. По отцовской линии у него еврейские корни, по материнской — род из русских священников. Он окончил филологический факультет Московского университета и после долго не мог найти себя в официальной литературе: работал школьным учителем, экскурсоводом, рабочим сцены, ночным сторожем. В 1970-е годы он стал одним из основателей поэтической группы «Московское время» (вместе с Алексеем Цветковым, Александром Сопровским, Бахытом Кенжеевым), а затем и группы «Задушевная беседа» (позже «Альманах»), куда входили Михаил Айзенберг, Тимур Кибиров, Дмитрий Пригов, Лев Рубинштейн и другие поэты, определившие лицо неподцензурной русской поэзии второй половины XX века.
До середины 1980-х Гандлевский публиковался только в эмигрантских изданиях; на родине его стихи начали печатать с конца десятилетия. В 1991 году он был принят в Союз российских писателей. Работал на радио «Россия», вёл цикл передач о литературе, в РГГУ и Институте журналистики и литературного творчества вёл семинары по современной поэзии, был членом жюри многих литературных премий, включая «Русский Букер», где в 2009 году стал председателем. Лауреат премий «Антибукер», Малой Букеровской, «Северная Пальмира», премии Аполлона Григорьева и главной поэтической награды России — премии «Поэт» (2010).
Гандлевский пишет стихи и прозу, его книги переведены на множество европейских и восточных языков. В стихах он соединяет иронию и грусть, быт и высокую культуру, узнаваемые приметы московской жизни и вечные темы. Его проза — «Трепанация черепа», «НРЗБ» — тоже держится на парадоксе: серьёзное подаётся в оболочке анекдота, а анекдот оборачивается трагедией. Гандлевский не стремился быть громким поэтом, но стал одним из самых читаемых и уважаемых в своей поколенческой нише — той, что выросла из подполья, но не стала официозом.
С недавнего времени Гандлевский живёт в Тбилиси. Он остаётся в русской поэзии фигурой, без которой невозможно представить последние сорок лет её негромкой, но честной жизни. Как сказал о нём один из критиков: «Он не бьёт наотмашь, но попадает точно».