A budapesti piarista gimnáziumban érettségizett, jogot, majd magyar irodalmat tanult. 1944-ben behívták katonának, így került el a németországi Harbachba, ahol egész életre szóló, megrendítő élménye lett a koncentrációs táborok borzalmaival való találkozás. 1949-től nem publikálhatott, az irodalmi élet perifériájára szorult. Ekkoriban verses meséket írt, a meséket tartalmazó kötetével lépett a kényszerű hallgatás után először a nyilvánosság elé. 1956-tól a Magvető Kiadó lektora, majd az Új Ember című katolikus lap munkatársa, nagyrészt itt jelentek meg tárcái, vallásos és bölcseleti elmélkedései, kritikái. 1970-ben jelent meg gyűjteményes kötete a Nagyvárosi ikonok s ettől kezdve – ha lassan és megkésve is – a hazai irodalmi élet egyik legjelentősebb képviselőjeként kezdték számontartani. Tagja lett a Magyar Írószövetségnek, külföldi szereplései is megszaporodtak, minden évben hosszabb-rövidebb időt töltött Párizsban. Egyre több kötetet adott ki: Szálkák, Végkifejlet, Kráter címen. Költészetének hatása részben nyelvének rendkívüli tömörségével, s ebből fakadó művészi erejével magyarázható. 1976-tól nem írt több verset, egyre inkább a széppróza foglalkoztatta. Haláláig dolgozott az Önéletrajzaim munkacímet viselő regényén, amelynek csupán három nagyobb fejezete készült el. Utolsó évei nagy részét Velemben és Székesfehérváron töltötte. Művei jelentős hányada csak halála után jelent meg kötetbe gyűjtve.
Pilinszky János művei megtalálhatók az oroszlányi Kölcsey Ferenc Művelődési Központ és Könyvtár gyűjteményében.