1903. október 31-én született Rimaszombaton. 1922-ben került a budapesti Zeneakadémiára, ahol Bartók Béla tanítványa lett a zongora tanszakon. Egy évvel később feleségül ment a világhírű zeneszerzőhöz, de tanulmányait férje vezetésével tovább folytatta. Első közös fellépésük a Szonáta két zongorára és ütőhangszerekre bázeli bemutatója volt 1938. január 16-án. 1938-tól további kétzongorás hangversenyeket adott Bartókkal Európában és az Amerikai Egyesült Államokban. 1940-ben a fasizmus térhódítása elől Bartókkal együtt az USA-ba emigrált. Férje halála után, 1946-ban visszatért Magyarországra, mert biztos volt abban, hogy Bartók is hazatért volna.
1946-tól ismét Budapesten élt, 1960-tól koncertezett itthon és külföldön, főként Comensoli Máriával és Tusa Erzsébettel. Vendégszerepelt Ausztriában, Belgiumban, Franciaországban, Hollandiában, Luxemburgban, Nagy-Britanniában, az NSZK-ban, Olaszországban, Spanyolországban, Svájcban és az USA-ban. Hanglemezfelvételei készültek Bartókkal; a Hungaroton Bartók-összkiadásában játszotta Bartók zongoraműveit. Bartók III. zongoraversenyét neki írta. Amikor férje halála után zongoraművészként a nyilvánosság elé lépett, szinte kizárólag csak Bartók-műveket játszott. Hanglemezfelvételeken, hangversenyeken arra vállalkozott, hogy továbbadja Bartók műveinek előadási stílusából mindazt, amit elsajátított. Bartók életének utolsó hónapjairól visszaemlékezést írt.
1982. november 21-én hunyt el, s december 2-án helyezték örök nyugalomra. Férje hazahozott hamvait 1988 júliusában temették el a művésznő közelében, a Farkasréti temetőben. A végrendelete alapján, 1986-ban létrehozott, Bartók Béla-Pásztory Ditta-díjjal számos művészt tüntettek ki.