Fordított ókori görög és latin szerzőktől, emellett színdarabokat írt és állást foglalt az erőszakos nyelvújítás és az idegenszerű fordulatok ellen. Szülőhelye Ada (Bács-Bodrog vármegye, ma Szerbia), édesapja szerény anyagi helyzetű kovácsmester volt. Az 1848-49-es szabadságharc idején nemzetőrnek jelentkezett, de fiatal kora miatt nem vették fel. Ezután belépett a bencések közé, de 1852-ben, érettségije után otthagyta a rendet, és a pesti egyetem jogi karára iratkozott be. Első írásai 1858-ban jelentek meg a Hölgyfutárban, emellett vidéki lapokban közölt humoros írásokat Pap Rika álnéven. Országosan ismertté nyelvészeti munkássága tette. A témakörbe vágó első jelentős műve 1867-ben jelent meg Magyartalanságok címmel. Két évvel később akadémiai jutalmat nyert A magyar igeidők című munkájával. A Magyar Tudományos Akadémia nyelvművelő folyóirat létesítésével bízta meg. A Magyar Nyelvőr első száma 1872-ben jelent meg, Szarvas ebben tette közzé nyelvművelő, nyelvhelyességre törekvő cikkeit, szófejtéseit. A folyóirat köré gyűjtötte a kor tehetséges nyelvészeit, Simonyi Zsigmondot, Szinnyei Józsefet, Munkácsi Bernátot. Budenz Józseffel és Szilády Áronnal ő szerkesztette a Nyelvemléktár három kötetét, Simonyival a Nyelvtörténeti Szótárt, s ez utóbbiért az MTA nagyjutalmát is elnyerte. Ortológus (a hagyományokat őrző) felfogás jellemezte, állást foglalt az erőszakos nyelvújítás és az idegenszerű fordulatok ellen, őt tekintik a magyar nyelvművelés megalapítójának. Nyelvművelő tevékenységének fókuszában a helyesírás fejlesztése állt, ezt tekintette a nyelvromlás elleni legfőbb eszköznek. A magyartalan szóalkotások elleni küzdelmet is fontosnak tartotta, és állást foglalt a nyelvben használt idegenszerű fordulatok kérdésében. Elismerte ugyanakkor az idegen eredetű elemek létjogosultságát a nyelvben. Tagja volt a helsingforsi (helsinki) finnugor társaságnak. A Magyar Tudományos Akadémia 1871-ben választotta levelező, 1884-ben rendes tagjává. Hatvanhárom éves korában, 1895. október 12-én halt meg Budapesten. Szobra áll az MTA székháza előtt és szülőhelyén, Adán. Tiszteletére adományozzák hazánkban a Szarvas Gábor-díjat a nyelvművelés terén elért eredmények elismeréseként.