Tanulmányait a kilmarnocki akadémián, majd a Londoni Politechnikai Intézetben végezte, miközben egy kézbesítőirodánál dolgozott mint alkalmazott. Fleming nyomorúságos anyagi helyzete csak a századfordulón változott meg, miután nagybátyjától jelentős összeget örökölt és így 1903-ban beiratkozott a St. Mary Kórház orvosi iskolájába.
Miután elnyerte a doktori fokozatot, a híres bakteriológus és vakcina-kutató Almroth Wright asszisztense lett. Fleming az első világháború idején mint harctéri orvos Franciaországban teljesített szolgálatot, áldozatos és eredményes munkájával kitüntetést is szerzett.
Már a fronton megtette az első lépéseket a penicillin felfedezése felé, amikor észrevette, hogy a hagyományos fertőtlenítő eljárás egyes sérülések esetében gyakrabban vezet a sebesült halálához, mint a felépüléshez. Az orvos úgy vélte, hogy a kezelés során a fertőtlenítő szerek elsősorban a felületi baktériumokat ölik meg, miközben a gyulladásokért, felelős kórokozók könnyen elszaporodnak, és elpusztítják az immunrendszert. Fleming a háború után számos kísérletet folytatott, melyek először a szervezet védekezőképességét növelő lizozim, majd 1928-ban a penicillin véletlenszerű felfedezéséhez vezettek. A fáma úgy szól, hogy Fleming egy szeptemberi napon éppen családjától tért vissza laboratóriumába, amikor észrevette, hogy az általa vizsgált staphylococcus baktériumok tenyészetei közül az egyik elpusztult. Számos vizsgálatot követően Fleming rájött, hogy a kórokozót egy gomba pusztította el, amit 1929 márciusában közölt publikációjában penicillinnek nevezett el.
Kísérletei során a tudós felfedezte, hogy ez a gombafajta az úgynevezett Gram-pozitív baktériumokat pusztítja el, és olyan betegségek gyógyítását teszi lehetővé, mint a tüdőgyulladás, vagy a szifilisz. Az orvostudományban új távlatokat nyitó antibiotikumot a második világháború alatt Ernst Chain, Edward P. Abraham és Norman Florey tudósok izolálták és tökéletesítették. A penicillin hamarosan nem csak a katonák, de a civilek körében is igazi csodaszer lett, szinte minden betegség gyógyítására kísérletet tettek.
1945-ben – Chainnel és Floreyval megosztva – orvosi Nobel-díjjal jutalmazták.
A világhírű tudós 1955. március 11-én, Londonban hunyt el, és testét a Szent Pál-székesegyházban helyezték végső nyugalomra.