Szülei maguk is hangszerkészítők voltak. Ifjúkorában zenei konzervatóriumban klarinétozni és fuvolázni tanult, azután pedig hangszerkészítésre adta fejét. Kezdetben apja műhelyében dolgozott, később pedig Brüsszelben hangszerkészítőként megnyitotta első saját műhelyét. Sax négy éven át tökéletesítette munkáját, végül 1846. június 22-én Párizsban szabadalmaztatta az új hangszert. Egy csapásra világhírnevet szerzett vele. Közkedvelt hangszer lett a szaxofon, főleg a francia katonazenekarokban. A mester széleskörű elismertségét mutatja, hogy 1857-ben a Párizsi Konzevatóriumban szaxofon szakot hirdettek, ahol Saxot kérték fel az oktatásra. Itt mintegy 25 éven át folyt a szaxofonképzés, majd pénzhiányból adódóan megszüntették a szakot. Sax emellett még éveken át a párizsi opera zenekarának direktoraként tevékenykedett.