Pošto je vrlo rano počeo da pokazuje zanimanje za muziku, počeo je da ide na časove kod lokalnog  violiniste. Svoj prvi javni nastup imao je već sa 7 godina, a u 10-oj godini napisao je i svoju prvu kompoziciju – gudački kvartet! Sa 16 godina otišao je u Prag, kako bi studirao violinu na Konzervatorijumu. Međutim, više su mu privlačile pažnju knjige i pozorište, tako da je ubrzo bio izbačen sa Konzervatorijuma. To ga nije sprečilo da nastavi da se usavršava sam, kao i da komponuje. Čak je primljen i u Češku filharmoniju, gde je svirao od 1913. do 1923. godine.

Za vreme Prvog svetskog rata (1914. – 1918. godine), Martinu je, kao učitelj, bio oslobođen službe. U tom periodu živeo je ponovo u svom rodnom gradu kao učitelj muzike. Pošto je shvatio da nema dovoljno znanja iz komponovanja, vratio se na Konzervatorijum, gde je pohađao časove kompozicije kod Jozefa Suka.

Godine 1923. Martinu je otišao u Pariz, gde je živeo narednih 17 godina. U Parizu je postao učenik Alberta Rusela, čiju muziku je izuzetno cenio. Martinuova muzika je bila veoma dobro prihvaćena u Parizu. U njegovim kompozicijama, pored češkog folklora, vide se i uticaji džeza (balet „La revue de cuisine“, 1927), reg-tajma i neoklasicizma (Double concerto, 1938, za dva gudačka orkestra, klavir i timpane)

Kada je nemačka vojska počela invaziju na Francusku, Martinu je, preko Španije, emigrirao u Ameriku, tačnije u Njujork (1941. godine). Tu je živeo sa svojom suprugom sve do 1953. godine. Nepoznavanje jezika, nedostatak sredstava za život, kao i nedostatak prilika u kojima bi pokazao svoj talenat, bili su problemi sa kojima su se u početku susretali svi umetnici koji su za vreme Drugog svetskog rata prebegli u Ameriku. Srećom, Martinu se vrlo brzo snašao. Komponovao je puno i dobio je posao predavača u Letnjoj školi u Berkširu, a onda i na Prinston univerzitetu. U ovom periodu napisao je pet simfonija (između 1942. i 1946. godine), kao i Violinski koncert (1943) i Koncert za dva klavira i orkestar (1943).

Iako je Martinu planirao da se vrati u Čehoslovačku odmah po završetku rata, nesreća ga je sprečila u tome. Naime, 1946. godine, nezgodan pad prouzrokovao je kraći period amnezije i delimično oštećenje sluha. Na sreću, vremenom mu se zdravlje poboljšalo. Dobio je i američko državljanstvo (1952), ali je vreme više provodio u Evropi. Između 1953. i 1955. godine živeo je u Rimu, gde je napisao Šestu simfoniju (1953) i orkestarsko delo „Fresques de Piero della Francesca“ (1955).

Martinu se nikada nije vratio u domovinu. Svoje poslednje godine proveo je u Švajcarskoj, gde je završio svoju dvanaestu i poslednju operu „The Greek Passion“ (1961). Umro je u 69-oj godini, 28. avgusta 1959. godine.