Místo hory Karmel je spojeno s postavou biblického proroka Elijáše, klášter zde vznikl již v byzantském období. V křižáckém období se několik zdejších jeskyní ukázalo jako místa příhodná pro rozvoj poustevnického a řeholního života. Na hoře vzniklo bratrstvo poustevníků pod vedením Bertolda z Kalábrie, které dostalo od jeruzalémského patriarchy Alberta v letech 1207–1209 první pravidla, potvrzená papežem Honoriem III. roku 1226. Nově vzniklý řád karmelitánů dostal výrazný impulz od poustevníka a posléze svého prvního generálního představeného, svatého Šimona Stocka. Po obsazení Jeruzaléma sultánem Saladinem v roce 1187 se sem stáhli mnozí poustevníci. Po roce 1291 byli karmelitáni i všichni ostatní zdejší křesťané vyhnáni osmanskými Turky. V letech 1630–1631 se vrátili a svůj klášter na hoře Karmel obnovili. Nemohli užívat původní jeskyni, ve které se usadila muslimská sekta Mamelúků, kteří se nazývali žáky proroka Eliáše. V roce 1761 byli karmelitáni z Haify opět vyhnáni muslimy, pro něž svatyně Bahai v Haifě představovala důležité středisko víry. V roce 1799 se zde vylodilo vojsko císaře Napoleona Bonaparta a zřídilo v troskách staveb polní nemocnici. Mniši se znovu usadili ve městě v roce 1823.
Francouzští karmelitání za podpory francouzského krále Karla X. od roku 1823 do roku 1836 vybudovali nejprve impozantní kostel s kupolí a do roku 1846 také budovy nového kláštera, který se nazývá „Stella Maris“ (česky: "Mariina hvězda"). Propojili své území s majákem v přístavu, v němž mniši zavedli svou službu. Klášter se školou se stal základnou pro všechny další komunity karmelitánů a karmelitánek v jihovýchodním Turecku, Sýrii, Libanonu a Palestině. Na místě je činná také ženská větev řádu. Po roce 1948 se klášter stal celosvětovým centrem karmelitánské spirituality.
Dominantou komplexu staveb kláštera v horní části města je chrám Panny Marie Karmelské. Tato papežská bazilika minor je řešena jako patrová stavba na terasách. Má horní kostel s menší jeskyní Panny Marie a spodní kostel propojený s legendární Eliášovou jeskyní (ve které měl bydlet prorok Eliáš). Spodní jeskyně je nyní využívána jako synagoga. Kolem kláštera jsou situovány zahrady.
