Arap džamija spada u najstarije građevinske objekte u Novom Pazaru. Nema pouzdanih podataka kada je sagrađena a prvi put se pominje u popisu iz 1528. godine. Po jednom predanju, džamiju je podigao Hasan Čelebija ili Hasan-beg koji je bio Arapin, zbog čega je džamija i nazvana Arap džamija. U izvorima iz tog vremena Hasan Čelebi se pominje kao graditelj džamije, bez navođenja podataka o njegovom poreklu. S obzirom na to da je 1689. godine džamija spaljena, a nakon toga i obnovljena, veruje se da ju je obnovio neki Arapin, koji je kao oficir službovao u to vreme u Novom Pazaru, po kome je od tada ona sve više nazivana Arap džamija. Po drugom predanju, međutim, džamiju je tada obnovio Arap koji je bio turski oficir, a kome je kasnije na Velikom mezarju na Paricama podignut veliki spomen-mezar poznat i danas kao Arapov grob.