Перша згадка про церкву Різдва Пресвятої Богородиці у щоденнику одного з німецьких мандрівників датується 1671 роком.
У 18 столітті церква була декілька разів перебудована, але продовжувала залишатись дерев’яною. Після пожежі 1822 року було вирішено не відновлювати її в колишньому вигляді, а побудувати на її місці кам’яний собор.
Спорудження собору почалося 1835 року, а вже в травні 1837 року він був освячений. Майдан біля храму оточував цегляний паркан довжиною 196 метрів. Перед ним була розташована Церковна площа.
За радянських часів храм зазнав переслідувань, однак, в 1988 році його було повернуто вірянам, у 1989 році — відреставровано. В 1995 році собор отримав статус «Пам’ятка архітектури».
Сьогодні собор Різдва Пресвятої Богородиці є найстарішою зі збережених споруд Хмельницького.
