A antiga Igreja de São Sebastião no Morro do Castelo já abrigava em suas dependências, as confrarias de Nossa Senhora do Rosário e de São Benedito, quando ocorreu a unificação das duas instituições em 1639, que passou a se denominar Irmandade de Nossa Senhora do Rosário e São Benedito dos Homens Pretos. Em 1684, a Igreja de São Sebastião foi designada Catedral da cidade. Tal resolução provocou o conflito entre Cabido e Irmandade, composta pelos estratos mais discriminados da sociedade. Eles “sentiam muito (ainda sendo pretos) que os Senhores Eclesiásticos não os tratassem com aquela caridade, e favor, que merecia a sua devoção, e seu fervoroso cuidado, com que acudiam a tudo” . Em 1700, graças à doação de terreno feita pela devota Francisca Pontes, os irmãos pretos iniciaram a construção de um templo nos limites do rocio e nas costas da cidade, na atual rua Uruguaiana. Frei Miguel de São Francisco, na época em que compilava o material remetido a frei Agostinho de Santa Maria para a publicação do Santuário Mariano, reitera que mesmo durante a construção da nova igreja, considerada vultosa para uma irmandade de pretos, os cônegos já intentavam tomar-lhes sua capela e fazer dela paróquia, instalando nela uma pia batismal e tentando levar para a mesma o seu coro.

Em 1736, as obras da nova igreja já estavam praticamente concluídas, com a celebração dos ofícios religiosos no local. Foi quando, um ano depois, a irmandade não pôde oferecer mais resistência e teve de abrigar o Cabido, transferido em virtude da ruína da matriz de São Sebastião, com a decadência do Morro do Castelo. Somente com a chegada da Família Real, em 1808, a Catedral foi novamente transferida, desta vez provocando a expulsão dos frades carmelitanos da igreja de seu convento.

No pórtico da igreja do Rosário ainda se conservam a portada setecentista de lioz, mas o seu interior, antes guarnecido com talha rococó, foi totalmente destruído num incêndio em 1967. Reconstruída e reaberta ao público em 1969, depois de um período de obras projetadas pelos arquitetos Lúcio Costa e Sérgio Porto, perdeu todos os elementos decorativos. Sua fachada original, projetada antes da nova tendência pombalina (Barroco tardio) dos finais dos setecentos/início dos oitocentos, possuía apenas como elemento ornamental a ainda existente sobreverga da portada, com mísula e entablamento, sobre o qual despontam pináculos nas extremidades e um frontão recortado com volutas e o relevo da Virgem do Rosário num medalhão central. Havia duas janelas no coro (vãos em V) e uma torre única à esquerda com campanário simples e terminação bulbosa. No século XIX, seguindo o gosto da época, foi acrescida uma segunda torre e o frontão foi alteado, com um corpo retangular superior onde se veem relevos e o monograma mariano, encimado por uma terminação triangular. Devido ao incêndio, muito do seu acervo devocional se perdeu, impossibilitando perfilarmos o padrão iconográfico deste tão importante monumento.