Inaugurada no dia 27 de março de 1947, a Segunda Igreja Batista ficou conhecida como Igreja Batista Ebenezer, sua primeira sede foi uma casa alugada na Rua Visconde de Bom Retiro, 115 – no centro da cidade. Foi organizada com 22 membros e seis pastores, que fizeram parte dos trabalhos evangelísticos. Em abril de 1947 tomou posse o pastor Walter Mac Nealy, missionário da junta Richimond-USA. A partir de setembro de 1957, o pastor Isidoro Pires dos Santos liderou a igreja, até fevereiro de 1964. Nesse período, a igreja comprou uma casa ao lado do templo e deu início ao edifício de educação religiosa. Na época já funcionava a Escola Batista com uma campanha de alfabetização.

Em fevereiro de 1964 tomou posse na igreja o pastor João José Soares Filho, falecido em dezembro de 2004. Em seu ministério a igreja construiu a casa pastoral, adquiriu um terreno no bairro Cascatinha e iniciou o ponto de pregação no Parque Maria Tereza, onde funcionam hoje duas congregações. Com o andamento da obra do novo templo, a igreja foi inaugurada em 1993, com a participação da Assembléia Anual da Convenção Batista Fluminense.

Com o chamado do Pr. João José Soares Filho para a glória, no dia 21 de dezembro de 2004, o Pr. Dejalmir da Cunha Waldhelm assumiu, no dia 26 de novembro 2005, permanecendo até 04 de fevereiro de 2010.

Liderada hoje pelo pastor Nilson Gomes Godoy, a Segunda Igreja Batista de Nova Friburgo vem realizando várias atividades voltadas à educação e ao evangelismo. Em 2006 o ministro de música João Marcos de Souza Soares decidiu pôr em prática um projeto de integração entre a igreja e a comunidade de Olaria – O Grande Dia -, desenvolvido para evangelizar os feirantes do bairro. Além deste projeto, a igreja ainda apresenta o programa Tenha vida em Jesus, transmitido pela TV Focus.

Preocupada em atender à comunidade de Olaria, a Segunda Igreja Batista também desenvolve trabalhos sociais, com cursos artesanais, voltados à população do bairro e outros. Também mantém um programa de rádio há 50 anos, pela Nova Friburgo AM. A igreja ainda desenvolve vários trabalhos na área de educação, através da Escola Municipal Batista, que hoje atende a cerca de 300 alunos do ensino fundamental, além de oficinas de música.