Muitos penicheiros tinham a tradição de visitar a igreja do Senhor Jesus do Carvalhal em grandes romarias que demoravam dois dias. Destes cirios constavam os do Ramalhal, Ermigueira, Maxial, Ribeira de Palheiros, Pêro Moniz, Cadaval, Atouguia da Baleia, Ferrel, Óbidos, Tornada e Bombarral, mas os mais antigos a realizar a romaria são os círios de Peniche e Torres Vedras.
Segundo consta, a imagem venerada foi encontrada na Atouguia da Baleia por um habitante do Carvalhal. Logo os habitantes de Peniche e Atouguia quiseram reclamar como sua a imagem, mas após um disputa foi dada razão ao achador que levou a mesma para a sua terra natal onde foi levantado um templo no local onde se encontrava uma ermida de S. Pedro. A ermida foi deixada no interior do templo até este último estar concluido sendo destruida após a conclusão deste.
