É obra e empenho do nosso monarca D. Afonso V, que em cumprimento de um voto que fizera a Santo António para auxiliá-lo nas conquistas do norte de África, o mandou levantar. Veio ele mesmo, com os fidalgos da sua real Câmara e grande acompanhamento de clero, nobreza e povo, desde a vila de Torres, lançar a primeira pedra em Fevereiro de 1470. Entregou o andamento da obra, com recomendação de ser veloz, ao Vedor da Casa da Rainha, sua mãe, Diogo Gonçalves Lobo.