A história da Quinta das Lágrimas começa muito antes da Figueira dos Amores ter sido plantada. Remonta ao século XIV e o documento mais antigo que se conhece sobre ela data de 1326.
Foi nesse ano que a Rainha Santa Isabel, mulher de D. Dinis, mandou criar um canal para encaminhar a água de duas nascentes para o Convento de Santa Clara. Ao local de onde água brotava deste canal, chamaram depois “Fonte dos Amores”. Conta-se que este nome lhe foi dado por ser junto a esta fonte que o infante D. Pedro e Inês de Castro (aia da mulher do infante, D. Constança) se encontravam secretamente, consolidando um amor proibido que levou, mais tarde, ao assassinato de Inês.
Ao longo dos séculos, os jardins da Quinta das Lágrimas foram-se ampliando e acolhendo novas espécies. Por exemplo, em 1813, o Duque de Wellington, que ajudara Portugal a travar o avanço das tropas de Napoleão, visitou a quinta e, para assinalar o momento, foram plantadas duas sequoias.
Em meados do mesmo século, o filho do dono da Quinta, Miguel Osório Cabral de Castro, mandou construir um “jardim romântico”, com lagos e árvores exóticas e raras, que o microclima húmido desta zona fez prosperar. Mais tarde, o sobrinho D. Duarte de Alarcão Velasquez Sarmento Osório, mandou construir junto à saída de água mandada fazer pela Rainha Santa Isabel uma porta em arco e uma janela neogóticas.
Terá sido por meados do século XIX, numa troca de sementes com o Jardim Botânico de Sidney, na Austrália, que a Figueira dos Amores teve a sua origem, crescendo próxima da Fonte dos Amores e não longe da porta e janela neogóticas.
Muitas outras espécies vindas das mais variadas partes do mundo fazem-lhe companhia no Jardim da Quinta das Lágrimas.
Algumas gigantes ultrapassam-na em altura, como acontece com várias espécies de Araucaria, incluindo uma também australiana – a Araucaria bidwillii, e uma Sequoia sempervirens. Outras, embora menos imponentes em dimensão, impressionam pela beleza da sua floração e pelas nuances de cor que as suas folhas imprimem à paisagem nas diferentes estações do ano. É o caso da Árvore-de-Júpiter (Lagerstroemia indica), do Ginkgo biloba, da magnólia-japonesa (Magnolia x soulangiana) ou do tulipeiro-da-Virgínia (Liriodendron tulipifera).