No tempo de D. João I o seu monteiro-mor, João Vicente, tinha emprazado em três pessoas a «Quinta de Azeitão em Ribatejo». Uma parte da propriedade era foreira à Coroa e a restante a Diogo Fêo. Em virtude de João Vicente estar velho, cego e pobre, o rei comprou o domínio directo da quinta a Diogo Fêo e permitiu que se emprazasse, em 1427, a seu filho D. João, mestre da Ordem de Sant'Iago e Condestável do Reino, a quem, mais tarde, seu irmão, o rei D. Duarte, fez doação. Por sua morte, em 1442, sucedeu-lhe na posse sua filha D. Brites, que veio a casar em 1447 com o infante D. Fernando, irmão de D. Afonso V. A quinta, lembrança da nova possuidora - que a usufruiu 64 anos, desde 1442 até à sua morte, em 1506 - tornou-se conhecida por «Quinta da Condestablessa» e passou a dispôr, desde essa data, de uma edificação notável, que, segundo se crê, constava de uma cerca torreada e de um revestimento de azulejo do modelo levantino, de que existem ainda numa das dependências da edificação alguns exemplares, pertencentes aos tipos rajolas que se fabricaram em Valência na segunda metade do século XV.
A quinta passou mais tarde para uma bisneta da Condestablessa, D. Brites Lara, que casou em 1519 com o Marquês de Vila Real. Em 1521 a nova proprietária começou a desmembrar as extensas propriedades que possuía na região e, em 1528, acabou por vender a própria Quinta de Azeitão a Brás de Albuquerque, filho natural do grande Vice-Rei da índia, Afonso de Albuquerque, pela avultada quantia de dez mil cruzados de ouro.
A descrição mais antiga desta quinta, posterior à sua aquisição por Afonso de Albuquerque filho, data da época da elaboração do tombo do morgadio, mandado fazer por D. Jorge Manuel e autorizado por alvará de 31 de Maio de 1631:
«Umas casas muito grandes e muito nobres, edificadas com muito primor, com varandas de todas as partes e casas e muitas salas, camaras recamaras, postas de parte do norte e do levante, ficando a quinta e pomar com seus jardins da parte sul e poente. Tem mais estas casas cubellos nos três cantos que se fazem para fora contra o norte, dois ao norte e um ao sul com que ficam realçados e lustrosas e na entrada que está em um pateo muito grande e com os seus portais, cerrado de muro, em que se correram e podem correr touros, está uma escada toda de pedraria com uma volta, toda com seus balaustres de mármore, que forma a entrada da primeira sala. Tem mais duas varandas com seus arcos de jaspe e columnas do mesmo, uma parte para a banda poente e outra para o norte com as suas grades de ferro até ao meio, com seus azulejos até meio das paredes. »
A propriedade foi adquirida, já no séc.XX por Mrs. Orlena Scoville, que iniciou uma obra de salvamento e reconstituição da quinta.
Actualmente a Quinta da Bacalhôa pertence à Fundação Berardo, liderada pela família Berardo, cujo patriarca é o Comendador José Berardo.
Foi classificada pelo Instituto de Gestão do Património Arquitectónico e Arqueológico (IGESPAR) como Monumento Nacional em 1996.
