A história da propriedade começa em meados do século XIX, quando os antepassados ingleses dos atuais propriétários, a família Leacock, plantaram vinha e bananeiras numa área de 6 hectares. O nome Leacock permanece: ainda é uma das marcas do Vinho Madeira. A Quinta da Casa Branca é um grande jardim neste passado agrícola. Devido à sua localização excecional, a família Leacock foi convencida por um amigo arquiteto a desenvolver um hotel de design exclusivo na ilha, cuja arquitetura contemporânea rompeu com a arquitetura típica da região. Totalmente integrado na vegetação, o primeiro edifício foi inaugurado em 1998 e desde 2003, a Quinta da Casa Branca é membro dos "Pequenos Hotéis de Luxo do Mundo".