Separado do Palácio Pimenta por um muro, encontra-se o Jardim de Buxo ou Jardim Bordallo Pinheiro, de aspeto formal, com um desenho geométrico de sebes onde sobressaem algumas árvores nomeadamente, pelo seu porte original, uma acácia-do-Japão também conhecida por árvore-dos-pagodes pelo costume de ser plantada junto a templos budistas.