Het Academiegebouw in de Koningstraat in Gent heeft een lange geschiedenis die teruggaat tot een romaans 'steen', een stenen huis van een edelman, dat in de middeleeuwen toebehoorde aan de aanzienlijke Gentse patriciërsfamilie Damman. In de 16de eeuw was het pand in bezit van Jan Damman, die ook heer was van Oombergen.
In 1746 werd het pand verkocht aan architect David 't Kindt, die het herenhuis in Lodewijk XV-stijl oprichtte. Nadien werd het bewoond door verschillende adellijke families.