De Academie is gevestigd in een herenhuis dat halfweg de 18de eeuw in de plaats kwam van het middeleeuwse 'steen' van de Gentse patriciërsfamilie Damman. Het nieuwe gebouw behield de naam 'Dammansteen' of 'Huis van Oombergen' naar de heerlijkheid die de familie in de 16de eeuw kocht.
Rococo
Het huidige gebouw werd in 1746-1748 ontworpen en gebouwd door architect en projectontwikkelaar David 't Kindt, die de hele Gentse rococo-architectuur domineerde. Hij maakte ten volle gebruik van de ligging van het perceel en bouwde een monumentale gevel die schitterend is ingeplant in het perspectief van de Kammerstraat, gezien vanaf de Vrijdagmarkt.
Classicisme
't Kindt verkocht de luxueuze woning in 1748 aan ridder Jean Baptiste de Ghellinck. De interieurs werden geleidelijk afgewerkt en aangepast aan de gewijzigde smaak en de noden van de opeenvolgende eigenaars. Zo kwamen er naast ruimtes in rococostijl ook classicistisch aangeklede ruimtes.
Grondige verbouwingen
Kort na 1860 liet weer een nieuwe eigenaar, Camille van Pottelsberghe de la Potterie, grondige wijzigingen aanbrengen. De oorspronkelijke dienstvleugel, richting Vlasmarkt, werd afgesplitst en omgevormd tot een opbrengsteigendom, dat later door een nieuwbouw in eclectische stijl vervangen werd. Aan het einde van de binnentuin kwam een nieuw dienstgebouw met koetshuis en stallingen. Het interieur kreeg een Second Empire-aankleding en in de salons kwamen neorococomeubelen en -wandtapijten.
Vestiging Academie
In 1892 kocht de Belgische Staat het Huis van Oombergen aan als vestiging van de in 1886 opgerichte Koninklijke Vlaamsche Academie. Omstreeks de eeuwwisseling liet de overheid een hele reeks restauraties en uitbreidingswerken uitvoeren. Zo werd de oorspronkelijke beschildering van de natuurstenen gevel verwijderd, en werd het o.m. door de inwerking van de zuren zwaar beschadigde beeldhouwwerk opnieuw gekapt. Het 19de-eeuwse buitenschrijnwerk werd eveneens vervangen. Er kwam een fantaisistische neorococopoort. De vroegere stallingen werden omgebouwd tot een vergaderzaal die door een tweelagige galerij verbonden werd met het hoofdgebouw. Het geheel kreeg een rijkelijke neorococo-aankleding en een aangepast meubilair.
Verdere aanpassingen
Na de Tweede Wereldoorlog onderging het gebouw nog enkele aanpassingen: in de jaren '60 en '70 werden moderniseringswerken uitgevoerd, waarbij o.m. vroegere privévertrekken op de verdieping werden omgevormd tot sobere kantoorruimten. De laatste omvangrijke werken van de 20ste eeuw werden uitgevoerd naar aanleiding van het 100-jarige bestaan van de Academie in 1986. Een aantal interieurs werd gerestaureerd en er werd opnieuw ander buitenschrijnwerk geplaatst. Het huidige Academiegebouw is het resultaat van al die bouwcampagnes.
Het totale concept werd grondig gewijzigd door de afsplitsing van de oorspronkelijke dienstvleugel en de bouw van de stallingen achteraan. De originele structuur van het herenhuis bleef grotendeels behouden. Het uitzicht van de voorgevel en de aankleding van het interieur worden vooral bepaald door de herinrichting in opdracht van Camille van Pottelsberghe en de opeenvolgende restauraties en aanpassingswerken door de overheid.
Nieuwe bewoner
In 2026 werd het Huis van Oombergen, na maandenlange verbouwingen, heringericht voor een stevige contextwissel: na de verkoop van de erfpacht aan investeringsmaatschappij Triginta werd een nieuwe toekomst voor het gebouw uitgetekend, met als doel een meer gedeelde, toekomstgerichte invulling. De KANTL, de historische bewoner van het pand, vond daarbij een verwante partner in de lage landen (Ons Erfdeel vzw), een organisatie met een sterke traditie in taal, cultuur en letteren. Na de intensieve voorbereidingen verwelkomde het gebouw in 2026 uiteindelijk de lage landen als nieuwe bewoner, waarmee een nieuw hoofdstuk in de geschiedenis van het huis werd ingeluid en het Huis van Oombergen verder kan uitgroeien tot een levendig cultureel brandpunt.