Ebben a házban született és hunyt el a XIX. sz-i magyar irodalom jeles költője, Kisfaludy Sándor.
A földszintes, L alaprajzot mutató, kúriaszerű ház építtetője a – 17. század végén – a Sándorffy család volt, s a költő apja, Kisfaludy Mihály Sándorffy Juliannával kötött házassága révén került a Kisfaludyak tulajdonába.
Kisfaludy Sándor végleg 1805-ben, a napóleoni háborúkat követően telepedett le ifjú feleségével, Szegedy Rózával ebben a házban, melyet haláláig megtartott. Mivel leszármazottjai nem voltak, a rokonság a házat a veszprémi püspökségnek adta el: az épület ettől kezdve a mindenkori uradalmi intéző hajlékaként szolgált. 1944-ben azonban – az egyházi birtokok államosításával – ez a ház is a népköztársaság tulajdonába került. 1950 után falai közt előbb egy Kisfaludy Emlékház, majd 1990 óta az emlékgyűjteménynek is helyet biztosító Városi Múzeum működik.
Az idő folyamán az épülethez tartozó telket több kisebb parcellára osztották, és az idenyíló lakóházakhoz csatolták. Magát az épületet is többször átalakították: két végéhez újabb helyiségeket toldottak, tornácának szép boltíves árkádjait befalazták, s az udvar szintjét is megemelték.
Az Emlékház 2016-os évtől új szemlélettel működik. A mai nemzetközi és hazai trendeknek megfelelően már nem csak a meglévő gyűjtemények kezelése és kiállítások létrehozása a feladata, hanem a helyi közösség bevonása is.
Az új személetnek megfelelően a városi rendezvények alkalmával az Emlékház bekapcsolódik a programokba, hogy a Kisfaludy család emlékét és az emlékház gyűjteményét közelebb hozhassuk a rendezvények látogatói számára. Az Emlékház udvara a nagy rendezvények alkalmával Művészetek udvaraként működik, ahol kézművesek tartanak kézműves bemutatókat, játszóházat. Szakmai előadásokkal, népzenei, komolyzenei koncertekkel, tematikus programokkal színesítjük az Emlékház szolgáltatásait, ezzel is erősítve a küldetésünkben megfogalmazott hagyományápolást és közösségi térként való működést.
