A „palota”, ami a „de La Motte palotává” válása előtt a XIV-XV. században volt aranyművesé, élt benne íjgyártó, posztógyártó, nyeregkészítő, késműves, szabó, élt benne és birtokolta az ingatlant az egri püspök, az esztergomi érsek, erdélyi vajda, a kor híres törökverője, diplomata, fakereskedő, asztalosmester, majd 1760-ban került de la Motte des Aulnos Ferenc Károly Jácint mérnökkari alezredes birtokába. (Milyen érdekes, hogy ugyanarról a helyrajzi számról beszélünk, és közben mennyire hullámzó a házban élők társadalmi összetétele.)

No, hát ez a fent említett de la Motte des Aulnois Ferenc Károly Jácint (egyébként francia származású) mérnökkari alezredes gondolt egyet, és egyszintes, csini-bini barokk palotává alakíttatta az épületet, melynek hangulatát mind a mai napig átélhetjük, ha felmegyünk az első emeletre, és hevesen tekintgetünk az elmúlt pár száz év levert 14-15 réteg vakolata alatt feltárult, most is látható mai nevén graffitinek nevezett alkotásokra. A barokk-rokokó falfestés egyfajta képregény is, hisz a „passiószoba” például Krisztus szenvedéstörténetének négy fontos jelenetét dolgozza fel, de a többi szoba is rendelkezik falfestéssel, szintén bibliai tárgyúakkal. De la Motte des Aulnois Ferenc Károly Jácint miután a saját maga ízlése alapján kialaktotta és 13 évig lakta a palotát feleségével, 1773-ban eladta a Morvaországból ide érkező Beer József Kajetán katonai gyógyszerésznek (no így már összeáll a palota mai neve). Beer József Kajetán katonai gyógyszerész kicsit még tovább alakítgatta a házat, leginkább annak alsó szintjét (mai is látható barokk kapualj, és gyógyszertár), de a pincét és a padlást is kihasználta, előbbiben gyógyszerész laboratórium és raktár volt (mendemondák alapján a pincéből is le lehet jutni a Budai Várnegyed barlangrendszerébe, de nem messze, olyan 80 méterre a palotától a nemrég feltárt föld alatti budavári mikve bejárata is megtalálható), utóbbiban, a padláson gyógynövények szárítását végezte.