Das von Zuccalli Ende des 17. Jh. errichtete Gebäude wurde in den 1730er Jahren von Cuvilliés im Rokokostil umgestaltet. Das Palais war für die zukünftige Gräfin Portia (daher der Name), eine Maitresse des Kurfürsten Karl Albrecht, bestimmt.