Das Schloss Brunnsee wurde gegen Ende des 15.Jahrhunderts unter der Lehensherrschaft der Herren von Pettau erbaut . Ein grosser Umbau erfolgte gegen Ende des 16.Jahrhunderts nach den Plänen des italienischen Architekten Bartolomeo Montiano .Ursprünglich war es ein Wasserschloss, das während der zahlreichen Türkeneinfälle auch als Zufluchtstätte für die lokale Bevölkerung diente.Später wurde der Renaissancebau verändert, der Wassergraben wurde entfernt und im 19.Jahrhundert kam der Park hinzu, der heute das Anwesen umgibt .

Im Laufe der Jahrhunderte wechselte das Schloss sehr häufig seine Besitzer. Im Jahre 1837 erwarb es Marie Caroline Herzogin von Berry,Tochter von König Franz I. von Neapel-Sizilien und Schwiegertochter von König Karl X. von Frankreich,um sich dort mit Ihrem zweiten Ehemann, Fürst Carlo Ettore Lucchesi Palli von Campofranco niederzulassen.Bis zu Ihrem Tode im Jahre 1870 und auch danach war Brunnsee aufgrund der weitverzweigten familiären Verwandtschaft stets ein Ort der Internationalität,wo sich Menschen aus verschiedenen europäischen Ländern trafen.

Das Schloss steht  heute im Eigentum von Graf Ludovico Lucchesi Palli, einem direkten Nachkommen der Herzogin.