Erstmals urkundlich erwähnt wurde Hirschstein im Jahr 1205 als Burganlage. Die Form des Schlosses erinnert an die eines Schiffes. Ein Turm überragt das Gemäuer. In den Jahren 1687 bis 1700 wurde das Schloss zu einer Wohnanlage umgebaut. 1893/94 wurde es erneut umgebaut von dem Dresdner Architekten Ernst Giese. Dabei wurden Schloss und Terrassengarten im Stil der Neorenaissance gestaltet. Es wurde über der Eingangshalle im Nordflügel ein Porzellansaal geschaffen. Dieser war gefüllt mit Schätzen aus aller Welt. Im Obergeschoss befinden sich eine Bibliothek sowie ein getäfelter Saal.
Bereits 1949 wurde das Schloss als Kindererholungszentrum und im Jahre 1956 als Kindersanatorium genutzt. Zwischen 2000 und 2006 diente es als Rehabilitionsklinik für Kinder und Jugendliche mit psychosomatischen Störungen.
Die Gemeinde Hirschstein ist seit 2013 Eigentümerin von Schloss Hirschstein und betreibt einer Info-Punkt. Für eine Führung durch das Schloss kann man sich in der Gaststätte "Waldblick" in Neuhirschstein oder in der Gemeindeverwaltung Hirschstein anmelden.
