Das etwas abseits der Straße gelegene Braemar Castle wurde 1628 als Jagdpavillon erbaut und im 18. Jh. von Farquharson of Inverey, dem Vorfahren der heutigen Besitzer, in Brand gesteckt. Den Festungscharakter (Eisentor, Zwinger, befestigte Kurtine und Schießscharten) erhielt Braemar Castle nach dem Wiederaufbau. Zur Zeit des Jakobitenaufstandes von 1745 waren hier die Truppen Georgs II. stationiert.