Στο ψηλότερο σημείο του Χωριού βρίσκεται το κάστρο της Σύμης.
Το σημείο ήταν οχυρωμένο από την αρχαιότητα και υπήρχε εκεί αρχαία ακρόπολη.
Την 25 Σεπτεμβρίου 1944 και η ιστορία κατέγραφε τη Σύμη το τελευταίο θύμα της ναζιστικής θηριωδίας. Την ολική καταστροφή της ένδοξης Μεγάλης Παναγίας που υψωνόταν από τα Βυζαντινά χρόνια στην ΝΑ πλευρά του Κάστρου . Οι Ιταλο-Γερμανοί αναχωρώντας από το τυραννισμένο νησί της Σύμης την ανατίναξαν για να μην βρουν οι σύμμαχοι απελευθερωτές τα πολεμοφόδια που είχαν συγκεντρώσει στην αδειανή στέρνα και στα κελιά της μεγάλης αυτής εκκλησίας. Μια γυναίκα νεκρή, λένε οι μαρτυρίες και το Ανατολικό τμήμα του Χωριού κατεστραμμένο. Οι Συμιακοί για να θυμούνται τον ιστορικό αυτό ναό, που υπήρξε και έδρα της Μητρόπολης της περιοχής τον 14ο ή 15ο αι μετονόμασαν έναν από τους μεγάλους θόλους του Κάστρου, που παλιότερα ήταν αφιερωμένος στον ΄Αγιο Γεώργιο σε Μεγάλη Παναγιά, το χώρο όπου στεγάστηκε και το φημισμένο Ελληνικό Σχολείο.
Στην περιοχή του Κάστρου υπάρχει η εκκλησία της Παναγίας και κατάλοιπα αρχαίου ναού της Αθηνάς.
