Δυτικά και πάνω από το παραθαλάσσιο χωριό Απόλλωνα βρίσκεται ένα από τα δυο αρχαία λατομεία της Νάξου στα οποία πρωτοξεκίνησε η μεγαλύτερη τέχνη της αρχαιότητας, η μαρμαρογλυπτική.
Οπως αναφέρει και το wikipedia οι «κούροι» της Νάξου είναι οι αρχαιότεροι στον ελληνικό κόσμο και από το αρχαίο αυτό λατομείο του Απόλλωνα μεταφέρθηκαν στη Δήλο, αλλά και σε άλλα μέρη εκατοντάδες ημίεργα αγάλματα και μαρμάρινοι όγκοι, με γνωστότερα αυτά στις Μέλανες Νάξου.
Στο αρχαίο λατομείο του Απόλλωνα έχει απομείνει ο υπερμεγέθης κούρος ύψους 11 μέτρων του Θεού Διονύσου, καθώς και δεκάδες τομές στα μάρμαρα και πολλά κομμάτια από μέλη αρχιτεκτονικά, αλλά και απομεινάρια από ημίεργους κούρους.
Στην κορυφή του λόφου του λατομείου υπάρχει η επιγραφή «όρος χωρίου ιερόν Απόλλωνος» που χρονολογείται στον 5ο προς 4ο αιώνα π. Χ. και πιθανώς ανήκει σε ιερό του Θεού που υπήρχε εκεί.
Στο βουνό «Καλόγερος» ανατολικά του όρμου του Απόλλωνα κείτονται τα ερείπια του «κάστρου του Καλοέρου», που λειτουργούσε από την προϊστορική εποχή ως τους βυζαντινούς χρόνους και την τουρκοκρατία. Σώζονται ένας προϊστορικός πύργος με κυκλώπεια τείχη και μερικές από τις εγκαταστάσεις των βυζαντινών χρόνων (πύργοι, δωμάτια και δεξαμενές).
Τελευταία εντοπίστηκαν τα απομεινάρια (παλιός μόλος) του «αρχαίου λιμανιού του Απόλλωνα» από το οποίο φορτώνονταν στην αρχαιότητα οι μαρμάρινοι όγκοι και τα αγάλματα για να μεταφερθούν διά θαλάσσης στη Δήλο και αλλού. Έχει εντοπιστεί επίσης το μαρμάρινο καλντερίμι πάνω στο οποίο μετέφεραν στη θάλασσα με το σύστημα της διολίσθησης τους μαρμάρινους όγκους για φόρτωση. Άλλα προϊστορικά κάστρα βρίσκονται στις περιοχές Μυρίση-Κανά και γυναικόπετρα (Ελληνικά).