Το Καστέλλι είναι ένα ισχυρό βυζαντινό οχυρό, κατασκευασμένο πάνω στο βραχώδη λόφο του ακρωτηρίου Ασπροπουντάρι. Η κάτοψή του έχει επίμηκες και ακανόνιστο σχήμα, με μέγιστο μήκος 143 και πλάτος 95 μέτρα.

Η θέση του είναι από μόνη της οχυρή και επιτρέπει τον έλεγχο της θαλάσσιας περιοχής ανάμεσα στην Κάλυμνο και τη γειτονική νήσο Τέλενδο, όπου ακριβώς απέναντι βρίσκεται ο σύγχρονος με το Καστέλλι οχυρωμένος οικισμός του Αγίου Κωνσταντίνου. Το Καστέλλι έχει επίσης οπτική επαφή και με τον οικισμό επί της οροσειράς της Γαλατιανής. Ο χώρος του λόφου είναι από τη φύση του χωρισμένος σε δύο κύρια επίπεδα, τα οποία οχυρώθηκαν αναλόγως.

Το κατώτερο επίπεδο περιβάλλεται από ισχυρό τείχος, με ορθογώνιους πύργους άμυνας. Τα τείχη επιστέφονται από ορθογώνιες επάλξεις, ενώ στην πίσω πλευρά τους διαμορφώνεται περίδρομος, για την κυκλοφορία των υπερασπιστών του οχυρού. Στις πλαγιές εκατέρωθεν του λόφου, υπάρχει τείχος που φτάνει μέχρι τη θάλασσα. Το φρούριο δηλαδή έχει φτιαχτεί κατά τρόπο, που να μπορεί να αμύνεται σε επιθέσεις, τόσο από την μεριά της στεριάς, όσο και από της θάλασσας. Σε επιλεγμένα σημεία του τείχους ανοίγονται πύλες. Δύο μεγάλες υδατοδεξαμενές βρίσκονται στην ανατολική πλευρά της οχύρωσης, δίπλα στις εκεί πύλες. Υπεράνω των δεξαμενών διαμορφώνονταν πύργοι άμυνας.

Το ανώτερο επίπεδο, η ακρόπολη, είναι προστατευμένο από απότομους κρημνούς περιμετρικά και διαθέτει μόνο μία κτιστή κλίμακα πρόσβασης, η οποία οδηγεί σε πύλη. Ο χώρος αυτός έχει ενισχυθεί με τείχος και ορθογώνιους πύργους. Δημιουργείται έτσι ένας δεύτερος χώρος άμυνας, σε περίπτωση που οι εχθροί περνούσαν το εξωτερικό τείχος. Η κάτοψή της έχει ακανόνιστο σχήμα, με μέγιστο μήκος 60 και πλάτος 35 μέτρα. Για την προμήθεια του απαραίτητου πόσιμου νερού κατασκευάστηκε στο ανατολικό τμήμα της ακρόπολης μία μεγάλη καμαροσκέπαστη υδατοδεξαμενή, εσωτερικών διαστάσεων 6 x 4 μ.

Το Καστέλλι δημιουργήθηκε μέσα από τη ζωτική ανάγκη επιβίωσης του ακριτικού νησιού της Καλύμνου, αλλά και του ίδιου του Βυζαντινού Κράτους, από τις θαλάσσιες επιδρομές των Αράβων κατά τα μέσα του 7ου μ.Χ. αιώνα. Πιθανότατα το Καστέλλι κατοικούταν έως και τον 10ο αιώνα, όπως και οι οχυρωμένοι οικισμοί του Αγίου Κωνσταντίνου στην Τέλενδο και της Γαλατιανής στα Αργινώντα.

Στις νότιες παρυφές του λόφου, κοντά στη θάλασσα και εκτός των τειχών, υπάρχει ένα μικρό καμαροσκέπαστο εκκλησάκι, αφιερωμένο στην Παναγία.