Το κάστρο της Καρύταινας κτίστηκε στα μέσα του 13ου αιώνα από τον Φράγκο ηγεμόνα Γοδεφρείδο ντε Μπρυγιέρ και αποτέλεσε την έδρα της ομώνυμης βαρονίας, η οποία περιλάμβανε συνολικά 22 φέουδα. Η ανέγερσή του δεν υπήρξε μόνο έκφραση φεουδαλικής ισχύος, αλλά και στρατηγική επιλογή. Η φυσικά οχυρή του θέση, το καθιστά ένα από τα ασφαλέστερα και σημαντικότερα οχυρά της δυτικής Αρκαδίας και καίριο πέρασμα που συνέδεε την Αρκαδία με τη Μεσσηνία και την Ηλεία.
Κατά την Ελληνική Επανάσταση η Καρύταινα απέκτησε κομβικό ρόλο: τον Απρίλιο του 1821 έξω από το κάστρο όπου είχαν καταφύγει οι μουσουλμάνοι κάτοικοι του οικισμού, συγκροτήθηκε το πρώτο οργανωμένο στρατόπεδο των Ελλήνων. Σ’ αυτό προσήλθαν οπλαρχηγοί από διάφορα μέρη της Πελοποννήσου, με επικεφαλής τον Θεόδωρο Κολοκοτρώνη. Εδώ δόθηκε η πρώτη νικηφόρα μάχη της Επανάστασης στην Αρκαδία. Το 1826, ενόψει της απειλής από τα στρατεύματα του Ιμπραήμ, ο Κολοκοτρώνης επισκεύασε το κάστρο, μετατρέποντάς το σε καταφύγιο για τους κατοίκους της ευρύτερης περιοχής. Η προσωρινή του εγκατάσταση εκεί συνδέθηκε με την αποκαλούμενη σήμερα «οικία Κολοκοτρώνη», σε πλάτωμα κοντά στην κορυφή του λόφου. Εκτός των οχυρώσεων, διατηρείται επίσης ο ναός της Παναγίας του Κάστρου (13ος – 14ος αι.) μικρός σταυροειδής εγγεγραμμένος ναός με εξωνάρθηκα, που μαρτυρά τη διαχρονική παρουσία του χριστιανικού στοιχείου στον οικισμό. Στη δεξιά πλευρά υψώνεται τετράγωνος πύργος που ανάγεται στη βυζαντινή περίοδο και φέρει το όνομα του τοποτηρητή της Καρύταινας, Ματζουρανόγιαννη.