Στην Χαλανδρίτσα, σε άγνωστη ημερομηνία, όταν οι Φράγκοι κατέλαβαν την Αχαΐα το 1205 κατασκεύασαν ένα μικρό φρούριο, ερείπια του οποίου σώζονται ακόμα και σήμερα. Ο ιστορικός Στέφανος Θωμόπουλος λέει ότι στο κέντρο της Χαλανδρίτσας σώζεται ερειπωμένος πύργος προφανώς του Τρεμουίγ το οποίο ο G. Buchon ονομάζει «Κάστρον» και απέναντι διατηρούνται ερείπια στάβλων τα οποία αποκαλούνται «Ερείπια». Το φρούριο αναφέρεται σε όλους του κατάλογους των κάστρων της Αχαΐας που συντασσόταν κατά καιρούς από τους Ενετούς και Τούρκους κατακτητές. Το κάστρο χρησιμοποιούνταν αρχικά σαν κατοικία του εκάστοτε Φράγκου βαρόνου αφού η Χαλανδρίτσα ήταν ανεξάρτητη βαρονία. Το 1315 καταλήφθηκε από τον Φίλιππο τον Αραγωνικό, και το 1429 πολιορκήθηκε από τον Θωμά Παλαιολόγο.
Στο κέντρο της Χαλανδρίτσας βρίσκονται τα ερείπια πύργου που οι ντόπιοι ονομάζουν Παλαιόπυργο. Πιθανότατα είναι το κάστρο που αναφέρεται σε πολλές ιστορικές πηγές από την περίοδο της Φραγκοκρατίας και έπειτα. Το κτίσμα βρίσκεται σε κατωφέρεια με κατεύθυνση βορρά - νότου σε μια παραφυάδα του Παναχαϊκού όρους, ενταγμένος στον υπόλοιπο οικισμό. Στην Χαλανδρίτσα, ο πύργος αποτελούσε ένα από τα κέντρα του οικισμού, από όπου ο κύριος του μπορούσε να εποπτεύει όλη την πεδιάδα. Η εν λόγω πεδιάδα, αποτελούσε την βαρονία της Χαλανδρίτσας, την οποία διατρέχει ο ποταμός Πείρος, σε κοντινή απόσταση από τον πύργο, μόλις 90 μέτρων.
Σύμφωνα με την ελληνική εκδοχή του χρονικού Μορέως χτίστηκε από το Φράγκο βαρόνο Robert ή Audebert De Tremolay στα 1209, ενώ σύμφωνα με την αραγωνική εκδοχή στα 1216 από τον Konrad Alleman, πρώτο βαρόνο της Πάτρας, με τα στοιχεία να συνηγορούν στο πρώτο. Πρόκειται για ένα από τα πιο μικρά κάστρα (ως έδρα βαρόνου) συγκρινόμενο με άλλα της ίδιας περιόδου στις υπόλοιπες βαρονιές του Μορέα. Πιθανότατα λόγω του μικρού μεγέθους του, και άρα στα περιορισμένα μέσα της Βαρονίας καθώς επίσης και στο γεγονός ότι δε συνόρευε άμεσα με άλλο κράτος.
Ο πύργος περιβάλλεται από τείχος που στο μεγαλύτερο μέρος του σώζεται σε ύψος άνω του ενός μέτρου. Το τείχος έχει λιθοδομή όμοια με αυτή του πύργου και πιθανή ημερομηνία κατασκευής πριν την Τουρκοκρατία. Το σχήμα του είναι σχεδόν τετράγωνο με τις Δ και Α πλευρές να είναι μεγαλύτερες. Η ανατολική και δυτική πλευρά έχουν μήκος 29 μέτρα και οι βόρεια και νότια 24 μέτρα. Ο περίβολος αγκαλιάζει περιμετρικά τον πύργο ο οποίος βρίσκεται στο κέντρο του και το πάχος του είναι 1,40 -1,50 μέτρα σε όλο το μήκος του. Πρόκειται για απλό τείχος χωρίς κάποιες ενδείξεις για μικρούς πύργους ή προμαχώνες. Καλύτερα διατηρημένη είναι η δυτική και νότια πλευρά όπου και διακρίνεται η τοιχοποιία του, πέτρες από το κοντινό ποτάμι, λίγο κατεργασμένες με παρεμβολές από θραύσματα κεραμιδιών. Η είσοδός πιθανώς βρισκόταν στη νότια πλευρά στο σημείο που αυτή συναντιέται με τη δυτική, καθώς είναι το μόνο πλήρως ισοπεδωμένο σημείο και δεν φαίνεται να υπήρχε κάποιο άλλο άνοιγμα σε άλλο μέρος του περιβόλου. Στην Πελοπόννησο με εξαίρεση ένα πύργο της Τουρκοκρατίας στην περιοχή του Κιβεριού, πιθανώς αποτελεί μοναδικό παράδειγμα σωζόμενου περιμετρικού περιβόλου οχυρού πύργου.
Ο πύργος έχει τετράγωνη βάση ελαφρώς παράγωνη. Αποτελείται από τέσσερεις πλευρές σχεδόν ισομήκεις. Το μήκος της δυτικής και ανατολικής πλευράς εξωτερικά είναι 9,5 μέτρα και της βόρειας και νότιας 8,5 μέτρα. Βρίσκεται στο κέντρο του περιβόλου, ισαπέχει από τις πλευρές του περιβόλου και παράλληλες αυτών. Δηλαδή οι πλευρές του είναι προσανατολισμένες προς τα σημεία του ορίζοντα. Το πάχος του τοίχου είναι 1,5 μέτρα στη βάση και 1,45 στο μέγιστο σωζόμενο ύψος. Το εσωτερικό εμβαδόν του πύργου στη βάση του είναι περίπου 35 τ. μέτρα. Παρατηρώντας τις διαστάσεις του καθίσταται σαφές ότι είναι αισθητά μεγαλύτερος από άλλους μεσαιωνικούς πύργους της γύρω περιοχής.
Δυστυχώς σήμερα ο πύργος δεν διατηρείται στο αρχικό του ύψος, βάσει μαρτυριών αποτελούσε τριώροφο οικοδόμημα, ψηλότερο από τα υπόλοιπα του χωριού. Ενδεχομένως κάτι τέτοιο ίσχυε αν λάβουμε υπόψη το πάχος της τοιχοποιίας στη βάση. Η τοιχοδομία του πύργου με μερικώς κατεργασμένες πέτρες μεγαλύτερες στη βάση και σταδιακά μικρότερες ανεβαίνοντας και συχνή χρήση κεραμικών θραυσμάτων, τον κατατάσσει στη μεσαιωνική περίοδο. Σήμερα σώζεται σε ύψος 5,3 μέτρων.
Εντύπωση προκαλούν οι γωνιόλιθοι της κατασκευής του πύργου, τα λεγόμενα κλειδιά. Σε αντίθεση με τα υπόλοιπα παλιά πέτρινα σπίτια του οικισμού που φέρουν γωνιόλιθους μέσου μεγέθους και μικρού βάθους από λευκή πέτρα, ο πύργος φέρει πολύ μεγάλους γωνιόλιθους από ξανθό ασβεστόλιθο, άριστα κατεργασμένους σε ορθογώνιο παραλληλεπίπεδο σχήμα. Ένας από αυτούς έχει διαστάσεις 85x48x48 εκατοστά. Ακόμα μεγαλύτερος αριθμός γωνιόλιθων βρίσκεται σε δεύτερη χρήση σε μεταγενέστερο κτίσμα εφαπτόμενο στη δυτική πλευρά του πύργου. Στο εσωτερικό του πύργου υπάρχει πληθώρα λίθων που έχουν καταπέσει από την τοιχοποιία, οι οποίοι καθιστούν αδύνατο τον προσδιορισμό της στάθμης του κτίσματος, προκειμένου να διαπιστωθεί το βάθος του, καθώς και αν το ισόγειο χρησίμευε ως κινστέρνα ή ως αποθηκευτικός χώρος.
Μέχρι το σωζόμενο ύψος δεν υπάρχει κάποιο άνοιγμα γεγονός που οδηγεί στο συμπέρασμα ότι η είσοδος ήταν σε ανώτερο επίπεδο και η πρόσβαση σε αυτή γινόταν με σκάλα. Αυτή εξάλλου ήταν κοινή πρακτική σε στρατιωτικούς πύργους και οχυρές κατοικίες μέχρι τον 19ο αιώνα στον Ελλαδικό χώρο. Στη δυτική πλευρά του πύργου σήμερα υπάρχει ρήγμα από όπου είναι δυνατή η είσοδος στο εσωτερικό αυτού. Μπορούμε με ασφάλεια να υποθέσουμε ότι είναι μεταγενέστερο.