Το κτίριο αυτό υπήρξε ένα από τα πιο όμορφα αρχοντικά της εποχής. Για την ακρίβεια ήταν το κονάκι του Σαμί Μπέη, ο οποίος αυτοκτόνησε το 1885. Στη συνέχεια το κτίριο περιήλθε στην ιδιοκτησία ενός ανιψιού του και κάποια χρόνια αργότερα λειτούργησε εκεί το υφαντουργείο Καστρινογιάννη. Το ακίνητο ύστερα πέρασε στην ιδιοκτησία του γιατρού Τρανταλίδη. Ο ιδιοκτήτης τους τα κληροδότησε στο δήμο Ρεθύμνου με την προϋπόθεση να αξιοποιηθούν για να λειτουργήσει ένα δημοτικό νοσοκομείο.

Ο αυστηρός αυτός όρος εδώ και πολλά χρόνια έχει βάλει «φρένο» σε όσες προσπάθειες έχουν γίνει για την αγορά του ακινήτου, το οποίο έχει έκταση συνολική ένα στρέμμα.

Το ισόγειό του είναι κατασκευασμένο με πέτρες και ο πάνω όροφος είναι μια κατασκευή ξύλου και σοβά. Έχει μια ξύλινη κεραμοσκεπή και η πρόσοψη του εμφανίζει εξαιρετικό ενδιαφέρον. Τα θυρώματά του έχουν παραστάδες, και τα ανώφλια φτιάχτηκαν από λαξευμένο πωρόλιθο. Το ακίνητο οριοθετεί ένας αυλόγυρος ύψους πάνω από 3.μ. και έχει δύο εισόδους, μία από την Αριάδνης και μίο από την Ιδομενέως.