Το τμήμα πόλο του ΟΦΗ ιδρύθηκε το 1987. Όπως όλα τα νεοσύστατα σωματεία, ξεκίνησε την αγωνιστική του παρουσία από τη Δʼ εθνική κατηγορία. Τα έτη 1987-89 με προπονητή τον Μανόλη Νεοκοσμίδη αγωνίσθηκε στην Δ εθνική κατηγορία χωρίς όμως να καταφέρει να πετύχει κάποια σημαντική διάκριση.Την πρώτη αυτή διετία η ομάδα βασίστηκε σε παίχτες κατά βάσιν βετεράνους που προέρχονταν από ομάδες των Αθηνών. Στα μέσα του 1989 αναλαμβάνει προπονητής ο Δημήτρης Σγουρός, προπονητής νέος και φιλόδοξος που ξεκινάει μια προσπάθεια για τη δημιουργία μιας ακαδημίας από μικρά παιδιά με μικρή κολυμβητική παιδεία. Παράλληλα πλαισιώνει την ομάδα με παίκτες έμπειρους που προέρχονται από σωματεία των Αθηνών.

Τα πρώτα αποτελέσματα φαίνονται το 1991 όπου η ομάδα καταφέρνει και κερδίζει την άνοδό της στην Γʼ εθνική. Ο Δημήτρης Σγουρός παραιτείται και τη συνέχεια της προσπάθειας του αναλαμβάνει ο Βούλγαρος προπονητής Αντρει Αντρέιεφ, άνθρωπος έμπειρος και με μεγάλη παιδεία στον χώρο. Ο Αντρέιεφ καταφέρνει και δημιουργεί ένα καλό κράμα νέων και ταλαντούχων παικτών με παίκτες έμπειρους προερχόμενους από μεγαλύτερες κατηγορίες με θαυμαστά αποτελέσματα. Η ομάδα καταφέρνει σε δυο διαδοχικά έτη να ανέβει στην Α2 κατηγορία (18 βαθμοί) βοηθούμενη σε μεγάλο βαθμό από τον ανταγωνισμό που υπήρχε με το άλλο σωματείο του Ηρακλείου τον ΕΓΟΗ που τα ίδια χρονιά διέγραφε πορεία παράλληλη.

Το 1993 η αγωνίζεται στην Α2 και παρά την απειρία της παραμένει στην κατηγόρια.

Το 1994 ο Αντρέιεφ φεύγει στα μέσα της περιόδου και αναλαμβάνει προπονητής ο Ιάκωβος Κουμης προπονητής με μεγάλες περγαμηνές καθώς θεωρείται ο άνθρωπος που δημιούργησε την ομάδα του Ναυτικού ομίλου Χανιων. Τη χρονιά αυτή πήρε την 4η θέση με 30 βαθμούς.

Το 1995 θεωρείται η χρόνια ορόσημο για την ηρακλειώτικη υδατοσφαίριση. Πολλοί αθλητές από την άλλη ομάδα του Ηρακλείου τον ΕΓΟΗ μεταπηδούν στον ΟΦΗ. Ο ΟΦΗ ενισχύεται σημαντικά. Υπάρχει ένα αξιοζήλευτο υλικό παικτών και μια πληρότητα που θα την ζήλευαν πολλές ομάδες του επαγγελματικού πρωταθλήματος. Η ομάδα καταφέρνει σε όλο το πρωτάθλημα να πρωταγωνιστήσει και στο τέλος χάνει την άνοδο στην επαγγελματική κατηγόρια από μικρές λεπτομέρειες και παραλήψεις (2η θέση με 33 βαθμούς).

Το 1996 η ομάδα απογοητευμένη από την προηγούμενη ατυχία αποδυναμώνεται σημαντικά. Παίκτες όπως ο Κώστας Κοκκινάκης (ναι αυτός του Survivor), ο Βασίλης Κικριλης παίρνουν μεταγραφή. Μοιραία έρχεται η πτώση.

Το 1997 ο προπονητής Στράτος Τσιαμπάζης αναλαμβάνει το δύσκολο έργο της ανασυγκρότησης. Η επιτυχία έρχεται γρήγορα η ομάδα με έμψυχο υλικό προερχόμενο από το Ηράκλειο καταφέρνει να επανέλθει στην Α2 σχετικά εύκολα (σε αγώνες κατάταξης πηρέ την 2η θέση με 8 βαθμούς).

Το 1998 είναι μια χρονιά δύσκολη. Ο ΟΦΗ καταφέρνει την τελευταία στιγμή να παραμείνει στην Α2 παρά το ότι εμφανίζεται αρκετά δυνατός στα περισσότερα παιγνίδια.

Έκτοτε η ομάδα με προπονητές τους Μανωλη Πισσα (1999-2001) και Δημήτρη Μυράλη (2001-2002) διατηρείται στην Α2 κατηγόρια. Η περίοδος 2000-2001 μπορεί να χαρακτηρισθεί σαν χρονιά ανασυγκροτησης.Η ομάδα βασίσθηκε κατά βάση σε παίκτες που προέρχονται από το Φυτώριο της ομαδας. Παράλληλα οργανώθηκε ακαδημία, που αριθμεί περίπου 40 παιδιά. Έμεινε στην κατηγορία όπως και τη χρονιά 2001-2002. Το 2002-2003 πηρέ την 11η θέση και υποβιβάστηκε στην Βʼ Εθνική. Το καλοκαίρι του 2004 πήρε την πρώτη θέση με Τάκη Κακαρνάκη προπονητή και ανέβηκε ξανά στην Α2 κατηγορία.

Ε, αυτό ήταν. Από τότε μέχρι προχθές στην Α2 ζούσε χάρη κυρίως στις προσπάθειες του μόνιμου εφόρου του τμήματος Μιχάλη Σπαγουλάκη και των προέδρων του Ερ. ΟΦΗ. Φυσικά είχε περάσει πολλά εμπόδια όμως πάντα, έστω και την τελευταία στιγμή έμεινε στην κατηγορία. Οι προπονητές του ήταν:

2004-05 ΚΑΚΑΡΝΑΚΗΣ Α2

2005-06 ΖΟΥΡΑΡΗΣ Α2

2006-08 ΛΟΥΖΕΝ Α2

2008-09 ΠΙΣΣΑΣ Α2

2009-10 ΣΠΑΓΟΥΛΑΚΗΣ Α2

2010-11 ΣΠΑΓΟΥΛΑΚΗΣ Α2

2011-12 ΚΑΤΡΙΑΔΑΚΗΣ Κ. Α2

2012-13 ΚΑΤΡΙΑΔΑΚΗΣ Α2

2013-14 ΜΥΡΑΛΗΣ Τ. Α2

2014-15 ΜΥΡΑΛΗΣ Α2

2015-16 ΜΥΡΑΛΗΣ Α2

2016-17 ΒΟΛΤΥΡΑΚΗΣ Α2