Ο Ρούβας ιδρύθηκε το 1961 από φίλους του ποδοσφαίρου στην περιοχή της Γέργερης. Το πρώτο Δ. Σ. του σωματείου αποτελούνταν από τους Κώστα Μπολονάκη (πρόεδρος), Νίκο Σηφάκη, Γιώργο Κακουλάκη, Αντώνη Τσιμπλοστεφανάκη και Δευκαλίων Γιατράκη. Μέχρι το 1979 η ομάδα δε συμμετείχε στα τοπικά πρωταθλήματα ελλείψει γηπέδου. Οι πρώτοι παίκτες της ομάδας με προσωπική εργασία εξασφάλισαν τις προϋποθέσεις για να δίνονται φιλικοί αγώνες σε μια αλάνα που υπήρχε έξω από το χωριό. Αρκετές ομάδες από το Ηράκλειο ανταποκρίνονταν στις προσκλήσεις και έδιναν το “παρών” σε παιχνίδια που παρακολουθούσαν αρκετές εκατοντάδες θεατές της ευρύτερης περιοχής. Χαρακτηριστικά αποτελέσματα εκείνης της περιόδου ήταν οι νίκες με 4 – 1 επί των Εθνικού και Ηρακλή, ενώ ο μεγάλος Δημήτρης Βάβουλας του ΟΦΗ προπόνησε για ένα μικρό διάστημα την ομάδα κατόπιν προτροπής των τότε διοικούντων. Η ομάδα ανέστειλε τη λειτουργία της το 1967 καθώς η Χούντα έκρινε ότι ήταν παράνομη λόγω ταμειακών οφειλών. Το 1979 με πρωτεργάτη τον τότε πρόεδρο Ματθαίο Οικονομάκη η ομάδα επαναλειτουργεί και κατεβαίνει για πρώτη φορά στα τοπικά πρωταθλήματα (Γ΄ΕΠΣΗ) με έδρα το γήπεδο του Ζαρού. Τα υπόλοιπα μέλη του συμβουλίου ήταν οι Αντώνης Μανασάκης (Αντιπρόεδρος), Αντώνης Τσιμπλοστεφανάκης (Γ. Γραμματέας), Μιχάλης Μουζουράκης (Γενικός Αρχηγός), Γιώργος Κακουλάκης (Έφορος). Στα μέσα της δεκαετίας του 80 επί θητείας του Δημήτρη Σαρρή στη Γ. Γ. Α. η Πολιτεία εγκρίνει ποσό για την κατασκευή γηπέδου κανονικών διαστάσεων. Το 1990 επί προεδρίας Μιχάλη Μουζουράκη η ομάδα ανεβαίνει στη Β΄ κατηγορία. Τα πανηγύρια δεν κρατούν όμως για πολύ καθώς λόγω προβλημάτων ακολουθεί νέα αναστολή της λειτουργίας της μέχρι το 1994, οπότε κατακτάει αήττητος τον τίτλο στη Βʼ Κατηγορία. Δύο χρόνια αργότερα επί προεδρίας Γιώργου Τζωρτζάκη η ομάδα καταφέρνει νέα άνοδο ενώ το άλμα για την Αʼ κατηγορία γίνεται το 2005 όταν στη διοίκηση βρισκόταν ο Βαγγέλης Μανιαδάκης και προπονητής ήταν ο Σήφης Σηφάκης. Η διοικητική σκυτάλη περνάει έκτοτε στον Μανώλη Κουτεντάκη. Οι στόχοι αναπροσαρμόζονται και φέτος ο Ρούβας για πρώτη φορά στην ιστορία του κάνει το παραπάνω βήμα υλοποιώντας το στόχο της ανόδου στο περιφερειακό.