Ο Ηρακλής έχει τις ρίζες του βαθιά μέσα στον χρόνο. Είναι από τα παλιότερα αθλητικά σωματείά σε ολόκληρη την Ελλάδα και τα χρώματά του, το γαλάζιο και το λευκό, θυμίζουν έντονα τα χρώματα της Ελλάδας.
Η ιστορία του Ηρακλή ξεκινά από το 1899, όταν ιδρύθηκε ο όμιλος Φιλόμουσων. Ο όμιλος δεν ήταν αθλητικός σύλλογος, αλλά ένα σωματείο γραμμάτων και μουσικής.
Το 1903, τα μέλη του ομίλου αποφάσισαν να εντάξουν στις δραστηριότητες τους τον αθλητισμό. Δημιούργησαν ένα γυμναστήριο και ίδρυσαν τμήματα κολύμβησης και ποδηλασίας. Ωστόσο, ήταν το ποδόσφαιρο, ένα νέο άθλημα εκείνης της εποχής που «έκλεψε τις καρδιές» των αθλητών.
Το πρώτο επίσημο παιχνίδι διεξήχθη στις 23 Απριλίου του 1905, αλλά στη συνέχεια ο σύλλογος άρχισε να αντιμετωπίζει οικονομικά προβλήματα. Τρία χρόνια αργότερα, το 1908, ημερομηνία-ορόσημο για τον Ηρακλή, όλα άλλαξαν. Ο σύλλογος συνεργάστηκε με την ομάδα «Ολύμπια» και η συνένωση των δυνάμεων τους είχε ως αποτέλεσμα τη γέννηση του Ηρακλή. Ολόκληρη η ονομασία του ήταν τότε: «Οθωμανικός Ελληνικός Σύλλογος Θεσσαλονίκης «Ο Ηρακλής». Το τμήμα ποδοσφαίρου ήταν το πρώτο που δημιουργήθηκε. Οι πρώτες επιτυχίες δεν άργησαν να έρθουν. Στις 29 Νοεμβρίου 1908, κατά τη Γενική Συνέλευση των μελών, καταρτίσθηκε το πρώτο καταστατικό του ΗΡΑΚΛΗ αποτελούμενο από 36 άρθρα. Πρώτος Πρόεδρος στην ιστορία του ΗΡΑΚΛΗ ήταν ο ιατρός Α. Μάλτος.
Το 1914 ο Ηρακλής αντιμετώπιζε προβλήματα στέγασης, καθώς τα έσοδα του συλλόγου ήταν ελάχιστα και προέρχονταν μόνον από συνδρομές μελών. Ωστόσο, ο σύλλογος κατάφερε, χάρη στη δυναμική του, να αντεπεξέλθει στις δυσκολίες και οι εγκαταστάσεις του έγιναν «πυρήνας» αθλητισμού στην πόλη της Θεσσαλονίκης. Ο Ηρακλής είναι άρρηκτα συνδεδεμένος με την ιστορία της πόλης και είναι χαρακτηριστικό ότι πάρα πολλοί σπουδαίοι ποδοσφαιριστές και μετέπειτα προσωπικότητες της Θεσσαλονίκης και της χώρας φόρεσαν την ένδοξη φανέλα με τον «ημίθεο» στο στήθος.
Από τότε που ιδρύθηκε ο ποδοσφαιρικός σύλλογος του Ηρακλή, το ποδόσφαιρο άρχισε να γίνεται δημοφιλές σε όλη την Ελλάδα. Στους πρώτους μεταπολεμικούς Πανελλήνιους Αγώνες η «κυανόλευκη» ομάδα πέτυχε πολλές σημαντικές νίκες και αποτέλεσε την ομάδα-πρότυπο της εποχής.