Deux légendes se superposent pour expliquer à quel chien cette constellation se rapporte :

-  - Tout d'abord Lélaps, le chien d'Actéon, ou celui de Procris, une nymphe de Diane, ou Argos, le chien d'Ulysse, que  Zeus félicita pour avoir attendu vingt ans son maître, parti à la guerre de Troie, ou celui donné par l'Aurore à Céphale, tellement rapide qu'il fut capable de vaincre le Renard à la course et qu'il fut placé dans les cieux par Zeus en récompense.

-   -  La deuxième légende raconte qu'il s'agit du chien de chasse d'Orion, pourchassant le Lièvre.

On dit que cette constellation représente un des chiens qui suit Orion.

L’étoile Procyon était appelée ainsi par les anciens Grecs car elle se levait avant Sirius, l’étoile la plus brillante du Grand Chien, mais la constellation ne fut utilisée qu’à partir de la période romaine en tant que représentation du plus petit des chiens de chasse d’Orion.