La rue semble avoir été créée au XIIIe siècle, le long des remparts de Philippe Auguste. Des rosiers poussent alors contre les hauts murs, et lui donnent son nom, attesté dès 1230. Le mur d'enceinte est encore visible par endroit, et en particulier dans le Jardin des Rosiers - Joseph-Migneret - Parc de l'Europe, accessible par le numéro 10 de la rue.