阜阳的历史始于二千多年前，春秋战国属楚，秦时隶属泗水郡，阜阳当时称汝阴县，汉安帝封刘显为阜阳侯，其封地虽不在今天的阜阳城，但阜阳作为一个地名开始在历史上出现了。

到了宋代，阜阳又被称作颍州，虽然曾经有一段时间升至顺昌府，但很快就还原了颍州的称呼。

这个称呼一直延续到清末，宋朝的阜阳城就在如今的老北关一带，其范围东到东城墙路，西至西城墙路，北到顺河街，南到人民西路。