南朝梁大同二年（536年），废赤坎戍，置仁州，治所在赤坎城（今安徽省固镇县仁和集；一说在今安徽省泗县西南）。北齐，仁州领谷阳郡（今安徽省固镇县城南一公里谷阳城遗址）、蕲城郡（今安徽省宿州市埇桥区蕲县镇）。南朝陈太建五年（573年），仁州领蕲城郡和颍川郡（今安徽省凤台县）。北周，仁州领谷阳郡、蕲城郡、龙亢郡。

隋开皇年间，废郡，蕲县、谷阳县、龙亢县、临淮县属仁州。隋炀帝大业元年（605年），废仁州，蕲县、谷阳县、临淮县属徐州。