北朝东魏武定六年（548年），取梁之阳平郡，置谷阳郡，治高昌县（今安徽省固镇县谷阳城），隶睢州（由潼州改），领高昌县（今谷阳城）、连城县（今安徽省固镇连城集）。北齐，谷阳郡属仁州。南朝陈太建五年（573年），陈入据淮北，谷阳郡属潼州（今安徽省灵璧县潼郡）。北周武帝时入据淮北，谷阳郡隶属仁州（赤坎城，今安徽省固镇县仁和集）。

隋开皇六年（586年），废谷阳郡，改为谷阳县，属仁州。