裴遵庆的墓冢已不复存在，其神道碑仍在。在范仲淹墓园之北。当时虽然唐朝国势衰落，但做为皇帝重臣裴遵庆的墓冢还是相当弘大的，有石坊、石兽、石翁仲等雕刻，墓园内是苍松翠柏。

裴遵庆神道碑，全称《大唐故金紫光禄大夫吏部尚书留守东都贞孝公赠司空裴府君神道碑铭并序》，由朝议大夫守太常卿兼修国史充礼仪使赐紫金鱼袋上柱国杨绾撰文，嵩阳县令卢晓书并篆额。杨绾为唐代著名宰相，颇有文名。身首一体，碑身宽1.05米，碑身高2.35米，碑首高0.8米。碑额篆书“唐故尚书右仆射赠司空裴府君神道碑”，虽有残但可辫识。碑文隶书，碑中上部两边漫漶，中部疑被桔杆所烧而表层崩落。据说，此碑原立于当今所处位置西边偏南50米处，宋代被移置于此，因年代久远，碑身埋入土中约0.7米，挖开后发现贔屭座尚在，碑被牢牢地置于碑座之上，因事拓印而无深挖，故无碑座照片。

碑文依稀可以看出；“......物有其终，疾生无安，享年八十有五，以大历十年拾月二十九日，薨于万年县升平里之私第。以明年二月二十口日合祔於东都万安山之旧茔。圣情震悼，吊禭加等，册赠司空，礼官者行，谥曰贞孝公，礼也。诏使归赙，典客护丧。卿大夫庶僚百吏，追送於国门之外。生荣殁哀，人理至矣。”可见裴遵庆葬礼隆重。

裴遵庆罢相，知选。朝廷优其年德，令就第注官。自宣平坊榜引士子，以及东市两街。时人以为盛事。（出国史补）

裴遵庆罢除了宰相的职位后，让他主持选官。皇帝优待他，考虑他年高有德，让他在家里办理选官事宜。裴遵庆没有在家办，他在宣平坊、东市两街张榜召集被选官。当时人们认为这是件大事。

《旧唐书·卷一百一十三·列传第六十三·裴遵庆》记载：

裴遵庆，绛州闻喜人也。代袭冠冕，为河东著族。遵庆志气深厚，机鉴敏达，自幼强学，博涉载籍，谨身晦迹，不干当世之务。以门廕累授潞府司法参军，时年已老，未为人所知。随调吏部，授大理寺丞，剖断刑狱，举正纲条，理行始著。迁司门员外、吏部员外郎，专判南曹。天宝中，海内无事，九流辐辏会府，每岁吏部选人，动盈万数。遵庆敏识强记，精核文簿，详而不滞，时称吏事第一，由是大知名。

天宝末，杨国忠当国，出不附己者例为外官，遵庆亦出为郡守。肃宗即位，征拜给事中、尚书右丞、吏部侍郎，右迁徐州刺史。恭俭克己，迟重谨密，颇有时望。上元中，萧华辅政，素知遵庆，每奏见，累称之，迁黄门侍郎、同中书门下平章事。广德初，仆固怀恩阻兵汾上，指中官为词，上以遵庆忠纯，特遣往汾州宣慰怀恩。遵庆既见怀恩，具陈朝旨，怀恩引过听命，将随遵庆朝谒，为副将范志诚以邪说惑之，怀恩遂以惧死为词。会蕃寇陷京师，乘舆幸陕，遵庆自汾州奔赴行在。及乘舆还京，以遵庆为太子少傅。永泰元年，与裴冕等并于集贤院待制，罢知政事。寻改吏部尚书、右仆射，复知选事。时选人天兴县尉陈琯于铨庭言词不逊，凌突无礼，代宗诏付遵庆于省门鞭三十，贬为吉州员外司户参军。遵庆敦守儒行，老而弥谨。尝为风狂族侄挝登闻鼓告以不顺，上知遵度，不省，其见信如此。大历十年十月薨于位，年九十余。

遵庆初登省郎，尝著《王政记》，述今古礼体，识者览之，知有公辅之量。

裴遵庆出身河东裴氏（中眷裴氏）。中眷裴氏为河东裴氏定著五房之一。

高祖：裴耀之。高阳郡太守。

曾祖：裴知道。武陵县令。

祖父：裴义弘。中书舍人、玄武公，赠中书舍人。

父亲：裴惓，字翁喜。杭州刺史、河东县男，赠司空。

长兄：裴遵裕。

次兄：裴遵业。

长子：裴会。都官郎中。

次子：裴向，字傃仁。吏部尚书。

侄子：裴单，裴遵裕之子。

侄子：裴彭，裴遵业之子。裴彭子裴礼，韶州刺史。

孙子：裴寅，字子敬，裴向之子。御史大夫。

曾孙：裴格，裴寅长子。

曾孙：裴枢，字化圣，裴寅次子。唐昭宗时期宰相。