七年(1171年)三月，除签书枢密院事。时起复刘珙同知枢密院，珙耻与之同命，力辞不拜，命既下，朝论哗然不平，莫敢颂言于朝者。惟左司员外郎张栻在经筵力言之，中书舍人范成大不草词。寻除说安远军节度使，奉祠归第。不数月，出栻知袁州。说既奉祠，语人曰：“张左司平时不相乐，固也。范致能亦胡为见攻？”指所坐亭材植曰：“是皆致能所惠也。”

八年(1172年)二月，复自安远军节度使提举万寿观，签书枢密院事。侍御史李衡、右正言王希吕交章论之，起居郎莫济不书录黄，直院周必大不草答诏，于是命权给事中姚宪书读行下，命翰林学士王?严草答诏，未几，?严升学士承旨，宪赠出身，为谏议大夫。诏希吕合党邀名，持论反覆，责远小监当。衡素与说厚，所言亦婉，止罢言职，迁左史，而济、必大皆与在外宫观，日下出国门。国子司业刘焞移书责宰相，言说不当用，即为言者所论，出为江西转运判官。于是说势赫然，无敢撄之者。九年(1173年)春，说露章荐济、必大，于是二人皆予郡，必大卒不出。