宋高宗赵构失去生育能力，而他唯一的儿子赵旉也在苗刘之变后死去，加上太宗系的后人，在靖康之变后基本被金国一网打尽，因此从太宗的后代之中几乎找不出可以继承自己皇位的合适人选。为了不至于使自己在百年之后皇位落于外姓人氏之手，宋高宗被迫在宋太宗的哥哥宋太祖的后代中寻找可以继承自己皇位的人选。

与宋太宗的后代不同，当时宋太祖的后代有上千人之多，宋高宗想在这一千多人之中选出合适的人选亦并非易事。经过一番仔细的搜寻，宋高宗终于找到了一胖一瘦两个小孩。在两个太子人选当中，赵昚便是其中一位偏瘦的小孩。刚开始，宋高宗对赵昚并没有太大的好感，而是中意胖点的小孩。按理说赵昚继承皇位的机会应当也就到此画上了句号，但是也许冥冥之中自有天意，正在他放弃做皇帝的梦想之时，发生了一件微小的事情，进而使整个局面发生了巨大的变动。事情的经过是这样的：有一次，宋高宗将赵昚和胖小孩叫到一起，恰巧此时闯进了一只猫，赵昚正全神贯注地听宋高宗讲话，猫闯进来后连眼睛都没有眨一下；而胖小孩却不同，猫闯进来后他显得很惊慌，再也无心听宋高宗讲话，连忙伸脚去踢猫，动作极其粗鲁。胖小孩这一粗鲁的举动彻底葬送了高宗原本对他仅存的一丝好感，最终，高宗打发走了胖小孩，将赵昚留在宫中。按理说，赵昚被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。

究其原因，主要有两个方面：其一是赵昚非宋高宗亲生，宋高宗始终对他怀有成见，他希望多给自己留些时间，渴望出现自己能生育的奇迹；其二是宋高宗的母亲韦贤妃不喜欢赵昚，而喜欢另一个养育在宫中的赵璩，她一直劝高宗立赵璩为太子，这使宋高宗在立太子的问题上一直摇摆不定，不知如何取舍。

最终，他想出了一个既可以不使韦太后生气，又可以考验赵昚和赵璩的万全之策：给他们两人分别送去十名绝色处女，待半个月之后再将这些绝色佳丽召回来认真查验，谁破处最少，谁将是皇位的最佳人选。宋高宗想出的这个招数很管用，效果也很明显。送给赵昚的十个佳丽被召回来之后完好如初，而送给赵璩的十个佳丽却全部都不再是处女。

最终，赵昚通过了宋高宗的考验，顺利地被立为太子，直至登上皇帝的宝座，即宋孝宗。

《送张达道还山》：

賸借红尘一日闲，有劳妙语彻幽关。

岂知隐几如南郭，也愧移文向北山。

有意清风怜我在，无心孤月伴君还。

三茅若问今消息，为报逍遥天地间。

七世祖：赵匡胤，宋太祖启运立极英武睿文神德圣功至明大孝皇帝

六世祖：赵德芳，秦康惠王，检校太保、贵州防御使，追赠中书令、岐王，加赠太师，改封楚王、秦王

五世祖：赵惟能，南康郡公赠蔡州防御使、追封张掖侯，加赠集庆军节度观察留后

四世祖：赵从贽，左屯卫大将军温州团练使，御史大夫上柱国天水郡开国公，赠邓州观察使、追封南阳侯

曾祖父：赵世经，吴兴侯

祖父：赵令绩，赠和州防御使

父亲：赵子彦，秉义郎，赠果州团练使

长子：赵师淳，历任忠州团练使、永州防御使

次子：赵师瀹，武翼大夫

三子：赵师沦，武翼大夫四子：赵师路，武翼大夫

孙子：赵希懋，曾任永州郡守，《洪武永州府志》卷二载：嘉定间，郡守赵善谧徙而下之，创讲堂于左，上为御书阁。郡守王佐请于朝，乞监书藏之，几千篇卷。讲堂前列四斋，别立一斋于东，以待宗子。由讲堂而入，其中曰“环绿”。稍西而上，桂阴森密，曰“万桂亭”。循亭之西南隅，辟地为射圃，郡守赵希懋复增广之，教授皮龙荣增刊文籍置于阁。