张荐少年时就精通历史典籍，颜真卿一见，大加叹赏。天宝年间，浙西观察使李涵上表推荐张荐的才能可以充任史官，于是皇帝下诏授予太子左司御率府兵曹参军。张荐到了朝廷，因为母亲年老生病，最终没有接受任命。等到他为母亲服完丧后，礼部侍郎于邵举出之前的奏表给朝廷，征召张荐充任史馆修撰，兼阳翟尉。朱泚作乱时，张荐改名换姓，在城里躲藏起来，并借此写下了《史遁先生传》。唐德宗回宫，提拔张荐任左拾遗。贞元元年冬，唐德宗亲自前去行郊礼。当时刚刚平定叛乱，旧有的文簿典章很多都散失了，礼经所著之文也都错乱不堪，于是任命张荐为太常博士，参与确定礼仪。贞元四年，回纥与唐朝和亲，朝廷任命检校右仆射、刑部尚书关播为大使送咸安公主进入回纥，而任命张荐为判官，转任殿中侍御史。等到出使完毕归朝，转任工部员外郎，改任户部本司郎中。贞元十一年，被任命为谏议大夫，并仍旧充任史馆修撰。