李宪的父亲李式被使者逮捕时，西兖州的官吏百姓送行到黄河边上。当时李宪刚出生满月，李式大声的向众人喊道：“程婴、公孙杵臼这样的人还有没有！”西兖州从事汲固应声回答说：“今天与古代岂有不同！”汲固于是悄悄回去，不再回头望，直接进入城内，从李式夫人邢氏的房中把李宪抱回家藏了起来。等到逮捕李宪时，正好一个婢女生下男孩，李宪的母亲邢氏便将婢女的儿子抢来冒充李宪交给使者。事情不久就泄露了，汲固就带着李宪逃跑躲藏，遇到赦免才回家。李宪就这样被汲固养育到了十多岁，常常喊汲固夫妇为爹娘。

李宪喜好学习有才具风度，虚岁十二时担任秘书内小，虚岁十七时继承了濮阳侯的爵位，又降为伯爵，出任秘书中散，很为魏孝文帝元宏所赏识，略微升任散骑侍郎，迎接南梁的使者萧琛、范云。李宪以母亲年老请求回乡奉养，于是担任建威将军、赵郡内史。赵脩与李宪是同乡，赵脩回乡安葬父母，刺史太守以下对他畏惧的不敢正立，只有李宪不向赵脩屈服，当时的人推崇李宪。等到魏孝文帝南征的时候，李宪被征召担任大将军长史，很快出任吏部郎中，因为给母亲守丧而离职，又被征召出任太子中庶子，李宪以在守丧期间为由拒绝，后又被征召担任尚书左丞，李宪还是坚决拒绝，之后担任骁骑将军、尚书左丞，没有上任，出任长兼吏部郎中，升任长兼司徒左长史、定州大中正，很快升任河南尹，在尚书上省参与商议新法令。永平三年（510年），李宪外任使持节、都督兖州诸军事、左将军、兖州刺史。永平四年（511年），因事被定罪除去名籍。后来因为依附高肇，为中尉元匡弹劾，灵太后特旨赦免。正光二年（521年）二月，魏孝明帝元诩在国子堂讲习，召李宪参与听讲，又以李宪的儿子李骞为国子生。正光四年（523年），李宪出任光禄大夫，恢复原本的爵位濮阳伯。正光五年（524年），李宪出任持节、安西将军、代理雍州刺史，很快担任七兵尚书，加抚军将军，转任镇东将军。