1911年10月10日，辛亥革命爆发后，清朝为了镇压革命，起用袁世凯为内阁总理大臣。袁世凯把张怀芝看做亲信，一上台，就先后任命张怀芝为安徽巡抚、甘肃提督、直隶和山西防务大臣、天津和保定镇守使等。袁世凯称帝后，先后封其为一等男爵、太武将军。任职期间，曾与其弟张怀斌多次“围剿”革命军，但都屡屡败北。

1916年，黎元洪就任大总统后，命张怀芝任山东督军兼省长，并封为济武将军，授勋三等爵，7月6日改称山东督军，10月7日兼任山东省长。在此期间，他用强硬手段镇压了山东讨伐袁世凯的军队，并将这支队伍改编成两个旅，以尹锡武、薄子明分别任旅长。为了筹备镇压农民军的军费，他两次向中日实业公司借款共500万日元，以本省各项税收为担保，从而大大加重了山东人民的负担。

1917年5月，张怀芝宣布山东脱离中央，反对黎元洪；7月通电反对张勋拥清朝皇帝溥仪复辟。袁世凯死后，张怀芝依附以段祺瑞为首的皖系，对外亲日，对内积极推行武力统一政策。1917年7月24日，日本在山东设立民政署，山东各界代表在教育厅召开会议，共商办法，决定第二天召开公民大会表示抗议。张怀芝得到消息后，竞派大批军警封闭会所。他的媚日行为，被山东各界代表斥之为“地方官助纣为虐”。

1917年12月，在段祺瑞的操纵下，张怀芝、倪嗣冲等带头推曹锟出面，在天津召开各省督军代表会议，讨论对南方护法军政府及独立各省用兵问题，决定兵分两路进攻湖南，张怀芝任第二路军总司令。12月6日，张怀芝、曹锟等10人，联名电请北京政府发布讨伐令。

1918年2月，北京政府任命张怀芝为湘赣陆军检阅使。4月，张怀芝着令山东暂编第一师施从滨部沿津浦路南下，会合从倪嗣冲部抽调的安武军，经江西萍乡，向湖南醴陵进攻。张怀芝的军队初战夺取了醴陵、攸县，接着遭到了湘军刘建藩部的顽强抵抗，部队大败，张怀芝仓皇逃到汉口。

第二路军的惨败，使北京政府派来督战的执法处长殷洪寿十分震怒，想将张怀芝逮捕正法。张怀芝见势不妙，借口“旧病复发，鲁匪告警”。于是借机逃回济南。对湘战争失败后，张怀芝再三要求辞职。

段祺瑞拟实行新的作战计划，决定在湖南取守势，在广东发动攻势。张怀芝恐在山东站不住脚，想借第二次南征取得一块安身之地。1918年6月20日，他接任援粤军总司令职务，再次率部南下与国民革命军作战，援救被困在广东的振武上将龙济光，并提请以直系将领吴佩孚为他的副司令。7月1日，张怀芝到汉口成立援粤军总司令部。但是吴佩孚拒绝任职，所部反而暗中与国民革命军议和停战。张怀芝所指挥的军队，只有一些在上次战争留下的残部，因而第二次南征又遭到失败。

张怀芝在战败后前往北京，应邀参加了由大总统徐世昌召集的北洋军阀将领会议，解决南北议和、裁军、军民分治等问题。陆军第五师师长张树元，趁张怀芝在北京开会之机，策动山东各团体向北京政府控告张怀芝。张怀芝也感到继续督鲁对自己不利，于是要求调任陆军总长。北京政府已经任命靳云鹏为陆军总长，于是1919年6月任命张怀芝为参谋总长。1923年10月，张怀芝授封丰威将军。

1924年秋第二次直奉战争中，张怀芝站在直系方面，任北京政府参谋总长兼前敌总执法总监。直系失败后，他不再任职。官场的黑暗，军阀的角逐，使张怀芝感到宦海沉浮，吉凶莫测。从此，他不愿再蝇争于军阀的倾轧中，遂去职隐居济南。

张怀芝发迹后，对于免去他学费的杨克典老师，曾接到济南奉养。张怀芝在职时，他认识到学习文化的重要性，对家乡的文化教育很关心。1920年，他捐资重修了皋上静觉寺，从天津运来金身泥雕塑像。为了使老家的穷孩子能上学，他在家乡皋上村兴办了独资私立完小，4栋28间房，定名为“张氏小学”，招收附近穷人家的孩子免费入学，还置有学田若干。1937年七七事变后，小学也没有停课。新中国成立后，这个学校多年来一直为完小，后来还办过联中，为国家培养了不少人才。

张怀芝贪弊，有钱则修建豪宅，在东阿县城西城南门里大街路东建有一处，人们称之为“张公馆”。张公馆原是河防营营长徐某建筑的园林式住宅，名为“柯园”，取东阿古代为柯邑之意。徐为了巴结督军，廉价卖给了张怀芝，张怀芝遂将其作为他在家乡的宅第，但鲜有居住。后被侵华日军烧毁。

张怀芝在济南市兴源里、新市场（普利门外路南）置有房产，设有收租处。他在汶上县还购买了40顷田产，派人管理。他建设最出名的是济南的万竹园。

万竹园坐落在趵突泉西邻，此园面积约40亩，创建于元代。园内筑有胜概楼，赵孟頫曾有诗记载其壮观。明朝大学士殷士儋曾在此居住，改名为“通乐园”。清代诗人王苹也曾在此居住，并建有“二十四草堂”，时称“南园”。

张怀芝督鲁期间，袁世凯授意山东官绅为他建生祠，张怀芝受命，便于1904年先以自愿给袁世凯修建生祠名义，联络地方士绅共同合作。按照惯例，名人祠堂多建设在风景区，于是张怀芝先在大明湖畔选址，选了几处，总不满意，最后选在了趵突泉西、剪子巷南端以西种植蔬菜的园子，占地约40亩。这个地方正是原来古万竹园的旧址，地上的建筑早已荡然无存。

1905年，张怀芝调离山东，改任天津镇总兵兼第四镇统制。建生祠之事暂时搁浅。1911年，袁世凯被起用为总理大臣，张怀芝感到老上司嘱托的事还没有办，于是辞职回济南，开始筹备动工。1916年5月，张怀芝被任命为山东督军，后又兼任省长，于是开始在这块土地上大兴土木。但袁世凯却于6月6日病死，于是张怀芝便把修建袁世凯生祠的动议变成了修建自己的私人宅第。

他先后修了13号、14号两个院落。13号庭院的建筑分为住宅和花园两部分，而住宅部分又可分为东宅和西宅两部分，东宅是传统的民宅建筑式样，西宅是宴请宾客的场所，西宅之西邻是花园。万竹园张氏私宅建筑，都是采用正规式布局，中轴对称，布局严谨。

万竹园张氏私宅是一座具有北方民居特色的独具一格的传统庭院，它充分利用泉源丰富的特点，在北方典型住宅四合院的基础上，继承我国造园艺术的传统，并结合江南的造园技巧，把全园分为若干景区，每个景区都具有不同的主题和特色。在空间构图上，突出对比效果，组合成为有大有小、有开有合、有高有低、有明有暗的丰富多彩的空间图像。图景之间互相穿插、渗透，增加了风景的层次。对水的运用更是灵活多变，使三泉巧妙地嵌在建筑群之中，将房屋、花木、泉水融为一体，使院院相通，渠渠相连，从而使万竹园成为既有居住性能又有艺术魅力的综合性建筑，达到了身居闹市仍可得到山林之乐的目的。

万竹园一直到1927年才建成竣工，前后十年，凝结了济南人民的智慧和聪明才智，但更凝结了济南人民的血汗，在张怀芝统治山东省的两年里，政治腐败，人民陷于水深火热之中。时《民国日报》评论“鲁省黑暗较袁皇帝时更深百倍”。

1934年10月10日，张怀芝病逝于天津，终年72岁。

他在弥留之际，对亲属说：“我一武夫，能老死病榻，寿终正寝，是不容易的。”

1934年11月21日，归葬东阿皋上村张氏坟茔。