1895年7月（光绪二十一年闰五月），署两江总督张之洞针对清军颓败之势，提出在南洋精练一支新军的设想，并开始在江苏现有各营中挑选精壮，以洋将统带操练，进行编练试点。12月，张之洞呈递江南新军编练计划及编制规划，并冠以自强军之名。1896年1月，清政府批准张之洞所奏，自强军在江宁（今南京）正式建立。自强军规定，所募兵员必须是距江宁不太远的“土著乡民”，年龄16～20岁，“用西医验其身躯，壮健并无隐疾，目光及远者”；年籍身家易于清查，并有族邻乡绅作保。为确保部队的稳定性，凡被录用者，必须声明情愿效力10年，只准开革，不准辞退。全军分为步兵、骑兵、炮兵和工程兵，各以营哨为基本建制单位。步兵每营250人，分为5哨；骑兵每营180骑，分为3哨；炮兵每营200人，分为4哨；工程营100人。名为完全参照德国陆军编制，实则步兵一营仅相当于德军的一连。按编练计划，全军先设步队8营、马队2营、炮队2营、工程队1营，共13营2860人。统带以洋将充任，所辖各营哨主官亦由洋将担任；另设副营官副哨官，由清朝武职人员及武备学堂学生担任。洋将掌“带兵操练之权”，华将掌“约束惩责之权”。官兵薪饷从优。1896年2月，张之洞回任湖广总督，自强军交刘坤一接办。因刘坤一并无发展新军的意愿，遂遭冷遇。先由江宁迁移吴淞，后又迁至江阴；下辖马队2营被合为1营，取消了工程队的建制，全军仅2588人；兵丁的薪饷也略予降低。另外，刘坤一还设立“总理自强军营务处”以督率全军，改变了洋将悉掌自强军督率大权的局面。1898年4月，洋将合同期满回国，署江南提督李占椿接统。1901年7月，前往山东，归袁世凯节制。不久，与武卫右军合并改编为北洋第6镇，纳入北洋军序列。自强军在江南颇有影响。浙江、四川等省新军编练多借鉴于自强军，有不少自强军官佐被调往南方一些省份教练新军。