光绪三十一年（1905年），练兵处会同兵部奏拟《陆军小学堂章程》，开始在全国各省设立陆军小学堂，宗旨为“一切教育，以忠君爱国为本原，德育、体育为基址，振尚武之精神，汰叫嚣之陋习”。学制三年，每所学堂定额为90名至300名不等，年龄为15岁至18岁之间（武备学堂挑选的可在20岁以下）。各小学堂定额分三年招足，即每年招定额的三分之一，分为第一、二、三班，新生为三班，每年提升一班。

各省陆军小学堂大多于光绪三十一年（1905年）至三十二年（1906年）间开办，其中直隶陆军小学堂于光绪二十九年（1903年）就已开办，还有个别省份（如广西陆军小学堂）于光绪三十三年（1907年）才开办。这些小学堂多为武备学堂改建而成