《诗·大雅·常武》：“王（周宣王）谓尹氏（太史），命程伯休父：左右陈行，戒我师旅，率彼准浦，省此徐士。”毛传：“程伯休父始命为大司马”，诸侯国与卿大夫也都设有“三有司”。

春秋时诸侯多设置，宋有大司马、少司马。楚有大司马、左右司马，其职位仅次于令尹，是指挥作战的（《左传》襄公三年，楚司马公子何忌侵陈）。郑国在执政之下也有司马、司徒、司空。卿大夫亦有司马或马正，为武职。各诸侯政府中的司马地位比幕府和三军中的司马权力大，比如晋国的司马还负责诸侯对晋国的赋税，“晋司马又掌诸侯之赋。（《左传》襄公四年注）”战国时魏、燕有司马、楚有左右司马。战国时为掌管军政、军赋的副官，如《鸿门宴》：“沛公左司马曹无伤言之。”隋唐时是州郡太守(刺史)的属官，如《琵琶行》：“元和十年，予左迁九江郡司马。”白居易当时被贬至九江，位在州郡别驾、长史之下。