1956年9月1日铁道兵第一军正式组建，解放军铁道兵从此有了军的建制。当年11月23日，铁道兵第二军开始组建。在筹建过程中，1957年4月6日，国防部又发布命令撤销了铁道兵第二军的番号。为此，铁道兵第二军停止组建。1959年初，国家开始缩减基本建设规模，许多铁路建设工程缩减规模，有的停建。所以第二军没有再组建。
