1912年，蒙古王公勾结日人，策动"满蒙独立"，吴俊升率部给其以沉重打击。1921年任黑龙江省督军兼省长。1924年，第二次直奉战争，吴俊升任第5军军长。1925年郭松龄反奉，吴俊升任讨逆军总司令，兼左路军团司令，击败郭松龄部队。1928年北伐战争张作霖失败后，决定息争罢战，退兵关外，吴俊升前往山海关迎张作霖返奉，于当年6月4日，在沈阳皇姑屯与张作霖同时被日本人炸死，卒年65岁。