15岁到[[冯玉祥]]部警卫团当兵。因拳脚熟练，深得冯玉祥赏识，步步提升，至少校团副。后因冯被蒋排济，解甲归田。
[[File:山东抗日游击队第三支队1.jpg|缩略图|左|潘建军：1938年2月，潘建军带领部队参加了抗日队伍，被编入[[山东人民救国军]]第五军第一支队第二十九中队，任中队长，后任[[八路军]]山东抗日游击队第三支队特务团副团长、团长，并加入中国共产党。]]
[["九一八"事变]]后，曾赴[[天津]]，投[[吉鸿昌]]，因吉被害，只好再次重返故里。1932年冬，被聘为[[长山县]]民训团教练。一年后回家。