15岁到[[冯玉祥]]部警卫团当兵。因拳脚熟练,深得冯玉祥赏识,步步提升,至少校团副。后因冯被蒋排济,解甲归田。
[[File:山东抗日游击队第三支队1.jpg|缩略图|左|潘建军:1938年2月,潘建军带领部队参加了抗日队伍,被编入[[山东人民救国军]]第五军第一支队第二十九中队,任中队长,后任[[八路军]]山东抗日游击队第三支队特务团副团长、团长,并加入中国共产党。]]
[["九一八"事变]]后,曾赴[[天津]],投[[吉鸿昌]],因吉被害,只好再次重返故里。1932年冬,被聘为[[长山县]]民训团教练。一年后回家。