扬小军初中的时候就显露了他体育方面的天赋，毕业之后被市体校录取了，系统地学习了散打，后来又进入了市散打队。在散打队时，他喜欢上一个女队员，有一次教练对那个女孩子动手动脚，扬小军气不过，去找教练理论，反被教练揍了一顿，冲动之下，他捅了教练一刀，虽然没有捅死人，却是被散打队开除了，要不是家里忙得快，就可能要坐牢了。
被散打队开除之后，他除了会点拳脚以外，就没有别的特长，就在社会上瞎混，自然少不了打架斗殴什么的，后来就跟了一个在县里混得不错的老大，前几年严打，那老大被抓进去了，他也成了无根的浮萍，跟着二叔扬木华，替他要要赌债什么的。