苏定方是冀州武邑人。隋朝末年，天下大乱，烽烟四起，苏定方的父亲苏邕为保护乡里，也拉起一支千余人的队伍，负责讨伐当地的起义军。苏定方虽然才十几岁，但他骁悍多力，胆气绝伦，跟随父亲作战，每次都冲锋在前。

苏邕死后，苏定方接管了这支军队。他先后率军击败位于郡南的起义军，亲手斩杀了义军首领张金称，之后又在郡南击溃杨公卿的起义军，追奔二十余里，杀获甚众，从此各路起义军都不敢进犯苏定方所在的州郡。