查理的父亲是法兰克王国墨洛温王朝的宫相，即著名的矮子丕平，宫相相当于我国历史上丞相一职。8世纪中叶，矮子丕平得到教皇支持，罢黜了有名无实的国王，建立了加洛林王朝，成为该王朝的第一代君主。

其实从查理往上追溯的话，很多代都是国王。祖父马特尔是法国抵抗阿拉伯入侵的英雄，阻止了法国的阿拉伯化。欧洲的王位传承流行兄弟瓜分地盘，公元768年，丕平驾崩。丕平死后，加洛林王朝由查理和弟弟卡洛曼平分