谢灵运妻子琅琊王氏，讳王慧茂，东晋王珣的女儿。具体何时娶妻不知道。不过按照古人结婚的年纪来推算，差不多在400年~405年，就是谢灵运15到20岁之间结的婚吧。谢灵运儿子谢凤，孙子谢超宗。

谢灵运的祖父谢玄，东晋名将，豫州刺史谢奕之子、太傅谢安的侄子。谢玄有经国才略，善于治军。前秦苻坚势力强盛之际，多次侵扰东晋边境，朝廷下令征召能够抵御外患的良将，谢安任人不避亲，推荐了谢玄