卫夫人善书，曾是“书圣”王羲之的启蒙之师，故而著名。最早记载卫夫人的文篇是南朝羊欣《能书人名》：“晋中书郎李充母卫夫人，善锺法，王逸少之师。”
李充字弘度，江夏（今属湖北）人。《晋书·李充传》记载：“父矩，江州刺史。充少孤，及父墓中柏树尝为盗贼所斫，充手刃之，由是知名。善楷书，妙参锺（繇）、索（靖），世咸重之。”他早年“因家贫，苦求外出”，“除剡县令”，任上“遭母忧”，在剡县守丧，“服阕，为大著作郎”。唐朝李善、李邕父子就是江夏李氏后裔。
唐朝张怀瓘《书断》说：“卫夫人名铄，字茂猗，廷尉（卫）展之女弟，（卫）恒之从女，汝阴太守李矩之妻也。”这段話，有两误：
其一，《晋书·卫瓘传附卫展》说：“（卫）恒族弟展字道舒，历尚书郎、南阳太守。永嘉中，为江州刺史，累迁晋王大理”，“中兴建，为廷尉”。既然卫展乃卫恒族弟，卫展“女弟”的卫夫人则与卫恒同辈，说卫夫人为卫恒“从女”则误。
其二，李充是江夏人，卫夫人当是江州刺史江夏李矩之妻，张怀瓘指卫夫人为北方流民帅“汝阴太守李矩之妻”则误。这位“平阳人”的李矩，《晋书》卷六十三有传，一直征战北方，未有江州之任。
