嘉靖四年（1525）正月，王阳明的妻子诸氏去世。王阳明的学生钱德洪在《阳明年谱》中记载：“嘉靖四年正月，夫人诸氏卒；四月，附葬于徐山。”学生门人黄绾也在《阳明行状》中写道：“配诸氏，参议养和公讳某女，不育。”

 

王阳明和妻子诸氏结婚后一直没有子嗣，在他四十四岁的时候，便把堂弟王守信八岁的儿子过继到自己名下，取名为正宪。虽不是亲生，但是王阳明对这个养子一直都很好，即便是戎马倥偬，常年在外之际，也常常拜托自己的学生教导正宪。

 

妻子诸氏死后，王阳明继娶张氏。嘉靖五年（1526）十二月十二日，也就是王阳明五十五岁时，张氏为其生下了一个儿子。晚年得子的王阳明非常欢喜，为儿子取名为正聪，希望他能够聪明睿智。王家算得上是名门望族，晚年得子这样的大喜之事，当然得到当地很多人各种形式的祝贺。王府上下也是一片喜庆，欢腾。

 

不只是王阳明喜出望外，他的弟子们也都个个高兴不已。由于王阳明同原配诸氏常年不育，便落得一些闲言碎语，说王阳明不是真正的男子。晚年得子，便洗刷了多年来在此问题上的攻击。

 

正聪此时出生对王阳明来说是非常重要的。因为儿子出生后的第二年王阳明便赴命出征广西，并死在了回家的途中。不过，有人欢喜也会有人愁。之前备受宠爱的正宪在弟弟正聪出生后感觉到了失落，他的亲生父母也为此起了担忧。王阳明一去世，家中就为有关财产和官袭的问题起了争执。

 

王阳明生前对于家中的这种矛盾早有所知，所以临死前十分担忧张氏和正聪孤儿寡母难以立足，于是委托自己的学生为其家产进行分家，并且照看儿子正聪，为此他的学生们还专门成立了一个机构来处理这些问题。王阳明尸骨未寒，家中事务还未处理好，朝中对王阳明的诬陷之风又起，朝廷下旨禁止传播心学，并称此为伪学，停止其爵位的世袭和抚恤等。一时间，四方的挑衅四起，王阳明的学生只好把他的两个儿子带出家乡。正聪被送到了南京投靠黄绾，后来黄绾还将自己的女儿许配给他。在去南京的路上，竟然还有一群恶少跟随他们。据钱德洪《阳明年谱》记载：“其家乡恶少遂相煽，欲以鱼肉其子弟。胤子正亿方四龄，与继子正宪离仳窜逐，荡析厥居”。后来为了同当朝的宰相避讳名称上的冲突，黄绾将正聪改名为正忆。至此，王阳明的遗孤算是真正有了着落，安了身。

 

关于王阳明的家产问题他的学生在很多地方都对此有记载。到了隆庆年间，王阳明的学说得以平反，大放异彩。关于新建伯这个伯爵爷称谓的争夺，最后以正忆袭得新建伯爵位终止。