王阳明与道士告别后，心情豁然开朗，不再有其他的念头，于是继续前往龙场。当时的贵州，在明朝十三个布政司中是设置最晚的，由于地理位置偏僻，交通不便，开发也是较晚的。因此，从中原通往贵州的通道也非常不便，人们主要通过两种路径到达贵州：一种是经关中、秦岭到达汉中，从汉中经由巴蜀，到达贵州，另外一种是从湖南出发，经过湘江到达广西，再从广西经过云南，到达贵州。不管哪种路径，路途都是极其遥远的，因此，在当时的人们看来，贵州是山高路远、偏僻落后之地。

 

王阳明这次要去的龙场，更是偏远，坐落在今贵州省贵阳市修文县，距离贵阳还有大概八十里的路程。王阳明来到这里后，心里仿佛一下子跌入了冰窖，与自己之前的生活相比，可谓天上地下。

 

龙场的四周都是高山叠嶂，树木茂盛，几乎看不到人烟。山高路远，险象环生，如果没有当地人带路，十有八九是要迷路的。而且，这里茂密的丛林中毒蛇、猛兽经常出没，人经常会受到侵袭。

 

王阳明到达这里后，所见到的人极其有限，天天在眼前出现的也就是自己带来的几个神情呆板的仆人。主仆几人只能偶尔碰到逃避官府抓捕的逃犯路过此地，因为和当地人还存在语言上的障碍，所以王阳明很难与他们沟通，更不要说达到心领神会的意境了。

 

这使王阳明感到了一种从未有过的孤独和寂寞，他也不知道这样的日子要过多久才能结束。

 

龙场驿是在明太祖洪武年间设立的，当时这里的一位女首领奢香夫人为当地的稳定做出了很大的贡献，她的故事几乎家喻户晓。

 

但是，王阳明来到这里的时候，龙场驿已经名存实亡，完全没有了以前的热闹。这里的驿站已经是房倒屋塌，驿卒也已经走得差不多了，只剩下病残人员。王阳明被贬到这里，也根本没有官舍。

 

不过王阳明倒是很快地转变了想法，鼓励仆人们自力更生，利用周围的树木自己建屋舍。

 

房屋虽然非常简陋，但是王阳明是个天性乐观之人，感觉十分愉悦。房子建好后，也就有了固定的居所，原本很难见到他人的地方，竟然经常会有当地的少数民族居民前来造访。王阳明和他们虽然言语不通，但是从表情、手势上来看，对方都是友善的。时间长了，人们相互之间的距离也就拉近了很多，这大大消解了王阳明的孤苦寂寞之感。

 

王阳明被贬到此，基本上脱离了以往政务繁忙的生活，每天都极为清闲。他是个生性好动之人，自然不可能呆坐在家中。

 

于是，他就带着仆人四处游走，翻山越岭，常常会有新的发现，让他颇有心旷神怡之感。一日，他带着仆人四处游逛之时，竟然发现一处石洞，和老家余姚的石洞如出一辙。这个意外发现，使他感到非常兴奋，他当即就冒出了搬到这里居住的念头。于是，他带着三个仆人回到住处，稍作收拾，就开始了石洞的居住生活。

 

这里的生活使他有了别样的感觉。经过几个月的相处，仆人们和王阳明之间培养出了患难与共的感情，因此，相互之间已经没有了主仆之间的尊卑之别。一次，高兴之余，大家就让王阳明为石洞取个别致的名字，王阳明随即就提出了“阳明小洞天”，此名一出，就受到了仆人的赞誉！