回籍后开端住在义安城内，厥后感觉还是不能阔别都会的繁嚣，为躲避权臣的妒忌、谗陷，干脆搬家到更僻远的崐山清虚洞（今海兴省至灵县）居住，今后闭门谢客，把时候和精力都用于研讨《六经》、《百子史氏》、《国朝故典法规》当中，真是日夜讲究忘寝废食。在这些远寓宦海的光阴里，他还学射学算学、天文律历、山川地志、兵法战阵，下至兵家小技都一一浏览，为了更好的学习这些东西，他在三十六七岁时曾向一名云南的老猎人学习枪法。在文艺方面也有很多专家学者闻风前来与听他共同研讨学问，互通有无，一时学艺大进。
坐在他右手边上的是个年约四旬的中年文士，但边幅却显得其貌不扬，但或许是长年朗读诗书的原因，浑身高低披发着一股书卷之气，手中捏着一把纸扇，悄悄扭捏，倒也有一副风轻云淡的文雅，左边的两人与这两人一比，面庞就差了一个层次，其貌不扬不说，其穿戴打扮也显得寒酸了几分，几次不是墨客，而是阿谁府上的小厮，仆人普通，但让人奇特的是，两人坐在左边的上首位，不但如此，看两人神态不卑不亢，并不因为本身浑身的寒酸，而比旁人低了几分，除此以外，还几个年青的墨客，在各自低头说着甚么，只是声音轻缓而有节拍，明显是惊扰了旁人普通。
那人目光扫了一眼世人，也不等世人大号召，便独自走向了上首的位置，一屁股落了座，生态不客气之极，奇特的是在坐的一干世人，倒也没有出言呵叱，相反世人纷繁透暴露一副该当如此的神情。