天念在旧情，赦免了他，但对失踪的玉佛却耿耿于怀。
而根据副统领鱼朝奉的说法，连衡是监守自盗，趁乱窃走玉佛。于是全国都发下海捕文书，捉拿连衡。
但实际情况，却是河内小鬼子趁大火盗走玉佛，一路朝着东方跑去。连衡不及通知同僚，只身追踪而去。
最后连衡在扬州附近追及河内小鬼子，两人斗智斗勇，都奈何不了对方。在争抢中，玉佛被一摔为二，佛头被河内小鬼子夺走，逃回脚盆，佛身却落到了连衡手中。
连衡返回洛阳，惊愕地发现自己竟已成罪人，连同连氏家族也被波及。他手中只有无头玉佛，不敢交还朝廷，又不敢留在身边，只得将其埋在岐山群山之中，在其上面建起一座关帝庙。而他则改姓为许，隐居在岐山附近，默默地守护着。
对于河内小鬼子，许衡一直耿耿于怀，希望有朝一日可以寻回佛头，奉还朝廷，恢复家族名誉。
为此，他拼命钻研金石玉石的鉴别之道，逐渐在当地有了名气，娶妻生子，把根扎在了岐山。
儿子成年之后，许衡把家业与鉴古手艺传承给他，留下一篇遗书给家人，毅然离开岐山。
在遗书里，许衡先是把玉佛的来龙去脉讲了一遍，然后表示自己的时日无多，希望能在临死前去脚盆，毫无顾忌地放手一搏，才算对得起自己当年的誓言。
如果他没有回到中土，说明佛头的任务失败了，那么这个使命，将由许家子孙一代代传下去，直到玉佛身首归为一为止。
后来他化装成僧人，混入鉴真大师的队伍，从此再无任何消息。究竟他是在海难中身亡，还是在日本被杀，就没人知道了。
但许家没有遗忘家族祖先的遗训，将祖先交托的使命一代一代传了下去。许家从没有忘记过这个遗训，一直把佛身保护得很好，再窘迫的时候，也没人会提出卖掉它。
几百年下来，许家的金石鉴定之术已成为权威，更逐渐吸引了一批志同道合者，形成了五脉鉴古的雏形。
而先祖许衡的嘱托，历代许家子孙也未敢遗忘，每一代总有人会前往岐山，守护玉佛身。
直到到了明代万历年间，许家有一名子弟叫许信，参加了大明援朝抗倭战争。许信在前线杀敌之时，无意中发现一个姓木户明雄的倭寇头目，居然想乔装潜入内陆，形迹可疑。
他得到上级首肯后，只身追踪而去。几番交手，许信才知道，木户这个姓，原来就是当年的河内家分支传下来的，他们继承了河内小鬼子的遗志，一直对留在大陆的玉佛身垂涎三尺。最后两人在岐山