当时在洛阳，还活跃着一位日本遣唐使，叫河内坂良那。他是在总章二年跟随第六批遣唐使来到大唐的，还是正使河内鲸的侄子。河内坂良那是一个狂热的大唐文化爱好者，对一切事物都非常痴迷。结果等到河内鲸回国之时，河内坂良那没有一同返回，而是留在了洛阳。到明堂落成之时，这位日本人已经在大唐生活了十九年。

明堂落成之后，对洛阳官员开放数日。河内坂良那凭着自己遣唐使的关系，也跑去参观。当他看到那尊玉佛时，立刻深深地爱上了它，不可自拔。他试图近前去摸那玉佛的脸，正巧那日连衡当值，见这人行为不轨，拔刀差点将其砍杀。

河内坂良那离开以后，得了深深的相思症，一心希望能够再次一睹玉佛风姿。可惜明堂平时很少对外开放，何况还有佛军护卫，基本不可能接近。河内坂良那一睹玉佛的心愿，却始终没能实现。

八年之后，正是武周证圣元年。河内坂良那对玉佛的仰慕非但没有减退，反而与日俱增，已经到了茶饭不思夜不成寐的地步。他整个人已经近乎疯狂，居然浮现出一个极其荒谬的想法：把玉佛据为己有。为此，他设法与武则天的男宠薛怀义搭上了关系。

当时武则天已经有了新宠沈南璆，薛怀义唯恐地位不保，正冥思苦想如何讨好女皇。河内坂良那献上两计，一计是将佛像埋在地下，用铁链慢慢牵引上浮，制造祥瑞之象还有一计是用百牛之血，绘出两百尺之高的浮屠。薛怀义闻之大喜，依言而行，不料武则天反应冷淡，让他大失所望。

薛怀义心中郁闷，河内坂良那借这个机会，将其灌醉，然后一把火将明堂点起了大火。这一场火势极大，史书记载“火照城中如昼，比明皆尽，暴风裂血像为数百段”。到了次日清晨大火熄灭，明堂与天堂均被烧成了白地，夹纻弥勒大佛像被烧成了灰烬，玉佛却不知所踪，佛军统领连衡也消失了。

薛怀义酒醒以后，以为这场大火是自己引起的，自缚请罪。武则天念在旧情，赦免了他，但对失踪的玉佛却耿耿于怀。根据副统领鱼朝奉的说法，连衡是监守自盗，趁乱窃走玉佛。于是全国都发下海捕文书，捉拿连衡。

而实际情况，却是河内坂良那趁大火盗走玉佛，一路朝着东方跑去。连衡不及通知同僚，只身追踪而去。最后连衡在扬州附近追及河内坂良那，两人斗智斗勇，都奈何不了对方。在争抢中，玉佛被一摔为二，佛头被河内坂良那夺走，返回日本，佛身却落到了连衡手中。

连衡返回洛阳，惊愕地发现自己竟已成罪人，连同连氏家族也被波及。他手中只有无头玉佛，不敢交还朝廷，又不敢留在身边，只得将其埋在岐山群山之中，在其上面建起一座关帝庙，以纪念佛军守护。而他则改姓为许，隐居在岐山附近，默默地守护着。

对于河内坂良那，许衡一直耿耿于怀，希望有朝一日可以寻回佛头，奉还朝廷，恢复家族名誉。为此，他拼命钻研金石玉石的鉴别之道，逐渐在当地有了名气，娶妻生子，把根扎在了岐山。儿子成年之后，许衡把家业与鉴古手艺传承给他，留下一篇自叙给家人，毅然离开岐山。

在自叙里，许衡先是把玉佛的来龙去脉讲了一遍，然后表示自己的时日无多，希望能在临死前去日本，毫无顾忌地放手一搏，才算对得起自己当年的誓言。许衡还表示，如果他没有回到中土，说明佛头的任务失败了，那么这个使命，将由许家子孙一代代传下去，直到玉佛身首归为一为止。

据说后来他化装成僧人，混入鉴真大师的队伍，从此再无任何消息。究竟他是在海难中身亡，还是在日本被杀，就没人知道了。

但许家没有遗忘家族祖先的遗训，将祖先交托的使命一代一代传了下去。笔记里列了一个很详细的家谱清单，上面的记录显示，许家从没有忘记过这个遗训，一直把佛身保护得很好，再窘迫的时候，也没人会提出卖掉它。

几百年下来，许家的金石鉴定之术已成为权威，更逐渐吸引了一批志同道合者，形成了五脉鉴古的雏形。而先祖许衡的嘱托，历代许家子孙也未敢遗忘，每一代总有人会前往岐山，守护玉佛身。笔记关于这一部分的记录，零散而琐碎，都是在记叙哪一代什么人做的关于玉佛的什么事。