杭州图书馆里的贾宝玉“活”了！这项技术被央视点赞

宋画《归去来辞书画图》中，诗人陶渊明正在画中“朗读”自己的《归去来兮辞》，眉宇间的表情与动作，和真人一模一样，仿佛从画中又活了过来。

昨天，又是传统中秋佳节，杭州图书馆馆藏文献及古籍里的人物因为“复活”而登上了《新闻联播》。

昨天的杭州图书馆，电子屏上《月夜拨阮图》《韩熙载夜宴图》《卢鸿草堂十志图》《归去来辞书画图》等十多幅宋画的主人公集体开口说话，在画中活灵活现地“朗读”古诗，吸引了很多人的驻足。

杭州图书馆副馆长梁亮说，杭州图书馆里有很多馆藏文献以及古籍，记录着南宋的文化和生活。这次，通过与达摩院合作的方式，将古籍与AI技术相结合，原本固化的古籍插图变成有声有色的动态图片。

比如《归去来兮辞》，是南宋佚名画家描绘了陶渊明解甲归田的豪言壮语。同时，选取了馆藏古籍中的一部分内容，包括像《红楼梦》中的人物画像，让贾宝玉自己来朗读文中赞美的词句，在书中眨眼、开口。

“希望通过新技术，让更多的后代熟知宋代历史文化，让宋韵文化传承下去。”梁亮说。

达摩院AI工程师唐铭谦说，“古籍会说话”这个项目，通过AI技术，将古籍或者插画中的人物能够拥有像真人一样的表情动作和语言。里面涉及了两项 AI技术：人像的动态建模和视频生成技术。“首先需要一张古籍的原图，和朗诵者的一个驱动视频。AI做的事情就是分别提取驱动视频和古籍的原图，并做人像动态建模，然后将两者对齐与合成。”

为了实现这个目的，需要去对插画和驱动视频进行人像的动态建模，提取中间人物和视频中间的关键点序列。利用这些关键点序列去合成新视频，在合成新视频中，既要保存合成视频，又要保持古籍中间的细节纹理。

不过，这并不是一件容易的事。“在这个过程中间，因为古籍本身的清晰度不太够，质量相对来说比较低，所以要同时进行超分辨率重建，使得生成的视频既保留它的韵味，又能够像一个真人一样有他的表情动态和语言，同时又是一个相对高质量的视频效果。”唐铭谦说。

这里面涉及两个难点 ，一是让古籍书画“活”起来需要一段真人朗诵视频，但朗诵者头部运动幅度较大，容易导致生成视频变得模糊；此外，因为古籍书画的清晰度较低，AI算法既要保持原有的古风古韵，也要为图画增加逼真的五官动作、表情。

古籍活起来这个项目，是唐铭谦和其他几个达摩院的工程师利用业余时间做的一个AI公益项目。

梁亮说，为了打造集智慧化文化服务于一体的文化综合体，从去年年中，杭州图书馆与达摩院开始接触联系。“传承历史文化，让更多的历史不再是限于纸上，而是科技化地呈现在市民读者的眼前。这可以增加现在人们不同的阅读方式，适应更多人的阅读习惯。”

达摩院AI算法工程师唐铭谦表示：“通过AI技术让古籍古画‘活’起来，以一种新的方式呈现宝贵的历史资料，这是一次科技和文物领域的碰撞和交流，未来AI在文物保护和典籍传承上将发挥更大的作用。