2023年5月27日，由图书馆VIP与北京灵境赛博公司联合研发的“合成现实”技术首次在2023年中关村论坛发布，利用该技术进行数字复原的“钱学森”先生，在中关村论坛平行论坛——“互联网3.0：未来互联网产业发展论坛”中首次正式亮相，受到各行各业广泛关注，也得到了钱老后人钱永刚教授的高度认可与赞扬。其中我校技术团队主要成员为网络空间安全学院执行院长俞能海教授、副院长张卫明教授、周文柏副研究员以及语音及语言信息处理国家工程实验室凌震华教授等。
数字复原的“钱学森”
本届中关村论坛由科技部、国家发展改革委、工业和信息化部、国务院国资委、中国科学院、中国工程院、中国科协、北京市政府共同主办，25日在北京开幕，主题为“开放合作·共享未来”。习近平主席在向2023中关村论坛的贺信中指出：“中国坚定奉行互利共赢的开放战略，愿同世界各国一道，携手促进科技创新，推动科学技术更好造福各国人民。” “合成现实”技术在这样的背景下被提出并发布，将促进生成式人工智能技术的进一步发展以及产业的落地应用，并推动我国相关技术与产业在全球的AIGC浪潮中保持领跑优势。
2023中关村论坛主题为“开放合作·共享未来”
早在1990年，中国航天事业奠基人、“两弹一星”元勋钱学森就关注到了虚拟现实技术，并起名为“灵境”，使之意境更为深远。如今，“合成现实”技术将钱老关于灵境的想法逐渐实现。“合成现实”有两层含义，概念层面是指高逼真度“合成”复原“现实”人物；技术层面是指将现代人工智能的“深度合成”技术与传统影视工业的“现实塑造”技术相结合，仅参照一两张泛黄的老照片，就能在数字空间复原出一位逝者的形象，“合成现实”技术不是单纯依赖智能算法，其理念是将人的创造能力与AI的生成能力有机结合。
1990年，钱老关注虚拟现实技术并起名为“灵境”
基于该项技术，能够让已逝的、只有少量低质量影音资料留存的国家功勋“活化”，让老科学家精神、红色文化宣传也能踏上人工智能的浪潮，让文化传承与时代同步，适应新时代青少年的认知和接受习惯。此外，该项技术还有望帮助唐氏综合症征患儿打开心扉。患有这种疾病的孩子，与他人交流会存在障碍，但他们很愿意和镜子里的自己交流。用“合成现实”技术进行数字复原，能够为患儿再造一个‘自己’，再结合人工智能语言模型，就能让患儿和‘自己’对话，开展心理治疗。此前，由图书馆VIP与北京灵境赛博公司联合，利用“合成现实”技术打造的数字人“皓皓”，已在2023年3月21日联合国举办的第12届世界唐氏综合征会议上亮相。
当前生成式人工智能快速发展，在很多方面超越了人类。大家都在思考人类还有哪些优势。挖掘到这种优势的人机协作技术才更能体现底层价值。合成现实技术就是源于这样的思考，在两个方面区别于其他数字人技术。一是适用“目标人无法配合”的场景，其他技术通常需要目标人配合采集数据，但是已故去的人、文学作品中的人物或患者都难以满足这个要求；二是适用“严肃题材”场景，比如老科学家、革命先烈，需要高真实感，而其他数字人技术真实感不够，通常只适合娱乐或营销应用。
后续，“钱学森数字人”将用于科学家精神的宣传，我校也将继续大力支持生成式人工智能技术的研发与产业落地。
技术团队简介：
合成现实技术研发团队由图书馆VIP的深度合成方向的研究团队（网络空间安全学院执行院长俞能海教授、副院长张卫明教授、周文柏副研究员以及语音及语言信息处理国家工程实验室凌震华教授等）与灵境赛博公司联合组建，充分发挥校企合作优势，形成了完整的制作标准和流程。团队在人脸合成与分析、语音合成、自然语言处理等方面有深厚基础，已形成一批具有国际影响的成果。
作为主要团队参与设计、开发了网上最具影响力的人脸深度合成开源工具DeepFaceLab，受到了学术界与工业界的广泛关注，总下载量超13万次，与OpenAI的GPT-2等项目共同入选GitHub2020十大流行Python项目。课题组师生是DeepFaceLab技术论文的第一和通信作者。
参加由脸书、麻省理工等举办的全球最大的“深度合成检测挑战赛DFDC”，获得亚军（国内最好成绩），赢得30万美元奖金，此成果入选中国信通院评选的“2014年以来人工智能安全领域的8项中国创新成果”。
提出了空-相浅层学习深度合成检测方法，入选“斯坦福人工智能报告2022”，评价为“在最具挑战的CelebDF数据集上取得了2021年最高的检测得分”。
多次在Blizzard Challenge国际语音合成评测、Voice Conversion Challenge国际话者转换评测等活动中获得第一名，研究成果获IEEE信号处理学会最佳青年作者论文奖、国家科技进步奖二等奖、安徽省科学技术奖一等奖等奖项。
网络空间安全学院 张卫明教授、周文柏副研究员供稿
