2024年广东省科学技术奖《多模态知识图谱智能构建及规模化应用》
主要完成人:雷凯、吴贤、王健宗、何晟、沈颖、张子恒、宁义双、王建明、魏炜、杜楠
获奖成果:多模态知识图谱智能构建及规模化应用
申报团队:北京大学深圳研究生院、腾讯科技(深圳)有限责任公司、平安科技有限责任公司、金蝶软件(国际)有限责任公司、腾讯云(北京)有限责任公司
获奖等级:科技进步奖二等奖
https://mp.weixin.qq.com/s/ZWNl5ReoxJegolW8EbQ2mg
成果简介:项目团队充分联合平安科技(深圳)有限公司等大企业,依托其在医疗、数字金融和中小企业数字化领域的数据、业务资源优势,聚焦医疗健康、数字金融和中小企业供应链管理领域,构建了多模态知识图谱技术体系并实现规模化应用推广。尤其与汇丰商学院魏炜教授开展文理合作,创建了基于知识图谱的商学院案例快速构建方法,获得了北京大学“教材建设”和“数字化教材建设”立项。先后荣获深圳市科技进步奖一等奖,2023年乌镇世界互联网大会“世界互联网领先科技成果”奖、6项数据处理国际竞赛冠军等。牵头承担了“医疗影像国家新一代人工智能开放创新平台”等项目10余项,累计获授权发明专利54件,在国内外期刊发表论文 38篇,登记软件著作权8项。项目主要技术创新如图。
知识图谱是国家确立的新一代人工智能(AI)关键共性 技术之一,它能将多源多种类数据转化为结构化知识组织 形式,本质上是一种揭示实体之间关系的语义网络。项目团 队聚焦多模态知识图谱复杂语义智能构建、精准图谱智能分 析及问题应用、基于多方联邦数据要素协同计算构建大规 模产业应用,形成了自主创新的精准智能化数据挖掘关键 技术突破。在服务国家需求层面,项目在疫情防控、降本增 效、构建分级精准辅助诊疗体系、预防商业金融风险、赋能 中小企业数字化转型升级、构建基础技术平台以促进数据 要素有效流通等方面取得了显著的社会和经济效益。
本项目的开展,得益于北京大学张锦常务副校长所倡 导的AI引领、创新融合学科发展规划。北京大学深圳研究 生院坚持特色办学,重点发展交叉应用学科,通过产学研 结合,培养复合应用型人才。项目累计服务了314个项目,覆 盖了国内20多个行业。累计落地典型应用超过 200家企业, 推动人工智能及企业数字化技术带动上下游产业链规模超 50亿元。在国际新形势下,项目迫切需要在释放数字新质 生产力的同时,兼顾确保数据要素可信利用方面形成了标志 示范,对带动广东省及全国知识智能科技的国际竞争力起到 引领作用,且积极顺应了深圳市“20+8”产业发展规划。专 家成果鉴定会评价本项目成果:“整体技术国内领先,在知 多模态知识图谱智能构建及规模化应用 识图谱复杂语义对齐的自动化构建、面向典型领域的多模态 图谱智能分析与问答、多方联邦数据要素协同计算等三方面 国际先进”。
1 项目主要技术创新点 项目团队充分联合平安科技(深圳)有限公司等大企 业,依托其在医疗、数字金融和中小企业数字化领域的数 据、业务资源优势,聚焦医疗健康、数字金融和中小企业供 应链管理领域,构建了多模态知识图谱技术体系并实现规 模化应用推广。尤其与汇丰商学院魏炜教授开展文理合 作,创建了基于知识图谱的商学院案例快速构建方法,获得 了北京大学“教材建设”和“数字化教材建设”立项。先后 荣获深圳市科技进步奖一等奖、2023年乌镇世界互联网 大会“世界互联网领先科技成果”奖、6项数据处理国际 竞赛冠军等。牵头承担了“医疗影像国家新一代人工智能 开放创新平台”等项目10余项,累计获授权发明专利54件 (ZL201810455902.2、ZL202011319773.8等),在国内外期刊 发表论文 38篇,登记软件著作权8项。项目主要技术创新 见图1。 (1)基于深度学习的知识图谱自动化构建方法。为解 决传统知识图谱构建依赖人工、效率低下的问题,通过深度 学习方法,如双向蒸馏、路径文本结合、贝叶斯网络因果推 理、候选集子图谱等技术,实现了构建过程的全自动化。同时,借助实体关系抽取、知识图谱补全等技术突破,有效提 升了多模态知识图谱构建效率和准确性。相关技术已集成 到腾讯医疗影像国家新一代人工智能开放创新平台,攻坚 制约我国医疗影像 AI发展的“卡脖子”问题。 (2)面向典型领域的高性能多模态图谱智能分析技术。 针对不同领域知识复杂多样、知识引擎推理能力低下等问 题,基于多模态图谱的智能分析,通过知识结构化和逻辑推 理,有效提升分析的准确性及大规模应用场景下的计算性 能。有效解决了模型训练依赖标注数据、新任务带来的局 部遗忘问题和模型回复质量不高等问题。本技术已应用于 腾讯 AI临床助手、传染性疾病监测、金蝶云智媒体和智能 风控、智能营销、数据隐私保护等领域。 (3)多方联邦数据要素协同计算方法。针对知识数据 处理过程中面临的数据分散、隐私保护要求高以及多方协 作数据标准不一致、协同效率低下等挑战,横向联邦计算对 多方知识图谱训练数据进行了有效的隐私保护、协同分析 和提取,将其转化为具有明确语义和结构的要素形式。这 些要素可以更好地适应多方联邦环境下的传输和处理需 求,解决了腾讯医疗多医院、平安多银行跨金融合规数据业 务及金蝶供应链产业上下游数据孤岛协同等技术痛点问题。
2 经济、社会效益及对推动行业科技进步的作用 项目围绕多模态知识图谱智能构建关键技术研究及产 业应用,在4个应用领域取得了规模化效应。 (1)数字金融领域。王健宗博士(平安科技副总工程 师)团队基于平安科技(深圳)有限公司知识图谱智能分析 技术,构建智慧金融解决方案:一是反欺诈风控场景,平安 科技基于多模态智能图谱分析技术,打造了智能风控服务 平台,提供企业风险预警、信用综合评估、智能化金融监管 等服务,平台服务客户数覆盖超5600万家,风控服务对接金 融机构超400家;二是智能营销场景,在营销场景帮助金融 机构达成贷款额增加超90亿元,资产规模提升超70亿元; 三是数据隐私保护,基于联邦数据要素协同计算等技术打 造蜂巢隐私计算平台,覆盖平安集团超100个应用场景,承 建人民银行金融数据隐私计算平台,累计服务上百家金融机 构。 (2)医疗健康领域。吴贤博士(腾讯天衍实验室负责 人)团队基于医疗知识图谱相关技术形成的导诊、辅诊和 预问诊等腾讯 AI临床助手产品,已应用于国家卫生健康部 门的“国家家庭医生临床服务能力建设项目”。此外,该服 务还覆盖了全国32个省市、1000多家医院,累计用户超过 主要完成人简介: 雷凯,北京大学深圳研究生院 研究员、博士生导师,深圳市内容中心 网络与区块链重点实验室(ICNLab) 主任,国家重点研发计划项目首席 科学家。国家重大科技基础设施建 设——未来网络试验设施CENI“深 圳主节点”负责人。多次入围斯坦 福大学与爱思唯尔数据库联合发布的全球前2%科学家。获 2023年深圳市科技进步奖一等奖、2024年广东省科技进步奖 二等奖(均为第一完成人、第一完成单位)。曾获北京大学德 育奖、教学优秀奖,以及先进党员称号。中国科学技术发展战 略研究院金融科技咨询专家,中国计算机学会杰出会员、深圳 分部副主席(2025—2027年),2017年青年计算机科技论坛 (YOCSEF)深圳主席,深圳市计算机学会(SZCCF)秘书长。 在国内外期刊发表论文240余篇,获授权国家发明专利48件 (ZL202410620126.2、ZL201810284245.X等),登记软件著作 权29项。 5000万,获得了良好的行业口碑。 (3)企业数字化领域。何晟博士(金蝶软件资深研究 员)团队为应用场景提供落地实施方案,形成一套数字化、 智能化解决方案,有效地帮助公司把控风险和强化管理,提 升企业自身运营效率,增强市场竞争力。基于知识图谱与可 解释计算技术赋能的金蝶云·苍穹平台,已开发出100多个智 能机器人、50多种机器学习算法,已覆盖200多个数据智能 场景,助力企业实现数据与智能分析PBC构建与组装。金蝶 累计帮助154家大型企业完成国产化替代,据国际数据公司 (IDC)和高德纳公司(Gartner)统计,金蝶在企业资源管理 云(SaaS ERM)、财务云、成长型企业应用软件等市场的占有 率均位居全国首位。 (4)数字化教育领域。北京大学深圳研究生院于2014 年启动了金融科技、创新创业交叉人才跨学科培养计划,拉 通汇丰商学院与信息技术学科,充分利用人工智能、区块链 等技术构建教材研发体系。其中,雷凯老师独立编著的《区 块链导论》,荣获中国计算机学会分布式计算与系统专业委 员会 2024年优秀教材奖和全国高校人工智能+数字经济优 秀教材奖一等奖;此外,他还独立编著了《信息中心网络与命 名数据网络》,并荣获深圳市第三届教学成果奖。2025年12 月《区块链交叉创新人才科产教融汇培养新范式与实践》荣 获广东省计算机学会高等教育教学成果奖一等奖(第一完成 人及完成单位)。
第01期\2026年\中国科技成果 DOI:10.3772/j.issn.1009-5659.2026.01.021
...