让“无声世界”感受赛场魅力!带你看看冬奥手语数字人有哪些奥秘******
2022年2月4日,第24届冬季奥林匹克运动会在北京举行,让世界目光再次聚焦中国。本届北京冬奥会秉持绿色、共享、开放、廉洁的办赛理念,凝聚中国科技力量,面向世界、面向未来,向全球奉献了一场精彩、非凡、卓越的奥运盛会。
本届冬奥会运用最新科技手段,为全世界观众提供了惊艳的现场转播和全方位覆盖报道,北京冬奥会也成一场上科技含量高的奥运会。赛事活动期间,为了让各类人群都能平等地享受本届冬奥盛会,北京电视台上线了智能手语播报数字人,在《北京新闻》和《北京您早》等节目中进行冬奥专题手语播报,为听障人士带来精彩赛事报道。
最新数据显示,我国听障人群超过2700万,这部分人群与健听人一样,他们对教育、社交、娱乐等信息获取都有巨大的需求。但长期以来,传统人工手语翻译工作量大,且主持人和手语主持人配合难度极高。手语动作表情复杂,语序与正常语序差异大,正常情况下想要熟练掌握手语大约需要2年左右的时间,还要结合语境进行猜测。
受北京市科委科技冬奥专班委托,北京电视台联合凌云光、智谱AI等业内科技公司,在北京市残疾人联合会和市残联聋人协会等支持下,用3个多月时间,让手语播报数字人完成了近10万条手语语料学习,且翻译准确率高达90%。
在如此短的时间内实现这项高难度动作,智能手语数字人是如何做到,在这背后又有哪些技术创新难点?
在多位业内人士看来,近年来人工智能体系建设重点布局在算法层和应用层,数据层建设远远不足,并且针对数字人相关产业,底层数据库的数量、质量和开源程度还明显不足。尤其是国内现有的手语语料数据库数量少,且多以图像、视频等二维平面为主,无法满足AI(人工智能)训练的需求。
同时,因手语语序与中文语序差异大,方言分化更加复杂,且需要通过表情、口型、动作等方式来传达信息。除了传统的二维平面图像、视频采集,三维肢体运动、表情信息数据采集及结构化参数表达外,手语语料数据库建设对三维运动信息捕捉也十分重要。
凌云光手语数字人产品相关负责人介绍,在建设高质量手语语料库的同时,他们充分调研了2022北京冬奥专用手语术语,并联合北京市残联、聋人协会等相关组织机构,进行数据标注,建设手语语义映射关系,不仅完善了国内手语数据库的建设,也为手语推广和AI研究留下了宝贵的数据资产。
该负责人举例说,基于“悟道2.0”超大规模人工智能模型的技术支撑,手语数字脑用计算机模仿听障人士的大脑,将看到的中文文本信息转换成手语词汇序列,包括中文语义蒸馏模型和AI手语分词快编算法的研究。中文语义蒸馏模型用于从输入的文稿或文本中提取出关键的语义信息,将中文文本语义提炼和精简,形成精准匹配适合手语表达的文本;AI手语分词快编算法则用于将蒸馏得到的中文文本,根据冬奥手语语料库划分成相应的手语词汇序列,供数字人做表达输入。
该负责人还提到,数字人是冬奥手语播报的载体和展现形式,通过高精度写实数字人全流程制作方案,可实现一键数字建模,高度还原真人发肤,重新毛孔等细节,更加真实亲切。同时,通过跨模态拟人生成算法,还可以将手语词汇序列,生成相应的动作信息,驱动数字人模型做出相应的动作、手势和表情。(姚坤森)
我国空间新技术试验卫星第二批科学与技术成果发布******
记者从中科院微小卫星创新研究院获悉,我国“创新X”系列首发星——空间新技术试验卫星第二批科学与技术成果近日发布。这批成果主要包括获得我国首幅太阳过渡区图像、探测到迄今最亮的伽马射线暴、首次获得全球磁场勘测图等。
01
46.5nm极紫外成像仪获得我国首幅太阳过渡区图像
46.5nm极紫外太阳成像仪(SUTRI)是国际首台基于多层膜窄带滤光技术的46.5nm太阳成像仪,用于探测50万度左右的太阳过渡区(太阳色球与日冕之间的层次),由国家天文台联合北京大学、同济大学、西安光学精密机械研究所和微小卫星创新研究院共同研制。自2022年8月30日载荷开机以来已经获取了超过1.6TB的探测数据,成功实现了我国首次太阳过渡区探测。这也是人类近半个世纪来首次在46.5nm波段拍摄太阳的完整图像。SUTRI拍摄的图像清晰地显示了过渡区网络组织、活动区冕环系统、日珥和暗条、冕洞等结构(如图2),这些结构的观测特征表明,SUTRI拍摄的确实是从太阳低层大气往日冕过渡的结构,符合预期。SUTRI已探测到多个耀斑、喷流、日珥爆发和日冕物质抛射事件(如图3),表明其数据适合研究各种类型的太阳活动现象。此外,SUTRI还发现活动区普遍存在50万度左右的、朝向太阳表面的物质流动,这些流动在太阳大气的物质循环过程中占有重要地位。目前SUTRI一切功能正常,在轨测试和标定结束后,SUTRI观测的科学数据将向国内外太阳物理和空间天气同行全部开放。
△图1 “创新X”首发星——空间新技术试验卫星(SATech-01)
△图2 SUTRI在2022年9月29日观测到的太阳活动图(图片由SUTRI科学团队提供)
△图3 SUTRI在2022年9月23日观测到的一次太阳爆发事件(图片由SUTRI科学团队提供)
02
高能爆发探索者(HEBS)捕获到迄今为止最亮伽马暴
由中科院高能物理研究所研制的高能爆发探索者(HEBS)于北京时间2022年10月9日21时17分,与我国慧眼卫星和高海拔宇宙线观测站同时探测到迄今最亮的伽马射线暴(编号为GRB 221009A)。根据HEBS的精确测量结果,该伽马暴比以往人类观测到的最亮伽马射线暴还亮10倍以上。由于该伽马射线暴的亮度极高,国际上绝大部分探测设备均发生了严重的数据饱和丢失、脉冲堆积等仪器效应,难以获得精确测量结果。HEBS凭借创新的探测器设计以及新颖的高纬度观测模式设置,探测器经受住了高计数率的考验,获得了高时间分辨率的光变曲线,以及10千电子伏至5兆电子伏的宽能段能谱。HEBS极为宝贵的精确测量结果对于揭示伽马射线暴的起源和辐射机制具有重要意义。
国家天文台和上海技术物理研究所研制的EP探路者龙虾眼X射线成像仪(LEIA)于10月12日也成功对这一伽马射线暴开展了观测,探测到了伽马射线暴X射线余辉。这也是国际上首次用龙虾眼型X射线望远镜探测到伽马射线暴。
△图4 高能爆发探索者(HEBS)发现并精确测量迄今最亮的伽马射线暴,打破多项纪录。
03
国产量子磁力仪首次空间应用并获得全球磁场图
由中国科学院国家空间科学中心和沈阳自动化研究所联合研制的国产量子磁力仪(CPT)及伸展臂,可实现全球地磁矢量和标量高精度测量。2022年11月7日,多级套筒式无磁伸展臂顺利展开,将各传感器探头伸出约4.35米距离,处于伸展臂顶端的CPT原子/量子磁力仪探头、AMR磁阻磁力仪探头、NST星敏感器获取了有效探测数据,首次在轨验证了磁场矢量和姿态一体化同步探测技术,磁测量噪声峰峰值<0.1nT,实现了国产量子磁力仪的首次空间验证与应用。
△图5 CPT磁测系统“多级套筒式无磁伸展臂”地面展开测试(图片由沈自所、空间中心和卫星团队提供)
△图6 量子磁力仪首张全球磁场勘测图(图片由空间中心太阳活动与空间天气重点实验室提供)
△图7 NST星敏感器相对于卫星本体的姿态数据(图片由空间中心和中科新伦琴NST星敏团队提供)
04
空间载荷、平台新技术成果丰富
由中国科学院长春光学精密机械与物理研究所空间新技术部研制的多功能一体化相机,首次采用基于共口径多出瞳光学系统新体制,在轨实现集可见光、长波红外、彩色微光于一体的空间光学遥感观测。相机于2022年9月24日开机,成功取得首张170km×42km大幅宽地面遥感图像(如图8),探索了单台相机即可同时实现多谱段多模态遥感成像的新模式,为我国未来高集成度一体化空间光学遥感载荷发展提供了技术储备。
△图8 多功能一体化相机对地宽幅遥感成像图(图片由长春光学精密机械与物理研究所提供)
由中国科学院半导体研究所、自动化研究所、微小卫星创新研究院及浙江大学航空航天学院空天信息技术研究所联合研制的异构多核智能处理单元也取得了首批成果。半导体所的低功耗边缘计算型智能遥感视觉芯片,实现了遥感图像的高速智能化目标检测;自动化所的通用智能系统验证了基于高速交换网络的异构多处理器模块化、弹性化硬件架构;浙江大学的国产AI系统装载了细胞分割算法和飞机识别算法,数据结果与地面孪生系统数据一致,在功耗10瓦条件下算力达到22Tops,验证了国产AI器件的在轨智能图像处理能力。
△图9 边缘计算型遥感视觉芯片检测遥感目标示意图(图片由中科院半导体所提供)
中科院微小卫星创新院的可展收式辐射器成功在轨实现首次应用,辐射器执行机构已顺利完成六十余次展开和收拢动作,连续五轨动态试验结果(如图10)表明环路热管-可展收式辐射器集成系统在负载工作时段启动性能良好,辐射器连续展开-收拢可实现散热能力在轨大范围调控。
△图10 环路热管-可展收式辐射器集成系统连续五轨智能热控测试结果
国家空间科学中心研制的空间元器件辐射效应试验平台载荷开机运行良好,搭载的元器件在测试期间均工作正常。
“科学与技术成果的涌现体现了我们对这颗卫星‘创新X,创新无极限’的定位,开创了新技术众筹模式的先河。”“力箭一号”工程副总师兼卫星系统总师张永合说,“这些新载荷、新技术产品都是各参与方自主投入的,不少是从0到1的创新,通过试验星将创新技术快速集成并飞行验证,可以加快核心关键技术从基础研究到在轨应用的成果转化。”
2022年7月27日12时12分,由中国科学院自主研制的迄今我国最大固体运载火箭“力箭一号”(ZK-1A)在酒泉卫星发射中心成功发射,采用“一箭六星”的方式,将“创新X”系列首发星——空间新技术试验卫星等六颗卫星送入预定轨道。2022年9月5日,空间新技术试验卫星(SATech-01)发布了首批科学成果,包括龙虾眼X射线成像仪(LEIA)的国际首幅宽视场X射线聚焦成像天图,伽马射线暴载荷(HEBS)的首个伽马暴等。
作为我国“创新X”系列的首发星,未来一段时间,空间新技术试验卫星搭载的几种新型推进系统等载荷也将开展在轨试验,卫星上的四个科学载荷也已进入常规化观测,陆续将会获得更多科学和技术成果。
(总台央视记者 帅俊全 褚尔嘉)
(文图:赵筱尘 巫邓炎) [责编:天天中] 阅读剩余全文() |