更全的杂志信息网

一种机载三维音频技术的快速计算方法*

更新时间:2016-07-05

1

机载三维音频技术是指应用虚拟听觉相关技术通过音频线索模拟威胁目标的方位等态势信息,通过三维音频使得飞行员听觉系统被充分利用,在繁重的飞行任务中降低视觉负担,提升飞行员对告警的响应时间,从而达到提升态势感知的能力[1]

由于知识的输入在课前已予以完成,翻转后的课堂设计将放在如何进行知识的内化和巩固上。对习惯了课堂知识讲授的教师来说,课堂设计无疑会是更大的挑战。就英语精读教学而言,课堂上的知识内化需以语言知识的巩固和输出为主,让学生利用课堂时间内化已有的知识和进行语言技能的训练。

各国国防科研机构对三维音频技术在航空领域的应用展开了大量研究。美国DRAPA、NASA等国防科研机构早在20世纪90年代就已对机载三维音频技术在军事领域的应用展开了研究,同时法国、荷兰、澳大利亚、英国等国防机构也对三维音频在航空领域中的应用开展了大量研究工作。针对机载三维音频应用,提出了3D告警、三维通话等多种应用场景,其研究表明三维音频的各类应用可提升飞行员态势感知能力,提高多通道同时通话下的话音可懂度及说话人辨识度,有效提升人机交互效能[2-4]

机载三维音频技术的应用不同于消费类电子产品中提升沉浸感和真实感的需求,为提升态势感知能力的需求,其对于三维音频的实时性、精确性及噪声环境下的鲁棒性提出了更高的要求。基于现有的头相关传递函数为核心的虚拟听觉技术,为提升三维音频性能,主要通过加入头部随动、多阶混响等方式实现。头部随动、多阶混响等技术的引入将造成三维音频实现的计算复杂度呈指数上升,基于嵌入式平台的传统方法实现难以满足实时性高的需求。因此,高效的高性能三维音频快速计算方法对于三维音频技术在机载嵌入式硬件平台约束下的应用推广有着显著的意义。

本文根据机载应用中提升态势感知能力的目的,对机载三维音频技术的应用需求进行了梳理,以提升方位辨识准确度为目的,一定程度降低沉浸感和真实感;提出了基于单耳相对头相关传递函数和改进型混响模型的机载三维音频快速实现方法,在较传统实现方式性能无明显下降的情况下降低了80%的计算量,可在机载嵌入式硬件平台下实时实现多路三维音频处理,并对算法进行了主观实验及实际试验验证。

2 三维音频基本理论

对于HLR(θ,f)可通过快速反卷积的方法在离线环境中计算得到并存储[7],无需实时计算生成,实际应用中直接读取即可。

HRTF是自由场情况下从声源到双耳的频域声学传输函数,它表达了生理结构对声波的综合滤波效果是因人而异的。HRTF或其时域表达头相关脉冲响应函数(Head Related Impulse Response,HRIR)包含了有关声源定位的主要信息。

在小流域内退耕地和荒坡地建造经济林措施,能够有效地提高其保土能力,并增加当地经济收入。但如果在基本农田范围内栽种经济林,就改变了基本农田的土地性质,违反《基本农田保护条例》的相关规定。通过对治理措施与基本农田空间数据进行叠加分析,辅助管理部门和评审专家及时发现并纠正了治理措施中占用基本农田的现象。

利用HRTF完成音频三维化的核心为等式(1)所示,将单路频域信号和已知方位θ的左右耳HRTF进行频域相乘,或等价地将单路时域信号和一对HRIR进行卷积,并将所得信号用耳机重放,则可在听觉中虚拟出相应方位θ的空间声像。

(1)

式中:s(n)为声源信号,hL(θ)和hR(θ)分别为左右耳头相关传递函数,sL(θ,n)和sR(θ,n)为最终左右耳输出的立体声信号。

为达到最真实的三维虚拟声效果,诸多学者在基于经典的HRTF虚拟听觉上对算法进行了完善和优化,目前最为成熟的虚拟声重复系统的具体实现框图如图1所示[5]

图1 传统三维音频算法原理 Fig.1 The principle of traditional 3D-audio algorithm

初始的三维虚拟方位是对目标的坐标信息与头部位置信息进行坐标变换,得到以头部为圆心、头部正前方为参考轴的相对坐标系下的相对方位信息;而后将相对方位信息与原始音频经过混响模拟算法进行处理,提升沉浸感。通常采用镜像法或射线追踪法模拟前期反射声作为混响;接着,对混响模拟输出每一路直达声及反射声及其对应的方位信息,获取相应的左右耳HRTF数据,利用等式(1)实现三维化,最终将左右耳数据分别进行混音作为最终输出。

3 机载三维音频快速计算方法原理及实现

3.1 机载三维音频应用需求分析

为降低机载三维音频实现的计算复杂度,对图1所示的三维音频处理方法的计算复杂度影响因素和机载三维音频应用任务需求进行了分析。

对于传统的三维音频处理流程,其中决定整个系统实现的计算复杂度的主要有以下3个环节:

该厂二期工程系统于2011年10月投产,采用的主选设备是我国具有自主知识产权的选前不脱泥无压给料3GHMC1500/1100AI型三产品重介质旋流器,该机规格和处理能力均达到了世界最高值。原料煤靠自重给入后,经由圆筒形第一段旋流器分选出轻产物(精煤),而重产物经过圆柱—圆锥形第二段旋流器,分选出中煤和矸石。生产实践表明,这两种类型重介质旋流器的分选效果差别显著。

(1)头部跟踪

此课题学习问题除了用近似逼近法解答外,还可以构造不等式进行解决.不等式法不仅可以直接解决纯代数不等式问题,也可以通过数形结合将一些几何问题化归为代数不等式问题加以解决.解题过程是从实际问题中找出恰当的数学模型,然后再选择某个不等式进行解决.

头部跟踪的应用首先是为了模拟虚拟声的绝对方位,不随头部的转动而转动;其次,头部跟踪的应用引入了“动态因素”可降低前后方位混叠的情况。研究表明,三维音频中头部跟踪的刷新率不应低于20 Hz,方可保证正确感知绝对方案,即表明单方向上三维音频处理算法的时延不应高于50 ms。

(2)混响模拟

混凝土外加剂是现今混凝土材料必需的组成部分。在混凝土拌制过程中,虽然外加剂的用量不多,但其对有效提高混凝土性能、降低建设成本有着极其重要的作用。采用外加剂已成为提高混凝土质量、改善施工性能、节约原材料、缩短施工周期、降低工程成本、满足工程要求的重要途径。

引入混响模拟的目标主要有两个:第一点为增加空间距离感,减少“头中成像”的现象;第二点为混响的增强将增强三维成像的鲁棒性,降低外界噪声的影响。按图1流程所示,每增加一阶混响的模拟,反射声数目增加6倍,三维化音频的数目增加6倍,整个算法计算量增加同样约6倍。

综上所述,舒利迭联合复发异丙托溴铵治疗咳嗽变异性哮喘,能有效降低患者hs-CRP与血嗜酸粒细胞水平,改善患者临床症状。

一百年前,自美国留学归来的胡适在《归国杂感》中说:“我回中国所见的怪现状,最普通的是‘时间不值钱’。”[注]胡适:《归国杂感》,胡适著、欧阳哲生编:《胡适文集》第2册,北京:北京大学出版社,2013年,第428页。他认为“不值钱”的时间意识导致国人陷溺于不思进取、虚掷光阴的生活状态,不仅践踏了个体生命的尊严和价值,也将把风雨飘摇的国家带入更危险的境地。个体和国家衰敝的现状和期待“再生”的热望,引起他对时间和生命的多重思考。在他看来,时间造就生命,一种新的时间观将赋予个体生命以新的内涵和尊严,并引发文化的变革和社会的改造。

(3)HRTF三维化

对于虚拟声通常按等式(1)利用相应方位的HRTF分别实现音频的左右耳的三维化。

基于对机载三维音频的应用需求分析,影响三维音频计算复杂度的三个主要因素中,头部跟踪的需求为必需的,不存在原理上优化和改进的空间;而对于混响模拟的应用,由于对空间距离感无较高要求,存在简化改进的空间;对于HRTF三维化,考虑其在机载嵌入式平台的实现,可对算法框架进行修改,增加离线处理的计算复杂度而降低实时处理的计算需求,从而提升算法时效性。因此,机载三维音频快速计算方法主要聚焦于三维混响模拟应用的简化及HRTF三维化的优化。

3.2 三维混响模拟应用的简化

图2给出了三维前期混响模拟的传统实现方式,其主要分为两个步骤:

Step 1 利用多抽头的多阶有限长单位冲激响应(Finite Impulse Response,FIR)滤波器模拟各反射面的反射声波。

立秋过隙,时光的节气便悄然而至。北京的秋,气候微凉且舒适宜人。这是四季里最美的时光:晨起暮晚,轻拂而过的秋风,秋蝉的啼唱嘶鸣,由葳蕤而渐变发黄的秋叶,蓝天与白云交相辉映。这个季节里最美好的颜色、味道、光与影都聚集在了一起,景入心,韵入眼。无论是在北京土生土长的老舍先生,还是生长于江南的郁达夫,都对这故都的北国秋味饱含情意。我喜欢在这样的日子里闲庭信步于漫天的秋日暖阳下,离繁华远一点,离繁花近一点。

造成侧滑的主要原因有:车轮制动力不均衡,胎压不标准,轮胎花纹较平等。路面因素也很关键,例如:弯道、坡道、坑洞、冰雪路面、积水路面都会对车辆的行驶状态造成影响。

对于第Step 2中的各反射声三维化,其主要目的为提升输出话音的空间距离感,增加人主观感觉的沉浸感[6],同时通过对真实室内环境的模拟以输出更为真实的虚拟声,但由于其存在多方位的三维反射声,反而会降低直达声θ0幅度方位辨识度。

图2 三维混响模型 Fig.2 The 3D reverberation model

通过前小节的分析,机载三维音频应用中为提升态势感知能力,对直达声θ0幅度方位要求较高,而对空间距离感和真实感的要求相对较低,因此提出了采用如图3所示的简化版三维混响模型作为机载三维音频应用中的混响模拟模型,其主要简化是改为由1个单通道前期混响模拟模型和1个单通道三维化处理构成。Step 1对多抽头的多阶FIR滤波器的输出直接混音求和,而后在以直达声θ0幅度方位作为虚拟方位对单路信号进行三维化后输出。这相当于模拟反射声均来自同一方向,Step 1的单通道前期混响模拟可保留一定程度的空间距离感和沉浸感,Step 2单通道三维化处理强化了直达声θ0的辨识度,牺牲了真实感和部分空间距离感,但提升了话音方位辨识度,符合机载任务应用的需求。

图3 简化三维混响模型 Fig.3 The simplified 3D reverberation model

该简化带来的最大好处为极大程度降低了信号处理的计算复杂度,混响阶数的增加仅需调整Step 1中滤波器的长度,而后续的三维化处理仍仅需保持单通道不变即可。

3.3 基于单耳相对头相关传递函数的三维化简化

基于HRTF的左右耳音频三维化为算法中重复最多的计算单元,其计算复杂度决定了最终计算复杂度。而机载三维音频的应用,主要目的为提升态势感知能力及多人同时通话下的话音可懂度及通道辨识度。对于提升态势感知能力,其对于三维音频技术的能力需求为提供高精度、强鲁棒的绝对方位定位能力。对于多人同时通话下的话音可懂度及通道辨识度,主要需要的是强噪环境下的方位分辨能力,对还原三维虚拟声的空间距离感、沉浸感并无较高的要求。

Step 2 对各反射面的反射波形进行三维化,各反射面对应的方位角度可由镜像法跟踪求得,最终将左右耳对应的波形混音输出即可。

根据机载应用的需求分析,主要目的为通过构建具有方位信息的三维虚拟声提供高精度的威胁目标或说话人的方位向定位,而无需还原真实的三维声幅度大小。同时,目前大部分测试的HRTF数据库也为远场数据库,其幅度信息也无明显的参考价值。

进一步分析人耳对方位向定位的因素,主要包括双耳时间差、双耳压强差以及动态因素等,均为双耳相对信息,而对于双耳所听到的绝对声强并不关心。

本文立足于新时代背景下的共享经济,对价值共创相关研究文献进行阐述,定义共享型生活服务平台及其特性,对基于共享型生活服务平台的社区各要素间的价值共创过程进行具体分析,识别其价值清单,对价值共创和顾客忠诚度研究都是有益的补充。

较图1而言,其主要简化为对混响模拟后的各信号输出直接叠加混音:对于左耳信号,利用混音后的单路信号与预先存储的左右耳相对HRTF数据卷积后生成左耳输出信号;对于右耳信号,直接输出混音的信号。

(2)

式中:s(n)为声源信号,hLR(θ)为左右耳相对头相关传递函数,sL(θ,n)和sR(θ,n)为最终左右耳输出的立体声信号,A为幅度系数。

hLR(θ)的傅里叶变换HLR(θ,f)如等式(3)所示,其为左右耳头相关传递函数的相对取值。

(3)

目前,主流的三维音频实现方法为基于头相关传递函数(Head Related Transfer Functions,HRTF)的虚拟听觉方法。

采用相对头相关传递函数的方法可以将双耳三维化处理转换为单耳三维化处理,可降低三维化处理约50%的实时计算量,以达到提升效率的目标。

3.4 机载三维音频快速计算方法的实现

根据上述分析,图4给出了本文提出的适用于机载应用需求的机载三维音频处理快速计算方法的原理框图。

图4 机载三维音频技术的快速计算方法 Fig.4 The fast calculation method of 3D audio in aviation

因此,可采用基于单耳相对头相关传递函数来实现基于单耳处理的三维音频实现方法,其简化主要为将等式(1)改写为等式(2):

按模拟1阶混响计算,其计算量较传统方法降低80%以上,因此本文提出方法较传统方法更为适合于机载嵌入式平台下实时实现。

4 仿真及实验结果

4.1 主观实验验证

为评估本文提出的三维音频算法在机载强噪声环境下的性能,输入音源选用话音告警音频,背景噪声选用F-16战斗机座舱噪声(来源于noisex92数据库)[8]作为典型噪声进行测试验证。

根据RTCA-DO-214《机载音频设备最低性能》标准中对机载音频设备最低信噪比的要求,对0 dB信噪比环境下进行了主观实验,各实验人数均不低于5人。

4.1.1 可懂度实验

采用A/B/C对照实验:A为含噪三维音频(传统方法),包含1路或多路不同方位话音;B为含噪三维音频(本文提出方法),包含1路或多路不同方位话音;C为普通单声道音频,多路话音直接叠加混音构成。A组、B组及C组交替播放,由被试者根据可懂度评分(满分为5分)。

表1给出了主观实验结果,表明在存在多路话音的情况下,三维音频对含噪话音的可懂度提升效果更为明显。在传统单声道音频方式下2路话音的直接混合即造成话音较难理解,超过3路的混合会导致人的高度疲惫及烦躁,完全无法理解,而利用三维音频技术可分辨4路甚至更多的话音。

1 可懂度评分结果 Tab.1 The score results of intelligibility

通道数目可懂度评分/分A组B组C组1路4.04.04.02路3.73.82.53路3.53.30.04路2.62.50.0

同时通过对各路话音下可懂度的统计分析,整体上本文所提出的快速算法与传统三维音频算法所合成的三维话音在可懂度方面并无差别,性能基本相当。

4.1.2 方位分辨率评估

实验者佩戴头部跟踪器记录头部方位。固定三维话音方位,让被试者通过头部转动寻找话音方位,其最终头部跟踪器所指示方位作为其判决方位,与实际模拟的方位进行误差分析。

表2给出了实验结果,表明在0 dB环境下三维话音主观听觉上虽受到噪声一定程度干扰,但方位仍清晰可变,辨识方位精度与实际方位大体相当。本文提出方法方位分辨率误差在5°以内,平均误差略低于传统方法。

生物是以实验为基础,通过实验现象来判断事物特征或本质的一门科目。因此,在生物的学习过程中,实验显得尤为重要。教师在教学中要紧抓生物实验教学的本质和特点,结合自身的教学特点和学生学习的重点,找到适合自身以及学生的教学方法,促进学生初中生物实验学习能力的提升,促进生物实验教学水平的提高,从而最终促进初中生物实验教学的总体发展。

2 方位分辨率评估实验结果 Tab.2 The experimental results of azimuth resolution

编号方位分辨率/(°)实际方位传统方法本文方法13032302454747390838641801751835262265261

本文提出的方法与传统三维音频实现方法在可懂度及方位分辨率上性能大体相当,适用于机载强噪声环境,既可提升方位辨识能力,又可提升话音可懂度。

4.2 实验验证

根据本文所提出的方法,在某型飞机音频系统中在FreeScale公司P2020 PowerPC通用处理器硬件平台下实现了机载实时三维音频系统。

在未针对处理器平台对算法特定优化的情况下,采用传统实现方式下仅可在P2020平台下实时完成1路三维音频的计算。采用本文所提出的方法,可同时处理系统所要求的3路三维音频,且对于连续运动目标无明显可察觉时延,试验表明算法可满足实际机载平台使用。

张全文这阵风也有驻足的时候,他第一次到谢婉娇家里,对谢婉娇和她父母仔细地询问两个家庭差异如此之大,对他们来说是不是问题?如果不是问题再考虑结婚的事情。在得到肯定的回复后,他又一一列举张伦个性上的问题。“我觉得我公公虽然是在农村生活,但是能看到事情的本质。”

5

本文针对机载三维音频应用的任务需求,以提升方位辨识准确度为目的,一定程度降低沉浸感和真实感,对传统三维音频实现方法中的混响模型以及HRTF三维化进行了针对性优化,提出了一种满足应用需求的基于单耳相对头相关传递函数和改进型混响模型的机载三维音频快速实现方法,在较传统实现方式性能无明显下降的情况下降低了80%的计算量。在F-16战斗机模拟噪声环境下,对采用本文提出方法实现的三维音频的可懂度及方位分辨率进行了主观实验,实验结果表明性能与传统方式相当,并无明显差异。同时,在某型飞机音频系统中基于PowerPC通用处理器硬件平台下实现了机载实时三维音频系统,可同时处理3路三维音频,对于连续运动目标无明显可察觉时延,表明本文提出的方法适用于机载任务需求及噪声环境,为机载实时三维音频系统的实现提供了一种解决方案。

参考文献

[1] BOSUN X.Head related transfer function and virual auditory display[M].Florida,USA:J ROSS Publishing,2013.

[2] 吕燚,潘皓,李锋,等.三维音频技术在航空领域的应用与展望[J].电讯技术,2015,55(11):1304-1310.

LYU Yi,PAN Hao,LI Feng,et al.Application and trends of 3D-audio in aviation[J].Telecommunication Engineering,2015,55(11):1304-1310.(in Chinese)

[3] MCKINLEY R L.Auditory and acoustic research and development at air force research laboratory(AFRL)[R]. Fairbornoh,OH:Ball Aerospace and Technologies Corp,2010.

[4] KOTESKEY R W,WU S C,BATTISTE V,et al.Enhanced audio for nextgen flight deck[C]//Proceedings of 4th Applied Human Factors and Ergonomics International Conference(AHFE2012).San Francisco,CA,USA:IEEE,2012:1-10.

[5] USMAN M,KAMAL K,QAYYUM R,et al.3D sound generation using Kinect and HRTF[C]//Proceedings of 2017 IEEE International Conference on Signal and Image Processing.Singapore:IEEE,2017:307-310.

[6] 涂卫平,姚雪春,张茂胜,等.三维音频实时生成技术及实现[J].计算机科学与探索,2015,9(7):839-846.

TU Weiping,YAO Xuechun,ZHANG Maosheng,et al.Real-time generation of 3D audio and its implementation[J].Computer Science and Exploration,2015,9(7):839-846.(in Chinese)

[7] FU Z H,XIE L,JIANG D M,et al.Fast 3D audio image rendering using equalized and relative HRTFs[C]//Proceedings of 2013 International Conference on Orange Technologies.Tainan,Taiwan,China:IEEE,2013:47-50.

[8] VARGA A,STEENEKEN H J.Assessment for automatic speech recognition:II.NOISEX-92:a database and an experiment to study the effect of additive noise on speech recognition systems[J].Speech Communication,1993,12(3):247-251.

贾平生
《电讯技术》 2018年第04期
《电讯技术》2018年第04期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号