风雨中走出的AI技术“掌舵人”

掌舵，意为“支配船舵”，现正在常用来比喻支配宗旨。掌舵人，则意为正在所处的周围里，或者群体内部最有资历能定夺宗旨的人、支配宗旨的计划者。

正在科大讯飞人工智能演示展厅的焦点，一边由各个爬山足迹构成的“里程碑墙”静静岳立，从语音合成滥觞，科大讯飞迈过语音评测、语音识别、机械翻译、机械阅读明了等一个个顶峰。

每一个“人工智能起色史上由科大讯飞胀舞的里程碑”背后，都是讯飞人不息的勤勉与服从。当然，也离不开突出的工夫掌舵人。

AI咨议的掌舵人需求“咬定青山不松开”的毅力，同时也需求“夜阑卧听风吹雨”的从容。从CHiME三连冠、到OpenASR、IWSLT和刚才公布的DCASE工夫获奖，科大讯飞咨议院AI工夫掌舵人功弗成没。

科大讯飞每年6月9号的司庆日上，都市有一个保存项目：“中邦改进奖”颁奖枢纽。中邦改进奖是由公司首席科学家王仁华教练和夫人夏德瑜教练片面出资设立，旨正在嘉奖科大讯飞正在工夫、产物等周围做出要紧改进的年青员工，也是科大讯飞正在改进周围的片面最高奖项。

本年 ，“中邦改进奖”颁奖枢纽新增“科大讯飞集团科学家职衔授予典礼”，旨正在嘉奖集团层面正在咨议、工程等周围做出特出孝敬的高级科学家群体。

每天早上走进办公室，潘嘉第一件事便是开启电脑、阅读AI各闭联周围的最新论文，这曾经成为他众年来积蓄而成的“肌肉回忆”。从机械进修本原外面，到语音图像等各周围的前沿算法，再到“AI + Science”等跨学科延展，都是他涉猎并体贴的周围。

科大讯飞的卓异科学家，虽名为科学家，然而现实需求继承的职守却并不仅是以发论文为紧要宗旨的纯学术咨议。

正在日常的劳动寻常中潘嘉既要亲身推公式写代码做前瞻原创咨议，又要带队办理现实落地操纵中的AI工夫困难，还要造就有潜力的科学家行列，但即使如斯，他每周起码要看数十篇论文，这一习俗雷打不动。

他又有一个长长的Excel外格，看完的论文，都市唾手统计个中，写下本身的解读，并服从1到5分给论文打分。

倘若哪篇论文对待讯飞结构的工夫宗旨有模仿旨趣，他会直接分享给闭联工夫担负人进一步斟酌。日积月累，他还会对某一周围的优质论文举办汇总，酿成专题，正在讯飞咨议院内部门享。

恰是这种从深度到广度的拓展以及长年累月服从下的积蓄，，让他对工夫计划以及整个工夫起色趋向有了更深的明了和洞察，新的前瞻性算法和工夫咨议宗旨被有序的引入，滋补和扩充着讯飞的AI科技树系统。

正在讯飞咨议院内部，潘嘉被大众昵称为“潘大神”，既能从全体开赴举办工夫簇计议，又能诱导同窗们研商工夫细节，还能躬身入局办理营业宏大困难，同时还具有着虚怀若谷的性格和少经风霜的“正太脸”。

每当大众碰到各样搞未必的工夫困难，总会念到他，他也总能给出摆设性私睹，是大众的“定海神针”。

2009年校招参与讯飞的潘嘉，已正在这里渡过13个年龄，从一线算法咨议员，发展到而今的卓异科学家，他就像从风雨中走出的重心工夫“掌舵人”，而今领航着科大讯飞的AI工夫之船。

早正在高中岁月，潘嘉的学霸属性就外示无疑，文理分科前，文科年级第二，理科年级第三。研讨到本身性格特别爱好工夫研商，他采选了理科，并以胜过清华的分数线来到了中科大，专业便是电子工程与音讯科学。

咨议生阶段，潘嘉咨议的还不是语音，而是图像经管。当时他和对门睡房语音实习室的同窗打得炎热，素日里常常同他们交换科研心得。

凑巧巧借“春风”，潘嘉模仿了他们正在语音咨议中的常用的高斯搀杂模子来做医学影像的检索职司，楬橥了一篇高程度的论文，开头体现出了他的科研先天。

该语音实习室恰是由中科大与科大讯飞连合征战，目前“语音及发言音讯经管邦度工程咨议核心”的前身，也算是潘嘉和讯飞的早期结缘。2009年结业后，出于对讯飞语音实习室科研气氛的仰慕，加之他以为语音和图像经管有形似之处，倘若来讯飞也许会有一个好的施展舞台，潘嘉便行动当年的应届生参与了讯飞咨议院，刚滥觞被调理做的便是当时很有挑衅的延续语音识别宗旨。

从图像切换到语音，他再度体现学霸的用心和勤勉，每天都正在吸收各类新的常识：从古板语音识别框架的各类外面算法进修，到HTK（隐马尔可夫模子语音器械包）等繁复器械的操纵改进，再到神经汇集等当时“非主流”算法的主动拓展进修。

回过头来，咱们显露正在环球科技起色的史册历程中，彼时正有一场启发了目今第三次人工智能海潮的科技革命——“深度进修”正正在萌芽中寻求着前行…而也正由于深度进修带来的时期机会，让灵敏勤学的新同窗潘嘉正在讯飞咨议院的平台上精准收拢了如许一个机缘，成为胀舞中邦深度进修算法改进和大领域操纵落地的闭节气力之一。

2010年，适逢微软正在小领域英语字母语音识别职司TIMIT数据集上，通过深度进修的本事大幅消浸了识别失误率。基于本身对该工夫门道的明了，维系和专家们的交换，潘嘉敏捷的感知到，基于深度进修的工夫门道很也许是擢升通用语音识另外闭节钥匙，而通过内部咨询，讯飞咨议院定夺要加大这方面的进入，成为“无人区”的先行物色者。

2010年10月，科大讯飞向业界正式公布了讯飞语音云及其树模性操纵——讯飞输入法，也是当时业界首个带中文语音输入功效的输入法。然而，因为当时线上编制依旧优劣常繁复的古板语音识别编制、且演练数据和现实行使的场景较不结婚，原先曾经正在实习室境况下做到90%精确率的编制，对待线上真正数据的精确率一下掉到了60%。

当时咨议院定夺，跳过相对方便的数字字母识别、敕令词识别等职司，直接测试行使众层神经汇集模子来挑衅输入法真正场景下的大词汇量延续语音识别（LVCSR）职司，以寻找尽早将新算法落地操纵正在讯飞输入法这个有豪爽潜正在用户、场景厚实且可能神速迭代的贸易化编制中。而潘嘉由于对神经汇集工夫的熟稔，也大胆的继承起了如许一个有很大不确定性的物色性职司。

2011年整年，潘嘉带着小团队一道，分秒必争的举办着工夫攻闭，乃至于到2011年春节时期，潘嘉还会每天长途调度参数看实习结果。结果正巧正在大年头一那儿，陡然得到了一个牢靠的明显擢升，潘嘉注意确认后、急如星火的跟咨议院的恩人们分享这来之不易的告捷成就。春节事后的2012年头，潘嘉主导胀动的BN-feature和DNN-HMM两套深度进修计划都周密上线于讯飞输入法和语音盛开平台中，助推科大讯飞成为邦内首个上线深度进修贸易编制的机构。

颠末测试，该新编制计划维系数据的泛动效应，把现实场景的语音识另外精确率从60%擢升到85%足下，根基迈入了适用门槛，明显擢升了语音识别等功效的用户体验。

然而“战役”才刚才滥觞。深度进修成果拔群，跟着开源器械的逐渐兴盛，很疾邦内同行神速跟进。没众久，各家产物语音识另外精确率都有了较大擢升。讯飞怎么正在语音识别周围维持陆续引颈呢？

彼时算法改变很疾，稍有和缓也许就会被赶超。功夫紧职司重，压力传导到潘嘉和语音识别团队中。2013岁尾，一场名为“卫冕之战”的工夫攻闭正在内部拉开帷幕，提出要正在半年功夫内，跟业内本能从新拉开差异。

潘嘉依旧是此次工夫攻闭的重心骨干。压力之下激发他对工夫的深度推敲，“算法上类似咱们都做了，数据上咱们也有先发上风，为何识别成果没能维持明显的领先呢？”

谜底正在于细节。深度进修操纵早期，算法起色日月牙异，将根基算法复现自身就会带来成果的大幅擢升，但当时大部门人只是将其当成一个“黑盒子”套用，许众源于古板语音识别编制的细节积蓄并没有足够展现。此时需求阐发工匠精神，正在算法陆续更新的本原上，数据经管、调参细节等做的特别深刻，才把算法的本能足够阐发出来。

为了进一步擢升识别精确率，潘嘉和团队定夺引入一项名为SDT（sequence-discriminative training，基于序列的划分性演练）的工夫。正在潘嘉看来，它比当时常睹的其他本事更切合语音识另外现实需求，能有用擢升结果的精确率。但该工夫自身极端繁复，当时一众邦外里公司折戟于此，唯有IBM和微软依旧正在一连物色该工夫。

虽然面对很大不确定性与危害，潘嘉团队如故定夺测试这项工夫。直到2014年年上半年，他们调校好算法，SDT工夫得到凯旋。经此役，语音识另外精确率整个再度擢升相对30%以上，讯飞语音识别编制的成果正在业内进一步领先。

正在他看来，上一个阶段更众是对邦际主流算法的神速跟进杀青以及部门增量式改进，要念陆续领先，下一阶段务必举办真正的自助改进。

2016年，颠末陆续的种植和试错，潘嘉团队受到卷积神经汇集正在图像经管中大放异彩的开导，提出了全新的语音识别框架——全序列卷积神经汇集(DFCNN，deep fully convolutional neural network），行使豪爽的卷积层直接对整句变长的语音信号举办修模，识别成果比拟当时业界主流的递归神经汇集（RNN）相对擢升20%以上。也恰是正在语音识别周围陆续引颈的改进寻找和踏扎实实的落实闭环，才有了而今讯飞输入法98%的通用语音识别率和更贯通的用户体验。

踏上深度进修时期，历经“风雨”，他从一线中走出，把工夫顶天写正在心间，并正在实战中淬炼工夫的深度，他所走过的道自身便是一条“深度”进修之道。

讯飞咨议院有一项邦平院长拟订的根基哀求，重心工夫要维持每年相对30%的成果擢升。而2016年后通用语音识别率已做到95%以上，再往上擢升不单难度大，并且对待用户体验的改进也有限。

下一步擢升空间正在哪里？潘嘉面临压力打开了思索，深度进修固然正在语音周围率先博得凯旋，然而近年来更众的咨议成就出处于预备机视觉等其他宗旨，而这些宗旨与语音本色上是念通的。因而，正在2017年潘嘉迈出了闭节一步，向外物色，从语音识别到自然发言明了、预备机视觉，再到脑科学等，正在扩展畛域与融会流通中寻找工夫的打破点。

正在2017年上半年，潘嘉先后做了机械阅读明了和基于天生反抗汇集的图像天生方面的咨议劳动， 当年夏季他还特地到场了图像周围的顶会CVPR，去进一步和业内专家深度交换、拓展视野。此次参会给潘嘉留下了深入的印象，参会职员不下五千人，现场相当壮丽。

让潘嘉颇有感应的是，做预备机视觉的咨议者们对工夫的咨议尽头深刻，细节把控才干尽头强，许众论文行使的算法尽头亲近，但针对模子构造或者演练算法片面上的校正，就能使一共模子博得很大的擢升。

这种工匠的咨议精神惹起了潘嘉的共鸣，正在聚会完了没众久，他就针对DFCNN的模子构造举办了深刻的剖解解析，将图像识别中的少许算法思绪和模子构造加以校正，引入语音识别中，提出了全序列门控卷积神经汇集（Deep fully gated CNN）模子构造，将语音转写的成果擢升了相对15%。

倘若说，“向外物色”拓展了潘嘉的工夫畛域，那么“向内物色”，则让他走到“田间地头”，从营业场景、用户体验中去推敲工夫的进展宗旨。

2018年前后，潘嘉又做了一个定夺，去讯飞输入法做一年“总工”。总工是讯飞咨议院的一个特点的脚色，阐发着咨议院和营业线之间桥梁和纽带的感化。通过深度参加产物的需求解析、功效打算等经过，可能使咨议员站正在营业的角度去推敲产物对工夫的核肉痛点需求，而且提炼出需求研发的工夫课题。

身为总工，他深度参加到输入法的功效研发和工夫迭代中，与输入法的产物司理、研发司理以及市集司理等同事天天泡正在一道，研发了即修即改、众候选识别结果、语音指令修正、性子化语音识别等众项功效，明显改进了用户的体验。

“唯有带着用户视角思想、并深刻到产物中去，你才显露用户终究重视什么。”潘嘉道道，“倘若没有到营业线去，也许我的思绪如故节制正在怎么把通用语音识别率从95%擢升到97%，但对营业线来说，这并非最要紧的题目，最要紧的是怎样进一步降低用户体验和用户活泼度。这内部需求办理的工夫题目原本有许众，网罗怎么降低识另外响合时间，正在汇集信号欠好时怎么保障识别精度和速率，怎么让高频用户的识别精确率越来越好，倘若神速擢升新的周围专业词汇的精确率等等。如许一来，思绪就所有翻开了，你会察觉咱们的通用识别率固然曾经很高了，然而他日的道还很长。”

从用户体验开赴，潘嘉团队物色出了一个新的评估目标——弗成给与失误。倘若这个失误影响到了这句话的可懂度，或者这个失误主要影响了用户读懂这句话的反合时间，那这个失误便是弗成给与失误。比如，“鹿的角像麒麟的角”这句话，人很容易明了，但机械会识别成“鹿的角像麒麟的脚”。这种失误的存正在，使得语音识别率正在通用数据集上固然已能做到97%，但用户体验却并不睬念，容易变成人直观感染机械识另外并制止，不敷智能。正在语音识别中，，弗成给与失误正在统统的识别失误中或者占比20%。这些失误许众工夫源于机械对待语义深度明了的匮乏。因为这类题目的盛开性和繁复性，也意味着这会是一个陆续的“啃骨头”经过，潘嘉团队也将弗成给与失误率到达人类程度行动了恒久攻闭的宗旨。

他道道，真正无缺的科研该当从用户和产物开赴去界说题目，然后提出办理计划办理题目，再凭据现实用户的反应来验证最初的题目界说，这才是一个闭环的流程。这也恰是咨议院的纲要之一“从工夫中来，到产物中去”。

从一线“烽火”中走出，不息拓展工夫畛域直至协调改进，同时又能躬身入局办理营业现实题目，潘嘉走出了一条顶天速即、盛开见谅的科研之道。

正在先容讯飞咨议院怪异的诀要之后，潘嘉总结到：“方便诚信的人际闭联，吸引了一批有合伙理念寻找、相互相信援助、能打硬仗打胜仗的人，以陆续引颈改进为宗旨、勇于不息‘革本身的命’，物色无人区的同时砥砺自己，浸淀本事论并策动团队合伙发展，我以为这是讯飞咨议院的凯旋之道。”“以战养兵”，通过现实的研发项目造就具有科学家精神的人才是潘嘉贯彻的理念，维系本身的阅历，他以为越是硬仗大仗越能熬炼人。

2020年，一场事闭语音叫醒工夫的“相信紧张”上演。当时，某营业线正在拓展客户中，跟友商PK时正在少数工夫目标上掉队敌手，导致营业订单受到影响。功夫紧，职司重，三个月之内务必正在成果上周密、明显胜过友商。潘嘉重整团队，正在内部倡导“名誉之战”，宗旨便是正在叫醒上从新征战明显领先上风。

当时题目紧要出正在众个营业上各类PK不息，需求针对差别场景对模子举办定制优化，模子就比如一件衣服，当补丁打的过众总有一天就没法穿了。此时模子因为定制的类型过众，容易闪现“跷跷板”的形象（即宗旨场景固然擢升了，然而对其他场景也许有后头影响），此时亟需对一共工夫框架的重构。

潘嘉一方面指挥叫醒团队的工夫担负人“庖丁解牛”寻常，将一共模子演练流程的每个枢纽都齐备翻开来解析，好比数据的组成怎么，数据是怎样搜罗的，搜罗的工夫麦克风摆放的场所，数据加噪的声源从哪里来等等。这些细节的深刻打磨，使得咱们很疾填充了短板、再次告终周密领先。正在这经过中，也使得叫醒团队的工夫担负人对工夫的明了特别的深入，从新征战了工夫引颈的决心。

但潘嘉彰彰并不知足于此，为了彻底办理这个史册遗留题目，他同时还正在举办新框架的推敲，并提出一项原创计划——端到端辅助修模，“从外面上解析，我以为它必定能凯旋”。

然而新框架的落地并非一帆风顺。担负研发的同窗是一年级的新同窗，正在测试了近一个月怎样做都没有用果之后，已发生了放弃的念法。潘嘉带她从新梳理了思绪，和她一道检讨了代码，助助她校正了众个差别层面的题目，并催促她再讲究做一遍。果不其然，计划最终获取了凯旋。最终，他们将敕令词间串扰率降到了1%以下，远超其他行业编制。这位新同窗也正在这个经过中得益满满，而今曾经成为了叫醒团队的中坚骨干气力。

永远维持对AI前瞻工夫的物色，又不息给与一线烽火的浸礼，让潘嘉进一步得到新的“Buff加成”——计谋才干，即真正面向他日去做重心工夫的顶层计议与结构。

众模态工夫的前瞻结构便是一个例证。2018年众模态工夫尚未取得行业注重，学术界体贴度也不像现正在这么高。当潘嘉提出要做众模态工夫时，营业线以及咨议院的少许担负人并不太看好，有人以为，底本通过麦克风举办拾音即可，倘若再加上摄像头，不单扩张了操纵场景计划的难度，还扩张了本钱。

但潘嘉以为，从人类智能的角度开赴，人做的是众模态的感知和外达，通过声响、视觉肢体发言等合伙来传达音讯，他深信众模态工夫会是人工智能的一个趋向。正在咨议院见谅盛开的气氛下，他很疾正在内部组修了一个小团队，举办众模态工夫的物色。

颠末了半年众的工夫攻闭，潘嘉团队办理了众模态数据稀缺以及怎么兼容单模态数据等工夫困难，众模态工夫大放光彩，加倍是正在繁复噪声场景下，语音识别成果或许正在既有本原上擢升相对30%以上。

这一工夫很疾正在讯飞的汽车营业落地，正在业界初度公布了众模态免叫醒工夫。方便来说，正在汽车场景，维系语音、视觉工夫，车主不需求行使叫醒词，随时可能直接下达语音指令，得到特别贯通的交互体验。这一工夫打破，也助攻汽车营业不息的攻城拔寨。

正在“讯飞超脑2030”计谋拟订经过中，潘嘉用普通易懂的发言先容了众模态工夫的上风，并言必有中的指出其正在整个框架下会起到的闭节感化，进一步深化了公司引导对众模态工夫的明了。而今众模态工夫已成为科大讯飞工夫疆域的要紧一块和讯飞超脑2030专项的中心研发宗旨之一。笃信正在潘嘉和团队的种植下，讯飞的众模态工夫将会陆续带来新的打破。

正在新的邦外里埠势下，科技改进已成为归纳邦力的闭节因素之一，他日的科技比赛也会闪现众元化起色的态势。面向更永久的他日，潘嘉目前也将他的劳动重心进入到更本原的人工智能外面和算法的研发上。为此，他正在咨议院设置了跨众个宗旨的前瞻物色组，一方面或许特别用心、从容的举办五到十年以至更长功夫的前瞻本原工夫的物色，其余一方面，他也生机借此造就一批真正的科学家，再由他们指挥讯飞的各个工夫板块一连向前，让讯飞的科学家文明和讯飞咨议院的科研气氛不绝传承下去。

进入前瞻物色组的准绳，他最为重视的便是科学家精神，“生机你对新事物、新算法有好奇心，并有尽头强的有趣去研商；生机你苛谨，不要随便下结论，不要迷信巨擘，或许指出我念法中的亏损，以至把我辩驳；其余生机你有工匠精神，对你做的事变尽心竭力。”他总结道。

也迎接有志于“用人工智能创作美妙他日”的同窗们参与讯飞，一道做“顶天速即”的咨议，成为他日的科学家，策动讯飞咨议院陆续攀高科学的顶峰，用重心工夫领先陆续助力科大讯飞重张旗胀！

潘嘉，中邦科学工夫大学博士，科大讯飞卓异科学家、讯飞咨议院副院长。潘嘉博士正在科大讯飞指挥团队恒久从事机械进修、智能语音等人工智能前瞻工夫的研发，提出了全序列卷积神经汇集、全序列门控卷积汇集等语音识别框架，提出了众通道端到端叫醒敕令词识别联合框架，内容辅助众职司谈话人识别框架等工夫改进。

潘嘉博士指挥团队众次得到CHiME、OpenASR、DCASE、DIHARD等邦际人工智能工夫巨擘评测冠军。潘嘉博士正在邦外里聚会期刊上楬橥论文10余篇，得到授权或公然的发现专利40余项，2019年荣获安徽省科技前进一等奖。