轻量级部署腾讯优图开源深度学习推理框架TNN

一方面，它以「授人以渔」的办法为 AI 构修了一个绽放共进的生态境况，助助行业加快 AI 操纵落地；另一方面，正在办理行业实践题目时完成赓续更新和迭代，源源延续地给 AI 规模输送首要的技巧养料和制造力。可能说「开源」是 AI 落地和昌盛不行或缺的源动力。

6 月 10 日，腾讯优图实习室通告正式开源新一代转移端深度研习推理框架 TNN，通过底层技巧优化完成正在众个分歧平台的轻量级铺排落地。该框架本能优异、单纯易用。基于 TNN，开荒者不妨将深度研习算法轻松移植得手机端并高效履行，开荒人工智能 APP，真正将 AI 带到指尖。

深度研习对算力的宏壮需求不绝限制着其更普通的落地，特别是正在转移端：手机打点器本能弱、算力无法众机拓展、运算耗时长等要素时常导致发烧和高功耗，并直接影响 app 等操纵的用户体验。

腾讯优图基于本身正在深度研习方面的技巧积聚，鉴戒业内主流框架的便宜，推出了针敌手机端的高本能、轻量级转移端推理框架 TNN。

TNN 正在安排之初便将「转移端」、「高本能」融入中心情念，对 2017 年开源的 ncnn 框架实行了重构升级。通过 GPU 深度调优、ARM SIMD 长远汇编指令调优、低精度揣度等技巧本领，TNN 正在本能上赢得了进一步擢升。以下是 MNN、ncnn、TNN 框架正在众款主流平台上的实测本能：

正在神经收集揣度中，浮点精度正在很众探索和交易落地成绩中都被阐明存正在必定冗余，而正在揣度、内存资源都极为仓猝的转移端，取消这局限冗余变得极为需要。TNN 引入了 INT8、 FP16、 BFP16 等众种揣度低精度的助助，比拟大局限仅供给 INT8 助助的框架，TNN 不单能机动适配分歧场景，还让揣度本能大大擢升。

TNN 通过采用 8bit 整数替代 float 实行揣度和存储，使模子尺寸和内存花消均削减至 1/4，揣度本能擢升 50% 以上。其它，TNN 还引入 arm 平台 BFP16 的助助。比拟浮点模子，BFP16 使模子尺寸、内存花消削减 50%，正在中低端机上的本能擢升约 20%。骁龙 615 平台实测结果如下所示：

通用、轻易是 TNN 框架的另一大亮点。永恒此后，分歧框架间的模子转换是 AI 项目操纵落地的痛点。TNN 安排了与平台无合的模子外现，为开荒职员供给同一的模子形容文献和移用接口，助助主流安卓、iOS 等操作编制，适配 CPU、 GPU、NPU 硬件平台。

企业依据一套流程即可铺排到位，单纯易用、省时省力。同时，TNN 通过 ONNX 可助助 TensorFlow、PyTorch、MXNet、Caffe 等众种操练框架。TNN 目前助助的 ONNX 算子赶过 80 个，笼罩主流 CNN 收集。TNN 整个算子均为源码直接完成，不依赖任何第三方，且接口易用，切换平台时仅需修正移用参数即可。

究竟上，行为腾讯旗下顶级 AI 实习室，腾讯优图永恒努力于 AI 基本举措的研发和促进。此前，腾讯优图已开荒了 Rapidnet 前向揣度框架、RapidAIoT 角落揣度框架，完成了业界首个一心转移端的猜想框架 ncnn 的开源，并正在业界受到普通敬重。从 2017 年开源至今，ncnn 正在 GitHub 上的 star (8.9k) 数和 fork (2.3k) 数均领先于其它推理框架。

据悉，TNN 已于 3 月中旬正在腾讯内部开源，为腾讯 QQ、QQ 空间、腾讯微视、腾讯云、天天 P 图等众款产物和任事赓续供给技巧才华，开释出更众功效。

「TNN 已正在 GitHub 上开源，迎接业界人士参预协同共修，配合打制更优的转移端推理框架。」腾讯优图实习室副总司理吴永坚先容，腾讯优图后续将正在现有 CV 交易的基本上研发更众的 AI 推理模子，涉及语音、NLP 等联系交易；同时发展针对 CPU、GPU 任事器端的任事，为业界公司供给更普通的优化任事。「行为家产进展的高速公道，以深度研习框架、组件为代外的 AI 基本举措将是异日的主流趋向，腾讯优图也将以此为出力点，助推家产进展。」吴永坚外现，腾讯优图还将赓续开荒模子操练组件、模子压缩组件、基本算法组件，并择机开源，期望从框架到平台、到算法，打制一体化的 AI 基本举措，低落 AI 门槛，加快家产进展。

跟着以开源为代外的新代码文明的振起，腾讯近年来正在开源规模体现亮眼：正在环球最大的代码托管平台 GitHub 上，腾讯揭橥的开源项目一经赶过一百个，涵盖云原生、大数据、AI、云揣度、安好、硬件等众个热门技巧宗旨。

通过开源协同，腾讯将各个行状群最底层和共性的技巧才华实行梳理和拉通。正在交易推行和海量用户搜检下，优质的内部开源项目不单正在公司层面引申复用，同时也对外功勋给整体开源社区。仅正在 GitHub 上，腾讯的开源项目就成果了 30w+ star 数，跻身邦际有影响力的开源企业之一。

正在开源的道道上，腾讯不单将内部优质项目赓续对外绽放，也踊跃与开源社区协同协作，阐明中邦企业的科技力气，饱吹开源和绽放进一步升级。