声网联合迈吉客科技等启动全球首个实时互联网生态

来源：中国网
 
近日，在全栈RTC服务商声网Agora.io主办的RTC2017实时 互联网大会上，声网联合appMagics迈吉客科技等多家国内外厂商， 发起全球首个实时互联网生态圈AgoraPlus。该生态圈专注于实时互 联网领域，希望通过与RTC相关的技术、产品和服务的深度整合， 创新场景应用，为开发者提供最大化的价值。 RTC作为一种底层的能力，它本身代表着以声音、视频为载体 和媒介的实时沟通，应用场景的普适性非常强。比如，在社交、直播、 游戏等泛娱乐行业、在线教育、在线医疗、企业协作等行业，RTC 都可以作为基本能力嵌入其中。当RTC被应用到不同行业的时候， 需要和很多不同的技术、产品、服务聚合起来，满足更多样化的创新 玩法和场景需求。 appMagics迈吉客科技就是声网的深度合作伙伴之 一，为开发者创造出丰富的创新场景应用。 appMagics迈吉客科技的联合创始人及CTO金宇林应邀在大会 的 R T C 场 景 应 用 技 术 专场做了主题为“ 实 时 混 合 现 实 的 互 动 模 式 和 应 用 场 景 ”的演讲。

　　(图：金宇林演讲)

金宇林与参会开发者们分享的内容：感谢声网的伙伴邀请我来做 演讲。appMagics迈吉客科技的技术主要应用在文娱教育领域，愿景 是用我们的实时混合现实引擎帮助用户想象力的视觉传达，让世界多 些创意和想象，我们的引擎在Avatar和SDK两大产品方向上应用： 一是通过人脸识别相关技术控制虚拟人物的表情和动作;另一个是通 过混合现实和强大的交互能力，把3D的体验和效果搬到每个人的手 机里。 大家知道，最近的一个热点话题就是苹果发布了 iPhone X 的 Animoji3D表情包，这个技术的由来是拍摄好莱坞大片使用的动作和 表情的专业捕捉设备，都是高大上的影视级别的，需要RGBD摄像 头或者在人的脸上和身上关键节点设置传感器。而appMagics迈吉 客所做的就是通过计算机视觉和计算机图形学的技术，让这样的体验 变成最普通的智能手机也可以玩起来的消费级的能力和体验，能够让 最普通的大众触手可及，而且是跨平台的，iPhone能用，安卓手机
能用，普通PC能用，Mac也能用，这就是appMagics迈吉客科技 的核心竞争力之一。

　　(图：appMagics的Avatar技术)

它的背后涉及到三方面的技术原理：第一是人脸关键点识别与跟 踪，第二是表情分析和映射，第三是三维模型的控制。具体来讲，人 脸关键点识别和实时跟踪，就是根据脸部标注的关键点，比如，哪里 是眉毛、哪里是眼睛、哪里是嘴等，让摄像头清楚看懂人的面部。表 情分析则是说，根据识别和跟踪到的面部关键信息比如眉毛、眼睛、 嘴等进行的运动，预测用户是闭眼还是说话，开心还是悲伤。而三维 模型的控制则是用面部关键信息，来驱动构建好的虚拟形象，去学习 和模拟用户的表情。 我们的技术是完全由自己的团队来自主研发的。为什么需要团队 自主研发呢?因为现在CV(计算机视觉)领域，最大的市场是安防 和金融。对于安防和金融领域，计算机视觉主要的作用是，在很短的 时间内判断是不是某个人。而我们的应用领域是在文娱教育领域，专
注在情感的表达，即计算机所识别到的表情是否精细、虚拟表情所模 拟的效果是否精准等。这是两个完全不同的目标，没有办法兼容。另 一方面，与iPhoneX使用的RGBD三维摄像头不同，我们不需要依赖 硬件，通过普通的RGB二维摄像头，用算法实现三维的人脸关键点 数据。苹果是在3D系统(RGBD摄像头)的基础上做，而我们是在 2D系统(RGB摄像头)上，所依赖的软硬件系统不同。简单来说就 是，原本普通RGB摄像头不容易捕捉的部分，我们靠算法来弥补， 在客观硬件基础不具备的情况下，也能将表情动画玩起来，而且看不 出来太大的差别，甚至更精细。也就是说，通过算法，尽量降低玩表 情动画的硬件要求和硬件成本。目前我们在iPhone6上就能玩起来， 安卓机也能玩。 我们的Avatar技术有很多应用领域，比如：使用在IP动画内容的 生产中，可以让真人来演绎动画，不再像传统生产方式那样一帧帧地 去做，这样可以大幅度降低成本、提高效率、提高观众的体验;还可 以用在直播领域，让IP虚拟形象实时地跟粉丝互动，也为不愿意露脸 的主播或声优解决了痛点;还有，在线下活动中，可以让虚拟主持人 或虚拟形象跟真人主持人实时互动，给观众带来震撼的体验。目前的 合作伙伴有知名IP泰迪家族、僵小鱼、粉墨宝贝等，腾讯动漫的企鹅 娘，还有游戏主播小漠等; 目前看技术的发展趋势，AR(增强现实)会比VR(虚拟现实) 离我们的生活更近。appMagics迈吉客的AR技术，可以帮助我们的 合作伙伴，在耗能最优化的情况下，在app中做出各种场景的效果：
比如刮风、下雨、下雪等，或者让大黄蜂出现在我们的办公室中;还 有目前直播app需求最强烈的美颜、魔贴、3D头盔和礼物互动等功 能，给用户带来非常强的交互体验。凡是有相机功能的APP，或手 机里面的相机集成，都可能呈现这类的视觉效果。appMagics迈吉客 透过SDK开放授权赋能给合作伙伴， 可以让直播和短视频等各类app 立即拥有目前市面上最火的AR效果和各种实时互动能力。用我们提 供的实时混合现实能力，结合声网高效稳定的RTC服务，可以让大 家来实现各种有趣的互动创意。我接下来展示的这个游戏 Face Dance就是我们技术的一个交互感非常强的应用场景，类似于消消乐 或跳舞机的玩法，当你做出跟屏幕上一样的表情时，就会得分。

　　(图：FaceDance展示)

那么app合作方的设计师可以怎么使用我们的技术呢?举个例 子，比如：我们如果需要叠加小熊的耳朵和大胡子这个效果，设计师 可以在mac或PC上，使用我们的设计工具，在虚拟形象的脸上放 好这些元素，保存好，用我们的工具打包，在手机里面，就可以得到 所见即所得的效果。设计师可以很方便地调试魔贴，在虚拟形象相应 位置的2D或3D元素，就可以直接映射到真正玩家的脸上了。

　　(图：SDK各种能力集合)

同样，我们的SDK也是跨平台的版本，在ios，安卓、PC等平 台都可以使用。我们的魔法商店后台提供了很多DIY元素，配置好 之后可以自动创建一个场景。SDK有各种输出和输入流的格式选择， 提供人脸关键点数据、美颜相关的参数配置，各种特效风格和编解码 传输API等。通过非常简单的程序调用，合作伙伴就能快速拥有目前 市场上最流行的各种AR效果了。 appMagics迈吉客科技深度参与声网主导的实时互联网生态圈
AgoraPlus，希望通过与RTC相关的技术、产品和服务的深度整合， 帮助合作伙伴创新应用场景，为开发者提供最大化的价值。 以上就是我的分享，非常感谢大家!
背景信息
RTC实时互联网大会在美国已成功举办8届，是全球范围影响 最大最权威的实时通信行业技术会议。该会议吸引了来自全球数万名 开发者和技术大咖参加，Google、Ericsson、Oracle、 Intel、Agora.io、 Mozilla、 Avaya等公司均曾在大会上分享过各自在实时通信领域的技 术、应用与经验。