现在的位置:主页 > 综合新闻 >

可编程的流式计算框架:YoMo(3)

来源:电脑编程技巧与维护 【在线投稿】 栏目:综合新闻 时间:2021-07-09

【作者】网站采编

【关键词】

【摘要】YoMo features 04 通过之前的讲座,在座的嘉宾多少对QUIC协议有一定的了解,这些内容就快速通过。 QUIC优点是非常多的。最好的就是最下面的两点。一个是

YoMo features

04

通过之前的讲座,在座的嘉宾多少对QUIC协议有一定的了解,这些内容就快速通过。

QUIC优点是非常多的。最好的就是最下面的两点。一个是User space,我在开头开放性那里也提到过User space,可以更方便的进行软件升级。TCP内核态的升级就没有那么方便。二是拥塞控制算法。根据不同的场景进行灵活的控制,具有更高的可编程性。

QUIC在业内的应用实践音视频方面比较多。国内很多的大厂在两三年前就开始研究音视频方面的应用。QUIC对性能的提升帮助很大,包括卡顿率等等。因为看好QUIC 的前景,加之工业领域应用很少,所以我们想推动QUIC在工业、IoT领域的运用。

这里视频借用了阿里手机淘宝的视频,左边采用多通道的QUIC,右边没有采用。如果WiFi出现抖动的,左边可以通过蜂窝网络流畅运行,而右边只用到 WiFi 就出现卡顿的情况。

自研的 Y3 Codec我们称它为faster than real-time。如果是传统的JSON的话,就需要拿到完整数据以后进行解码。针对IoT,例如之前提到的噪声,只要获取噪声分贝的字段即可。对此,我们使用了TLV的结构。结构里的Tag相当于 JSON的key。通过监听Tag是不是用户关心的,如果是就直接获取,不是则skip,再根据Length判断需要skip多少字节。

性能测试中Y3 Codec相比JSON提升超10倍以上,与Protobuf相比也有明显的提升。下表所展示的是一些性能报告。

响应式的编程用excel的应用来形象的说明。假设a=b+c,那么对b、c进行修改a也会有动态的响应,这种模式是十分适合数据随着时间变化的场景。

ReactiveX也针对异步数据提供了一个良好的编程模型。ReactiveX最早是由微软提出。在操作异步数据时可以使用一些通用的方法,就会像操作同步数据一样方便,只要组合几个常用的函数就可以操作异步数据流。

假设每30ms都会传递一次数据,可实际场景可能是连续两个30ms都没有数据,第三个30ms突然出现三个数据。针对这种场景我们实际只要获取最新的数据即可。使用 Rx 可以简化这个问题,使用 debounce 即可获取每 30ms 内的最新一条数据。

Streaming Serverless让用户不需要操作QUIC Stream,只需要操作Rx Stream。可以根据业务需求进行Operator方法的组合即可。另外市面上很多Serverless服务在本地调试比较麻烦,所以YoMo支持CLI的方式本地运行和调试。

边缘计算

05

边缘计算各位多多少少也有一定了解

整个行业的趋势是从之前的大型机通过终端连接变成PC端去中心化场景。发展到移动互联时代又回到了中心化的云计算中心。到IoT时代因为数据量的巨大,需要边缘端进行分布式来缓解云计算中心的压力。边缘计算虽然越来越重要,但是边缘计算并不会取代云计算,他们会共同存在。

边缘计算的优势一是降低传输距离。二是就近计算更快的响应。第三,比较重要,边缘计算可以保护安全隐私。很多工业企业并不是很愿意把数据传输到公有云服务上,所以隐私保护显得格外重要。最后一点就是低成本。边缘计算可以减少带宽传递的成本。

云计算和边缘计算的对比发现,云计算的性能更强但时延、带宽成本较高,边缘计算恰恰相反。云计算和边缘计算在使用上互补,以满足不同场景的使用需求。

对此我们做了Geo-Distributed Edge Cloud。用户可以根据时延需求来部署在不同的地方。低时延可以部署在城市级节点。如果有数据监管要求则可以部署在私有云。另外部署在云计算中心也是可以实现的。

总结

06

最后对今天的汇报进行一个总结。

YoMo的项目背景是面向未来可编程的开放性。针对网络传输提出gRPC for IoT——全链路采用QUIC以及Y3 Codec 高性能编解码。另外为了加快用户开发APP的速度,提出了Streaming Serverless的框架。针对YoMo的使用场景,运行在WebAssembly会比Docker更加具有优势。最后边缘计算方面YoMo可以基于Geo-Distributed Cloud进行就近部署。

文章来源:《电脑编程技巧与维护》 网址: http://www.dnbcjqywh.cn/zonghexinwen/2021/0709/1203.html

上一篇:Fami通新一周销量榜 《第一次的程序设计》二连冠
下一篇:糟糕程序员的编程风格。。。

电脑编程技巧与维护投稿 | 电脑编程技巧与维护编辑部| 电脑编程技巧与维护版面费 | 电脑编程技巧与维护论文发表 | 电脑编程技巧与维护最新目录
Copyright © 2018 《电脑编程技巧与维护》杂志社 版权所有
投稿电话: 投稿邮箱: