腾讯5项网络技术成果入选国际顶会SIGCOMM/NSDI

文章正文
发布时间:2024-11-22 04:57

刚刚获悉,腾讯5篇网络领域技术论文入选计算机网络通信和系统领域国际顶级会议SIGCOMM/NSDI 2024主会,涉及高性能数据中心网络、数据中心互联网络(DCI)、无线接入网等多个领域,受到国际行业专家的高度认可。

据悉,ACM SIGCOMM和USENIX NSDI并列为计算机网络领域最顶级、含金量最高的旗舰型会议,号称为计算机网络领域的Science和Nature,对论文的质量和数量要求极高,需具有基础性贡献、领导性影响和坚实系统背景,且对互联网发展具有重要影响力,2024年录取率均不到19%。

在数字化浪潮的推动下,全球数据量呈爆炸式增长,网络应用也日益复杂,不仅对网络速度和性能提出了更高要求,网络处理开销也显著攀升。在此背景下,腾讯创新推出了性能通信框架Turbo、DCI智连网MegaTE、拥塞控制算法Pudica、无线网络多路径方案AUGUR、可靠传输技术Hairpin 5项技术,解决了目前网络领域面临的多项难题,为广大企业及用户提供了高效、低成本的方案。

腾讯的高性能网络通信框架Turbo正是在高带宽、低延时网络需求激增的背景下应运而生,它专为Spark大规模部署RDMA网络设计,Turbo系统通过结合随机化传输信息和DCT技术,从数据块层面解决了ECMP哈希不均匀问题。而为了解决DCT技术带来的动态建链延迟问题,Turbo构建了推测传输机制,有效地避免了延时增加和建链失败。

同时,Turbo还设计了二级非阻塞执行模型,实现了通信和计算进程的分离,并提供了RDMA故障逃生的系统容错方案。其包含的网络负载均衡,拥塞算法计算和通信进程协同优化等方面,有效提升了AI、分布式计算、存储、数据库等核心业务的数据处理速度和效率。目前,Turbo已在腾讯大数据平台完成大规模部署,大幅提升数据处理速度和效率,助力用户作业完成时间缩短超20%,完成率提高2.5倍以上。

在云原生技术的驱动下,业务虚拟化分布式部署实现了资源的高效利用,不同业务对网络需求的差异性给传统网络调度方式带来了极大挑战。对此,腾讯创新打造了支持百万量级节点的DCI智连网,在网络系统架构、IP承载协议、业务识别与调度等方面均取得技术突破,实现了业务级的流量差异化调度。通过服务器侧的BD软件系统和EA可编程交换机,DCI智连网能够精准匹配和分类业务流,并构建端网协同的调度系统。针对百万节点流量工程问题,腾讯的MegaTE算法结合网络的分层结构、拓扑压缩和快速SSP技术,确保了求解的高效性、实时性和准确性。目前,DCI智连网已稳定高效地支持腾讯多类业务平台。

云游戏对延迟和码率要求极高,需要拥塞控制算法具备高链路利用率、避免排队和快速响应链路恶化等能力。腾讯云的端到端拥塞控制算法Pudica,是业内首次同时实现“零排队”和高带宽利用率的低延迟传输方案。它通过避免帧级别的排队、自适应pace技术实现高准确性的BUR估计,并结合历史数据设计多种码率控制策略,实现数据包延迟最小化,提高网络带宽利用率和公平性。Pudica已大规模部署,为上千万玩家提供高质量服务。与业界最先进的方法相比,Pudica显著降低了卡顿率和帧延迟。

此外,为解决移动端用户在Wi-Fi下云游戏的延迟问题,腾讯研发了多路径传输框架AUGUR。该框架具备多链路、多连接和多协议组合的网络传输能力,利用蜂窝网络作为备份路径,智能调整视频帧传输,确保延迟维持在时延Deadline之内。同时,通过构建用户会话模型和用户特征量化优化传输,在保持用户的蜂窝网流量消耗的前提下,降低用户的尾部延迟。AUGUR技术成功做到减少66%的尾部延迟、降低99.5%的卡顿率,以及减少88.1%的蜂窝数据使用量。

值得一提的是,针对传统丢包处理方案效果不佳、成本高和延迟难以满足等难题,腾讯推出丢包恢复机制Hairpin,利用边缘节点低延迟环境,对数据包、重传和冗余包进行多轮传输优化。Hairpin的创新点在于,能够区分初始传输和重传,采用不同冗余策略,保持低带宽成本的同时,有效控制卡顿率。同时,Hairpin通过马尔可夫决策过程优化传输时序,并通过实时监测网络状况,动态调整FEC参数。目前,Hairpin平均能够减少40%带宽成本和32%卡顿率,且部署简单,只需在云游戏应用的服务器和客户端进行相应的修改,即可实现无缝集成。

腾讯在顶会SIGCOMM和NSDI上连续多年入选论文,是对其计算机网络技术实力的充分认可。未来,腾讯将继续深耕数据中心网络、互联网络及无线接入网等领域,持续推动技术创新与突破,为全球数据传输、存储和处理能力注入强劲动力,加速企业数字化转型与业务革新。同时,腾讯也将携手业界伙伴,共促计算机网络领域的蓬勃发展。

声明:本文为资讯信息,不代表本站观点;如有违规或您认为该页面内容侵犯您的权益,请联系我们,我们将及时处理。市场有风险,选择需谨慎,此文仅供参考,不作买卖依据。