互联网产业的蓬勃发展推动着数据中心网络的强劲增长。然而网络流量的快速增长和服务需求的不断变化，给网络运营带来巨大负荷和压力。传统粗放的网络运维模式和以提速扩容为主的网络建设方式，已经无法有效解地决这些挑战。网络效能的提升才是数据中心网络可持续发展的根本。

       流量调度和路由控制作为网络的核心功能，决定数据流在网络中的传输路径，已成为当前学术界和工业界普遍关心的研究课题，也是本项目研究的目标。

       目前数据中心网络中广泛采用的路由协议是最短路径优先算法和基于哈希的等价多路径路由。这两类算法都是考虑数据流到路径的静态映射，忽略了链路的负载情况和数据流本身的大小和要求，从而不可避免地出现数据流碰撞问题，导致链路拥塞，负载不均衡和网络性能下降。本项目研究了一套能感知网络状态并做出自适应调整以实现网络资源和性能优化的路由方案。

       3.集中式或半集中式的方案，都基于对网络的建模，然而实际场景下的网络环境十分复杂，流量需求也在时刻动态变化，对网络进行准确建模非常困难。近年来，机器学习技术的飞速发展给路由算法设计带来了更多的可能性。本项目利用强化学习技术提出了一类能自适应网络变化的逐跳路由方案，无需集中控制能直接适配现行的路由协议。该方法无需对网络环境进行复杂的假设和建模，而是利用真实的数据对模型进行训练，从更深层次挖掘路由选择与反馈的网络指标如时延之间的关系，学习一个网络全局优化的路由策略。

四、下一步计划

       基于机器学习的智能路由在降低数据包时延和提升网络负载能力上已显现出巨大的潜力，是实现未来互联网突破的关键技术。下一步本项目将会在该领域进行理论与实践两方面的研究。在理论方面，沿着项目的研究成果，继续探讨利用多智能体强化学习解决数据包路由及流量工程问题，设计合适的多智能体强化学习的奖励机制以加速学习和稳定收敛，同时实现多目标优化，研究局部可观察的协作式多智能体强化学习理论和机制。在实践方面，研究基于强化学习的智能路由算法在真实网络场景下的训练与部署框架，探讨大规模网络下的路由训练机制。

五、项目成员

       陈怿、曾思亮、许行飞、麦轩、付权智、蔡序鸿