破解AI算力瓶颈：高通量以太网ETH+协议解锁智算
2024-11-11 10:45 • By 欧易
AI技术的爆发性增长引发了对计算能力的空前需求。这场由数据驱动的智能革命不仅为高性能计算技术的发展注入了新的活力，同时也带来了前所未有的挑战，要求算法优化、硬件升级、系统架构等多个维度都进行深度创新，以满足日益增长的计算密集型任务处理需求。
高通量以太网联盟共同主席、阿里云研发副总裁、基础设施网络负责人蔡德忠在采访中谈到：“基于通用计算场景而构建的传统以太网数据中心网络架构只能提供Best-effort（尽力而为的）网络性能，难以满足AI时代对高性能、高稳定性、高可扩展性的算力网络的需求。
在9月24日上午的CCF全国高性能计算学术年会上，由阿里云、中国科学院计算技术研究等超过40家机构组建的高通量以太网联盟对外发布了高通量以太网ETH+协议1.0版本。同时，基于ETH+协议的网络协议IP、开源网卡等硬件和系统也首次公开亮相。以高通量以太网为核心的新一代开放智算网络，正加速从实验室走向产业化应用，为AI大模型时代提供更加坚实的网络基础。
蔡德忠表示，“高通量以太网ETH+协议在帧格式上进行了优化，实现了有效载荷比74%的提升，大幅提高了数据传输效率。同时，通过深度支持链路层和物理层的重传技术，ETH+以太网的语义可靠性得到了显著提升。此外，ETH+还基于RDMA在网计算技术，实现了集合通信性能30%以上的提升，有效解决了传统以太网的问题，使得以太网能够更好地满足AI时代对高效、稳定、可扩展的算力网络的需求。”
高通量以太网联盟由阿里云和中国科学院计算技术研究所联合发起，成员囊括北京大学、平头哥、盛科、腾讯、字节跳动、中兴、新华三、云合智网、壁仞等40余家机构。在此次发布会上，高通量以太网联盟的两位主席：中国工程院院士孙凝晖和阿里云研发副总裁蔡德忠，携手中国科学院院士陈国良、中国工程院院士邬江兴，以及高通量以太网联盟的核心会员代表们共同揭晓并发布了1.0版本高通量以太网ETH+协议标准。
智算网络的底层基础是网络协议。犹如“苹果IOS”与安卓系统，私有化商业协议与硬件强绑定，以太网协议则因开放共建而获得了业界支持。
蔡德忠提到：“联盟集结了产学研用各方的力量，旨在基于开放以太网生态，面向智算网络，研发及制定统一的技术标准和底座。”他强调，联盟的成立不仅促进了国内芯片公司之间的合作与交流，还推动了技术创新和成果转化。他还透露，目前已有多家芯片公司基于ETH+协议实现了相关产品的研发和落地，预计在明年初将有一批基于国产网络芯片的集群面世。
记者了解到，与ETH+协议匹配的开源硬件IP、商业版IP、验证体系及基准测试集等系列成果也一一亮相。其中，基于ETH+协议的的基础网络层IP已实现广泛商业化落地，开源RDMA网卡设计也为业界提供了参考。
谈及ETH+协议的未来发展，蔡德忠充满信心。他表示：“我们相信，随着更多产学研用单位的加入和共同努力，ETH+协议将在全球范围内产生深远影响，为智算网络技术和生态的发展繁荣贡献中国力量。”。雷峰网雷峰网
Tags: 欧易客户端