江苏省人民医院范磊徐卫陆辉黄牛挂号电话乘方科技开源全球首个AI推理“CDN”——GPUFabric,赋能全球分布式可信
黄牛号贩子跑腿代挂号(13241153586)微信需要挂号联系客服(13241153586)各大医院服务项目!专家挂号,办理住院加快.检查加快,产科建档,指名医生挂号北京,上海,南京,天津.广州,各大医院代挂号
11月17日,全球算力运营商乘方科技(北京)有限公司宣布:其倾力孵化的核心技术项目GPUFabric向全球开源。开源的GPUFabric成为全球首个“AI原生”的分布式推理交付网络 (AI Inference Delivery Network),其设计理念如同“AI推理的CDN”,旨在通过智能路由和P2P技术,以Rust驱动高性能、安全、分布式的AI推理交付,将AI模型推理能力安全、高效、低延迟地交付给全球用户,为其开创的“算力银行”宏伟蓝图和“人人储算、人人享算”的下一代AI基础设施提供坚实的技术底座。
利用开源GPUFabric可把分散在世界各地、藏在内网的AI算力(GPU)轻而易举地安全地连接起来,组成一个高性能的全球“AI服务网络”。它使算力提供者能够轻松地向全球分享算力并提供服务,并把AI模型和数据始终留在自己的电脑上,既安全又私密。而对 AI使用者,则无论身在何处,都能享受到离自己最近的、超低延迟的AI推理服务。GPUFabric提供的技术“粘合剂”,使得乘方科技的“算纽算联储”平台能将全球加入网络的、无论是大型数据中心还是个人贡献者的GPU资源连接起来,形成一个统一的算力池。这不仅为AI开发者提供了更低成本、更低延迟的MaaS (模型即服务) 选择,也为算力所有者提供了“人人储算,人人享算”的途径,最终实现算力资产的数字化流动与全球市场化运作。这无疑领衔了算力分享与AI服务网络的革命进程。
随着大型语言模型(LLM)和生成式AI应用的爆炸性增长,AI推理的需求正从集中的大型数据中心向边缘和用户侧快速下沉。然而,随之而来的是高昂的延迟、复杂的数据隐私挑战以及难以管理的分布式算力资源。传统的CDN专为静态内容设计,无法满足AI推理这种高动态、高安全、低延迟的计算需求。GPUFabric的诞生正是为了解决这一痛点。它是一个高性能的分布式AI推理网络,允许AI模型实例安全地部署在企业私有基础设施、边缘节点甚至个人设备上。通过其智能路由核心(服务器调度)和轻量级客户端Agent,GPUFabric能够解决以下问题:
一、智能路由请求:像CDN一样,自动将用户的AI推理请求转发到地理上最近、负载最低的可用模型实例。
二、保障模型隐私:模型和推理数据始终保留在算力提供者自己的基础设施中,通过TLS 1.3端到端加密传输,确保数据和模型资产的绝对安全。
三、实现NAT穿透:使处于内网或防火墙后的AI服务(如本地运行的Ollama、vllm)无需公网IP即可安全地对外提供服务。
以开源技术奠基“算力银行”宏伟愿景。GPUFabric的开源是乘方科技“算力银行”战略的关键一步。“我们坚信,AI的未来是分布式的,算力平权是实现这一未来的前提,”乘方科技创始人兼CEO姚俊梅博士表示,“要构建一个全球联通、全链贯通的‘算力银行’,让全球分散的GPU资源实现价值最大化,我们就必须有一套统一、高效、安全的‘算力结构网’(Fabric)。GPUFabric就是这套结构网的开源实现。”
Rust与XDP驱动的极致性能与安全。为满足企业级AI推理的严苛要求,GPUFabric在技术选型上毫不妥协:
●Rust语言核心:项目基于Rust语言和Tokio异步运行时构建,确保了内存安全、高并发和接近“零成本抽象”的极致性能,实现亚毫秒级的请求路由。
●XDP内核级防护:在Linux环境下,GPUFabric利用XDP (eBPF) 技术,在网络驱动程序级别实现内核级包过滤和API密钥验证,能以超低延迟抵御DDoS攻击,远在请求到达用户空间应用之前。
●多层缓存与认证:系统结合PostgreSQL数据库、Redis缓存(减少约0%的数据库负载)和API Key验证,构建了高效且安全的多层认证体系。
●异步消息队列:通过集成Apache Kafka,系统可以异步处理客户端心跳和请求跟踪,提高了高并发场景下的系统鲁棒性。
路线图:迈向P2P混合架构。GPUFabric的未来发展蓝图同样雄心勃勃。项目路线图显示,团队正在从纯粹的客户端--服务器模型转向更高效的P2P混合架构。通过集成libp2p库,利用STUN/TURN/ICE协议实现NAT穿透和自动中继,GPUFabric将能够:在用户和AI 推理节点之间建立P2P直接连接,进一步消除中转延迟。大幅降低中心服务器的带宽成本。构建一个更具弹性、可扩展性更强、真正去中心化的分布式AI计算生态。
共建下一代AI基础设施。乘方科技此次将GPUFabric开源,不仅是技术自信的体现,更是对其“连接全球GPU资源,共建下一代 AI基础设施”理念的践行。可以预见:全球的开发者、AI研究者、算力提供商以及对分布式系统感兴趣的技术爱好者将加入 GPUFabric社区,共同贡献代码、完善文档、探索应用场景。
需要挂号联系客服 北京上海南京广州天津西安医院黄牛号贩子跑腿代挂号
