热资讯!Nebius全栈AI云揭秘 开源模型推理成本降70%


【资料图】

数据显示,Nebius作为从Yandex脱胎的公司,继承二十年分布式基础设施能力,打造出裸金属算力、多租户云、Token Factory托管推理、智能代理层的四层架构。通过硬件自研、编排自控、模型自优化的全栈整合,其将开源模型推理成本最高砍掉70%。

近期机构研报指出,Nebius代表了一种新兴AI云范式,正在推动AI推理从闭源模型依赖向开源模型替代的结构性迁移。研报认为,其自研高密度ODM机架和液冷方案使服务器功耗降低约20%,相比AWS,微调TCO便宜43%,推理TCO便宜112%。此外,GPU弹性打包与双栈调度优化还能回收5-15%的闲置算力。

研报指出,公司收购Eigen AI后推出的Token Factory,可将单GPU Token吞吐提升2-3倍,在硬件成本不变的情况下显著增加收入,同时大幅降低客户全链路部署成本。实际案例中,Revolut因成本压力全面迁移至Kimi 2.5模型,Cosine通过Papyrax框架将Llama 3.3 70B优化至接近OpenAI O3水平。Shopify和Coinbase等企业也通过类似开源路径实现AI支出接近减半。

研报认为,这种成本优势将加速AI应用落地,扩大整体算力需求,为AI云服务商和产业链相关公司打开长期增长空间。尽管存在宏观波动和竞争加剧可能,但开源平权化带来的降本增效趋势已较为明确,相关领域正迎来重要发展机遇。

关键词: 商业频道 快讯

    为你推荐

    重疾险理赔有效期多长时间?重疾险理赔快一月了还没结果

    重疾险理赔有效期多长时间通常情况下,在被保人发现自己患病之后,直至后续的五年的时间,这个时期为理赔有效期,有的保险是两年的时间,具

    来源: 23-05-24

    新疆和硕县通报20例无症状感染者流调轨迹

      中新网乌鲁木齐3月31日电 (苟继鹏)新疆和硕县卫健委主任袁新革31日晚间通报了此前该县新增的20例无症状感染者流调轨迹。  袁新革称

    来源:22-04-01

    崇明长兴岛集中隔离收治点 “医患共治”以真心换真心

      中新网上海3月31日电 (记者 陈静)记者31日获悉,这两天,远郊崇明长兴岛的集中隔离收治点已启动了第二栋收治楼宇,更多的医疗队正在

    来源: 22-04-01

    上海抗疫医护暖心创作:萌萌“大白”上贴纸 “虎年东方签”插画祈愿平安

      中新网上海3月31日电:题:上海抗疫医护暖心创作:萌萌“大白”上贴纸 ‘“虎年东方签”插画祈愿平安  中新网记者陈静  在世博

    来源: 22-04-01

    中国企业历经八年自主研发的消杀防护机加入上海“抗疫”

      中新网上海3月31日电 (孙国根 陈静)记者31日获悉,中国企业研发、拥有全部自主知识产权及原创核心技术的高效动态消杀防护机将被用于

    来源:22-04-01
    返回顶部