根据 Beating,MIT Kaiming He 的团队最近发布了 ELF(Embedded Language Flows),一种语言扩散模型,它不同于 GPT 类模型所使用的自回归“预测下一个 token”方法。相反,ELF 在连续嵌入空间中进行文本生成,并仅在最后一步转换为离散 token。
在 OpenWebText 的无条件生成基准中,参数量为 105M 的 ELF-B 在 32 步采样下实现了约 24.1 的生成困惑度(Gen. PPL),优于多种离散与连续扩散语言模型基线。值得注意的是,ELF-B 仅需要约 450 亿训练 token,大约比可比方法少一个数量级,而这些方法通常超过 5000 亿 token。
免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
三星计划在 Q4 开始大规模生产 CXL 3.1 AI 服务器内存模块
据《The Korea Herald》报道,三星电子计划在第四季度开始为 AI 服务器量产其 CXL 3.1 内存模块,此前该公司在第三季度进行了样品出货。CMM-D 3.1 模块将 DRAM 和 CXL 控制器集成在一块板上,支持最高 1 TB,并在 PCIe 6.0 上提供高达每秒 72 GB 的带宽。三星此前已向包括 Microsoft 和 Amazon 在内的 40 多家公司出货了 CXL 2.0 样品。
GateNews1 分钟前
前阿里巴巴 AI 研究员林俊林创办了一家估值约 20 亿美元的新 AI 实验室
据 The Information 报道,阿里巴巴前 AI 研究员 Linjun Lin 最近成立了一家新的人工智能实验室。该初创公司的估值预计约为 20 亿美元。
GateNews3 分钟前
Anthropic 正在洽谈以至少 3 亿美元收购开发者工具初创公司 Stainless
据《The Information》,Anthropic 正就以至少 3 亿美元收购开发者工具初创公司 Stainless 进行深入洽谈。Stainless 的开发者工具已被 OpenAI 和 Google 采用。
GateNews23 分钟前
Andrew Ng:“AI 不会引发失业大潮”,软件工程招聘仍强劲
AI 领域知名学者、DeepLearning.AI 創辦人 Andrew Ng(吳恩达)5 月 12 日於 X 与 The Batch 电子报发文主張「AI 不会引发失业大潮(jobpocalypse)」、直接反駁主流 AI 失业恐慌敘事。根據 Andrew Ng 原推,这篇貼文獲得逾 2,600 次按讚、是当週 AI 领域最具話題性的觀点文章之一。 Ng 的核心論点:软體工程招聘仍然強勁、失业率維持 4.3% Ng 用三組具體數據反駁「AI 將造成大規模失业」的敘事: 软體工程是受 AI 工具影響最深的产业(編碼代理人快速进步),但软體工程師的招聘仍然強勁 儘管 AI 进展快速,美国目前失业率維持在 4.3% 的健康区间 从歷史经验看:AI 創造的新工作數量、明顯高於它取代的工作數量、与过去技術浪潮一致 Ng 直言:「AI—就像其他任何技術一樣—確实影響工作、但講述大規模失业的誇大故事是不负责任且有害的。我們应該制止这類敘事。」 为什麼「AI 失业」敘事如此流行:Ng 点出 3 个誘因 Ng 指出 3 个結構性誘因、解釋为什麼这套敘事被持续放大: 第一、前沿 AI 实验室自身有強誘因
鏈新聞abmedia1小时前
百度的昆仑芯“天池”256 节点超级节点将于 6 月上线,吞吐量提升 25%
据百度称,5 月 13 日在 Create 2026 开发者大会上,公司宣布其昆仑芯“天玑”256 卡超算节点将于 6 月正式上线,吞吐性能较上一代提升 25%,推理效率提升 50%。 该超算节点已完成对包括文心、DeepSeek、GLM 和 MiniMax 在内的主流模型的适配,通过升级 HPN 5.0 网络架构,端到端时延优化 50%。它支持按需构建从数万到数百万卡的集群。
GateNews2小时前
Cerebras IPO 定价高于 150-160 美元区间,因巨量需求融资 4.8B 美元
据彭博社报道,Cerebras Systems 计划于 2026 年 5 月 13 日将其 IPO 定价在 150-160 美元区间之上,且对本次股票发售的需求较可供发售的股份大幅增长,超过 20 倍。该 AI 芯片制造商提供 3000 万股股份,若按最高区间定价将募集 48 亿美元。这也将使其成为今年美国规模最大的 IPO(不包括私募配售)。公司在 2025 年实现净收入 8790 万美元,营收为 5.1 亿美元;而在 2024 年净亏损为 4.848 亿美元,营收为 2.903 亿美元。Cerebras 计划在纳斯达克上市,股票代码为 CBRS。
GateNews2小时前