启元智算开源 340 亿参数模型,2048 张加速卡训出 128K 上下文

环球科技网 人工智能 线记者核对原始记录后发出这篇报道:2 月 18 日在上海张江发布的开源模型上下文窗口 128K,训练用了 2048 张加速卡、连续 38 天。
2026年2月18日上午,启元智算在上海张江的研发中心发布了开源大模型 QY-34B,参数规模 340 亿,上下文窗口 128K。发布现场同步放出了训练日志,日志显示训练集群由 2048 张加速卡组成,连续运行 38 天,累计消耗约 41 万千卡时。
模型的训练数据构成也在日志里公开:中文语料占 46%、英文占 38%、代码占 11%、其余为多语种与技术文档。团队负责人说明,340 亿这个规模是在 7 组对照实验后定下来的,参数量再往上加时,单位算力带来的评测分数增幅从 2.1% 降到 0.6%。
推理侧的关键数字是 128K 上下文下首字时延 210 毫秒、单卡吞吐 1420 token/s,测试环境为 8 卡单机、批次大小 16。为了压住长上下文的显存占用,团队用了分块注意力加 KV 缓存量化,量化到 8 位后精度损失在长文任务上表现为 0.7 个点的下降。
开源协议允许商用,但要求在衍生产品中标注原模型名称。截至 2 月 20 日 18 时,代码托管仓库的下载量 1.7 万次,社区提交的适配问题 236 条,其中 41 条与国产加速卡的算子兼容相关。
同一天,上海一家做工业质检的公司宣布基于 QY-34B 微调出缺陷分类模型,把标注样本量从 12 万条压到 3.4 万条,产线误判率从 4.8% 降到 2.3%。这条消息给开源策略提供了一个可核对的落地样本:模型开源 48 小时内就出现了垂直行业微调。
