7 月 30 日,腾讯云正式发布智能数据湖计算平台 AI DLC,瞄准自动驾驶、具身智能、通用 Agent 等前沿 AI 赛道,打造贯通数据清洗加工、模型训练、在线推理、智能体运行迭代的全链路一体化平台。以腾讯自研 WorkBuddy 智能体为例,接入 AI DLC 之后,同等数据集端到端处理时长缩短 80%,完成相同任务所需算力资源降至原先五分之一。
长期以来,AI 项目普遍采用分离式架构:依靠 Spark 完成大数据清洗与特征处理,数据落地存储后,再通过 Ray 等框架开展模型训练与推理。两套系统相互独立,数据需要反复迁移,算力、元数据、访问权限分开管理,形成显著效率瓶颈。尤其对于具身智能这类持续产生海量图像、传感、动作轨迹多模态数据的领域,数据流转延迟直接拖慢模型迭代速度。
AI DLC 创新性实现 Spark 与 Ray 一体化托管运行,Spark 承接大规模数据处理与特征工程,Ray 负责多模态解析、模型训练、实时推理以及 Agent 任务调度。两套计算框架共享存储、算力集群与权限体系,数据处理完成后直接流入训练环节,省去跨平台搬运开销。该平台也是业内首个能够在单一环境提供生产级 Spark、Ray 全托管服务的数据湖计算产品。
产品采用 Serverless 云原生架构,算力资源可根据任务需求秒级弹性伸缩,按照实际使用时长计费,企业无需长期预留、运维固定算力集群。平台统一纳管 CPU、GPU、TPU 各类异构硬件,依据数据 ETL、训练、推理不同任务动态分配资源,任务结束自动释放算力,显著提升硬件利用率,同时兼容国产主流 GPU 芯片,支撑企业搭建自主可控 AI 基础设施。
为进一步提升多模态数据处理效率,AI DLC 搭载腾讯自研两大核心引擎:向量化计算引擎 Meson、多模态计算引擎 Xpark。Meson 兼容 Spark 生态与标准 SQL,基准测试中查询性能提升 3.6 倍,复杂查询最高加速 5 倍,有效降低 CPU 负载;Xpark 面向图文、音视频多模态数据内置 50 余种大模型算子,对比开源方案推理吞吐提升 3 倍,可长期维持接近满负荷的 GPU 利用率,适配机器人感知数据大规模解析需求。
平台针对性完成 Agent 能力升级,打通智能体持续进化闭环。Agent 运行过程生成的动作轨迹、交互记忆、反馈数据统一沉淀至数据湖,经过清洗加工后用于模型微调,持续优化智能体行为策略。同时平台开放 MCP、Skills 以及 OpenAPI 接口,支持 WorkBuddy、CodeBuddy 等智能体直接调用数据处理、模型训练、智能分析能力。
这套技术方案已经在腾讯内部落地验证。WorkBuddy 持续产生海量对话、文档与用户反馈数据,部分字段单批次容量达到 GB 级别,数据规模月增速超 100%。依托 AI DLC,数据流实现一站式清洗、特征提取、模型后训练与效果评估,形成自动化持续迭代流水线。在外行业场景中,博世利用该架构处理自动驾驶车辆传感与视频数据,平台承载数据脱敏、模型训练、推理任务统一调度,沉淀 200 余项推理模板,每日承接上万次推理任务,持续优化自动驾驶数据闭环效率。
行业发展重心从静态大模型转向可持续自主进化的物理智能体,数据平台的定位也随之迭代,不再仅仅支撑离线数据分析,更需要承载 Agent、具身机器人长期运行与迭代所需的数据基础设施。除 AI DLC 之外,腾讯云围绕 Agent-Ready 持续完善产品矩阵,构建底层计算引擎、统一资源调度层、上层 Data Agent 完整体系,助力企业将海量原始数据高效转化为物理世界智能应用的核心竞争力,为具身智能规模化落地提供关键基础设施支撑。