|
NVIDIA 于 2026 年 10 月 13 日发布技术文章，介绍用于 Apache Spark 的 cuDF skills：让编码智能体协助把会导致 GPU 流程回退到 CPU 的用户自定义函数（UDF），改写为可在 GPU 上运行的实现。工作流拆分为生成并验证测试、转换实现、比较 CPU/GPU 基准、继续优化四个环节；遇到失败或回归时，结果会回到修正流程，而不是只凭模型生成代码。
文章给出三条迁移路线：简单逻辑优先用 Spark SQL 表达式；中等复杂度可使用 cuDF 的 RapidsUDF 接口；更复杂或对性能要求高的逻辑可通过 JNI 调用自定义 CUDA kernel。NVIDIA称，一家大型消费科技公司用该工作流迁移了 30 多个生产 UDF；其中一个 6000 亿行的工作负载，算子耗时从 274.55 小时降到 12.78 小时，约 22 倍。
该方法面向 Spark 数据工程师和 GPU 数据平台团队，价值在于把代码正确性检查和性能测量纳入智能体开发流程。需要注意，22 倍是文章所述单项生产工作负载的结果，不代表所有 UDF 或集群；迁移仍需 NVIDIA cuDF Spark 插件、兼容 GPU 环境和针对业务语义的测试，文章没有承诺无需人工审核即可安全替换生产逻辑。
官方来源：https://developer.nvidia.com/blog/rewrite-apache-spark-udfs-gpu-acceleration-ai-agents/ |
0