AREX Feed Article
deepset 扩展 Haystack Enterprise Platform，欧盟委员会 AI@EC 的基础平台新增智能体治理与成本比较能力
在 大会期间，柏林软件公司 deepset 于 10 月 21 日其 Haystack Enterprise Platform。这个平台是 AI@EC 的基础——后者是欧盟委员会在其管理的基础设施上构建与运行 AI 应用的共享平台。按 ，此次更新面向所有客户，把智能体（agent）的开发、执行、优化与治理串成一条链路，并新增运行成本比较、答案质量评估与问题追踪能力；用于查找与排序相关信息的共享服务由 NVIDIA Triton Inference Server 支撑。
同一篇博客把 deepset 的扩展与一批欧洲公共部门项目并列：波兰在建的医学影像平台与覆盖数百个劳工办公室的智能体系统，法国面向两千多家合格机构的主权协作办公套件，secunet 等公司为涉密信息场景开发的主权云方案，以及 10 月 20 日刚在 Hugging Face 上线的两个合成 persona（用户画像）数据集。文中各项部署与能力均出自 NVIDIA 及相关公司的公告口径，属当事方陈述。
AI@EC：欧盟委员会 32,000 名公务员背后的共享平台
还原了 AI@EC 的来路。欧盟委员会约有 32,000 名公务员，第一个生成式 AI 项目 GPT@EC 是一个在委员会自有数据和系统上训练与运行的对话助手。它证明了 AI 的价值，也暴露出缺口：机构没有底层平台来构建、治理和扩展 AI，各部门开始各自搭工具，组件无法复用。三大约束让问题比一般机构更棘手：敏感非涉密（Sensitive Non-Classified，SNC）数据不得离开欧盟控制的基础设施、不得暴露给非欧盟司法辖区，公有云因此不在选项之内；EUDPR（第 2018/1725 号条例）、《欧盟 AI 法案》和委员会内部 AI 规则同时适用，机构级合规要求审计轨迹、可解释性、访问控制和人机协同校验；平台还得让工程师和非技术员工都用得起来。
委员会为此选择与 deepset 共同开发，而不是采购一套现成产品：AI@EC 由 deepset 与委员会数字服务总局（DG DIGIT）并肩完成架构设计、与 DIGIT 数据中心和 API Manager 的集成、安全与护栏，全部运行在委员会管理的设施上。平台提供自助环境，各部门不写代码就能构建、测试、部署和治理生成式 AI 应用，智能体、知识管理、文档摘要、聊天机器人、多语言政策分析都有模板可用；借助现成的模型、护栏和提示词模版，团队几天内就能从想法走到工作原型。治理是结构性设计：由法律、IT 与政策专家组成的 AI 治理委员会审查所有 AI 项目的合规性；自动化护栏实时监控输入与输出，标记偏见、错误信息或数据泄漏——护栏由 AISS 服务驱动，它最初由委员会联合研究中心（Joint Research Centre）开发，现在由 DIGIT 的 B.1 部门运营，以 API 调用方式嵌进每条管道；所有交互都留有审计轨迹，SNC 数据处理全部留在委员会管理的设施内，配合 EU Login 认证、基于角色的权限和自动脱敏。
“有了 AI@EC 平台，我们可以更有条理、更连贯地管理生成式 AI 项目，监控关键绩效指标，及早发现问题，并在广泛的用例之间复用组件。”DIGIT.B.1 数据与 AI 专业服务团队负责人 Emmanouil Maragkoudakis 在案例研究中说。NVIDIA 博客将这次扩展描述为建立在 AI@EC 这类部署验证过的运行要求之上。
扩展补上的环节：成本账本、答案评估与 Triton 推理服务
deepset 新闻稿给出的细节是：Haystack Enterprise Platform 现在可以按模型、智能体、服务和团队显示 AI 支出，集中报表与生产追踪并列呈现；团队可以找出昂贵或不可靠的环节，比较不同模型与 harness（模型外围的编排层）配置，系统评估某项改动是否在满足任务所需质量的前提下降低了成本。即将推出的增强会把这一循环进一步自动化：持续向生产中的智能体推荐降本提质的改动，部署前仍需人工批准。
支撑检索的组件是 NVIDIA Triton Inference Server：deepset 用它运行共享的、GPU 加速的 embedding（向量化）与 reranking（重排序）服务，对应博客所说的“用于查找与排序相关信息的共享服务”。部署方式不锁死：平台可以装在公有云、STACKIT 这类主权云或客户自托管的基础设施上，共享的权限、策略与用量控制约束智能体对模型、工具和数据的访问。
“AI 的经济账，不会靠挑最便宜的模型、或者默认用本周领跑市场的那个模型来解决。”deepset CEO Milos Rusic 在新闻稿中说，“目标是以符合你质量与安全要求的最低成本完成任务。有时这意味着一个更小的专用模型，有时意味着改进围绕大模型的 harness。我们帮助组织两头都做、度量结果，并保持对系统的主权控制。”
这次发布还包括定制模型服务：deepset 的 Forward Deployed Engineers 评估客户需求，选择、适配或后训练模型，按质量与成本目标评估后再接进生产智能体流程，模型归客户所有，Haystack 的模型无关编排再把它们与更大的 LLM、企业数据和工具连起来。deepset 称这类工作已服务于欧洲委员会、德国联邦研究、技术与航天部（BMFTR，用 AI 助手做项目资助指引）和博世（DRIVE Companion 支持 SAP 迁移团队）。
合成用户上考场：Nemotron-Personas 与 NeMo User Sim
NVIDIA 博客给出的路线是：开放模型让政府可以自行评估、按本地语言和公共服务改造、跑在自己控制的设施上、套用自己的护栏，把敏感数据留在受控环境；部分开放模型连训练数据也公开，政府可以核查数据是否获得授权、有无偏见、是否合规。在这条路线上，多个合作方正围绕 制作国别版本——它是 的底层数据，这个开源库用人口规模的用户模拟，在本地语言里动态评估并训练模型与智能体。
仓库自述写明了机制：从基于真实人口普查、由概率图模型生成的数百万合成个体中抽样，让模拟用户用自己的语言与模型或多轮智能体系统对话；每次运行产出可审计的轨迹——评估信号、失败分析和整理好的训练数据，在生产流量出现之前就能拿到。仓库页面称，该库现有 14 类探针、覆盖 9 个国家的 11 个语言环境，累积了 800 万个以上基于人口普查的合成 persona。
两个新版本均采用 CC BY 4.0 许可，可用于商业或非商业用途。据 Hugging Face 数据集卡， 由伦敦的主权 AI 计算机公司 Locai Labs 与 NVIDIA 合作制作，包含 100 万条记录、合计 600 万个英文 persona，覆盖英国四个构成国、372 个地方政府辖区，分别锚定英格兰与威尔士 2021 年人口普查（ONS）、苏格兰 2022 年人口普查（NRS）和北爱尔兰 2021 年人口普查（NISRA）；生成过程使用 18 块 NVIDIA GPU，算力分布在云端与本地混合环境，其中包括 Locai Labs 自己的 Locai 1 计算机。 由 NVIDIA 与 Soofi 合作完成——后者是一个由德国 AI 研究机构和初创公司组成、为德国产业与公共部门开发主权开源基座模型的联盟；按 NVIDIA 博客的说法，它包含 100 万条记录、每条六个合成 persona，数据集卡确认其以德国联邦统计局（Destatis）及各州统计局发布的 2022 年人口普查（Zensus 2022）为底，覆盖全部 16 个联邦州和 400 个县区，全部数据人工合成、不含真实个人隐私数据，仅限成年人。按博客的说法，这类数据集用于检验公共服务模型在不同地区、年龄群体和社区中的表现是否一致，也可以配合 NeMo User Sim，用基于合成 persona 的模拟用户评估和训练模型。
NVIDIA 还在与波兰的 SpeakLeash 和斯洛文尼亚卢布尔雅那大学合作，为合成 persona 计划增加国别版本，本地化数据集随后推出——这仍在计划阶段。
波兰、法国、希腊：从医疗影像到公务办公的落点
Deloitte 正在协助波兰用开放模型构建医疗与就业服务的智能体系统。波兰 eHealth Centre 在 NVIDIA DGX BasePOD 和 MONAI 框架上建设面向医学影像的智能服务平台，帮助医生分析 X 光、CT 与 MRI 影像、发现异常并优先安排紧急病例，缩短患者等待结果的时间。在 Deloitte 支持下，波兰家庭、劳动与社会政策部正在 NVIDIA 加速计算设施上建设一个智能体工厂（agentic factory），设计上支持 400 多个劳工办公室，运行 PLLuM、GPT OSS 和 Inkling 等模型做文档检索、摘要和数字助手，帮职员更高效地服务求职者。
法国的方向是办公套件：法国数字服务公共采购机构 CANUT 选定 LINAGORA 与 Docaposte，基于 Twake.ai 提供主权协作办公空间，提供电子邮件、文档共享与协作工具，NVIDIA 技术支撑语音转录，基础设施托管在法国。超过 2,500 家合格组织——市政、学校和医疗机构——无需自行招标即可使用该框架，Occitanie 大区是扩大部署的首选合作伙伴。希腊 AI 与能源公司 KIEFER 则在 NVIDIA DGX SuperPOD 与 DGX GB200 上建设智能体工厂，配以 Sophea 开放权重模型和希腊语的知识检索、语音与数字助手工具。
同一公告还点名了 NVIDIA Open Models Codefest 的五强团队：Pleias、Zehnlab.ai、Disseqt、Algoritmica GmbH 和 ABA Technology，把开放模型做成医疗推理、AI 辅导、模型治理等方向的本地可控方案，训练与部署算力由 Deutsche Telekom 和 T-Systems 提供。
德国两条线：本地数字人平台与面向涉密信息的云方案
德国的部署分两条线。Materna 正在推出 Sinfonie，一个把生成式 AI、语音交互与 3D 化身组合起来的本地化平台，NVIDIA Audio2Face 可用于动画；它源自为一个德国州政府做的项目，员工用口头提问获取机构知识，数据留在组织自己的设施上。
另一条线走得更远。按 NVIDIA 博客，secunet、NVIDIA、Red Hat 与 deepset 四家公司正为处理涉密信息的组织再进一步：共同开发一个构建在 secunet SINA Cloud 基础之上的主权云方案，SINA Cloud 包含已获准用于涉密信息的安全组件；这一计划中的方案组合四个部分——NVIDIA 加速计算与 Nemotron 开放模型、用于部署和管理 AI 工作负载的 Red Hat OpenShift AI、deepset 的 Haystack 智能体编排，以及由 secunet 在德国数据中心运营的基础设施。
这两条线都还没有走完：涉密云方案在博客中仍是“计划中的方案”；而按 deepset 案例研究，AI@EC 平台已上线、正在吸纳新用户，下一个主要里程碑是把 GPT@EC 迁移到平台上——它是规划中数十个用例之一。