Palantir Sovereign AI OS Reference Architecture with NVIDIA

The future of AIis on-prem.AI 的未来在于本地部署。

< 01 > Introduction< 01 > 简介

Together withNVIDIA, we havedelivered a referencearchitecture thatsolves the mostchallengingcomputationalproblems and can bedeployed inenterprise datacenters around theworld. In a radicalco-design ofsovereign AI, we areproud to introduce:The PalantirSovereign AIOperating SystemReferenceArchitecture withNVIDIA我们与 NVIDIA 携手打造了一套参考架构，旨在解决最具挑战性的计算难题，并可部署在全球各地的企业数据中心。在主权 AI 的激进协同设计中，我们很荣幸地推出：Palantir 主权 AI 操作系统与 NVIDIA 参考架构。

“AI is redefiningtheinfrastructurestack —demanding,latency-sensitiveanddata-sovereignenvironmentsrequirefull-stackoptimizationfrom silicon tosystems tosoftware,” saidJustin Boitano,vice president,Enterprise AIPlatforms,NVIDIA. “BycombiningPalantir’ssovereign AI OSreferencearchitecturewith NVIDIA AIinfrastructure,industries andnations canturn data intointelligencewith speed,efficiency andtrust.”NVIDIA 企业 AI 平台副总裁 Justin Boitano 表示：“AI 正在重新定义基础设施架构——对延迟敏感和数据主权要求极高的环境，需要从芯片、系统到软件的全栈优化。通过将 Palantir 的主权 AI 操作系统参考架构与 NVIDIA AI 基础设施相结合，各行各业和各国政府都能以更快的速度、更高的效率和更强的信任度，将数据转化为智能。”

Together, Palantir andNVIDIA deliver a robust,fully integrated AIoperating system,optimized for NVIDIA AIinfrastructure andPalantir’s suite of softwarecapabilities. Thisarchitecture acceleratesdeployment andmaximizes performanceacross on premises, edge,and sovereign cloudenvironments.Palantir 与 NVIDIA 共同提供了一个稳健且完全集成的 AI 操作系统，该系统针对 NVIDIA AI 基础设施和 Palantir 的软件套件进行了优化。这一架构能够加速部署，并最大限度地提升本地、边缘及主权云环境下的性能。

< 02 > Infrastructure< 02 > 基础设施

Unveiling theturnkey AIdatacenter—fromhardwareprocurement toapplicationdeployment.推出交钥匙式 AI 数据中心——从硬件采购到应用部署一站式解决。

The Palantir + NVIDIA AI OS Reference Architecture delivers a complete, production-ready AI infrastructure. It is based on NVIDIA Enterprise Reference Architectures, tested and qualified to run Palantir’s complete software suite — including AIP, Foundry, Apollo, Rubix, and AIP Hub — and combines:Palantir + NVIDIA AI 操作系统参考架构提供了一套完整的、生产就绪的 AI 基础设施。它基于 NVIDIA 企业参考架构构建，经过测试和认证，能够运行 Palantir 的全套软件（包括 AIP、Foundry、Apollo、Rubix 和 AIP Hub），并集成了以下部分：

< A >< A >

NVIDIA AI InfrastructureNVIDIA AI 基础设施

Runs on NVIDIA Blackwell Ultra systems with eight NVIDIA Blackwell Ultra GPUs and NVIDIA Spectrum-X™ Ethernet networking for AI training and inference运行于配备八个 NVIDIA Blackwell Ultra GPU 的系统之上，并采用 NVIDIA Spectrum-X™ 以太网网络，以支持 AI 训练与推理。

< B >< B >

Palantir Compute InfrastructurePalantir 计算基础设施

Hardened Kubernetes substrate running Foundry services (Catalog, Alta, Multipass, etc.)运行 Foundry 服务（如 Catalog、Alta、Multipass 等）的强化 Kubernetes 基底。

< C >< C >

Unified Management Plane统一管理平面

Rubix (zero-trust Kubernetes) + Apollo (autonomous deployment & lifecycle management)Rubix（零信任 Kubernetes）+ Apollo（自主部署与生命周期管理）。

< D >< D >

AIP PlatformAIP 平台

Enterprise AI platform connecting LLMs to organizational data and operational systems将大语言模型（LLM）与组织数据及业务系统相连接的企业 AI 平台。

< E >< E >

Full-Stack NVIDIA Software Acceleration全栈 NVIDIA 软件加速

NVIDIA AI Enterprise, NVIDIA CUDA-X™ Libraries and NVIDIA Magnum IO™NVIDIA AI Enterprise、NVIDIA CUDA-X™ 库及 NVIDIA Magnum IO™。

↳ Reference Architecture↳ 参考架构

Review thefullSovereignAI OSReferenceArchitecture查看完整的主权 AI 操作系统参考架构

Read

< 03 > Computation< 03 > 计算

Deliveringmaximalcomputationalpower whilemaintainingcompletesovereignty.在保持完全主权的同时，提供极致的计算能力。

The NVIDIA-Palantirpartnership represents afundamentally differentapproach to enterprise AI,one that delivers the fullperformance of NVIDIAtechnology — from theinfrastructure layer, to theapplication interface andbusiness logic — all whileenabling the customer tomaintain completesovereignty and own theend-to-end infrastructurefor their agenticenterprise.NVIDIA 与 Palantir 的合作代表了一种根本不同的企业 AI 方法。它在发挥 NVIDIA 技术全部性能的同时——从基础设施层到应用接口及业务逻辑——使客户能够保持完全的主权，并拥有其智能代理企业所需的端到端基础设施。

The Sovereign AIReferenceArchitecture isparticularly criticalfor customers with:主权 AI 参考架构对于以下客户尤为关键：

Existing GPU infrastructure拥有现有 GPU 基础设施的客户

Latency-sensitive workflows有延迟敏感型工作流需求的客户

Data sovereignty requirements有数据主权要求的客户

Geographic distribution有地理分布需求的客户

Tactically,customers benefitfrom the jointexecution of aNVIDIA ForwardDeployedEngineers, whofocus oninfrastructureoptimization andmodeldevelopment, andPalantir ForwardDeployedEngineers, whofocus on workflowdevelopment andplatform operation.Specifically:在战术层面，客户将受益于 NVIDIA 前线部署工程师（专注于基础设施优化和模型开发）与 Palantir 前线部署工程师（专注于工作流开发和平台运营）的联合执行。具体包括：

NVIDIA
↳ FDEsNVIDIA ↳ 前线部署工程师

Configure GPU clusters for specific workloads为特定工作负载配置 GPU 集群

Integrate CUDA-X GPU-accelerated libraries集成 CUDA-X GPU 加速库

Train custom models on proprietary organizational data利用组织专有数据训练定制模型

Fine-tune models for complex tool calling and multi-step reasoning针对复杂的工具调用和多步推理任务对模型进行微调

Optimize deployment for latency requirements针对延迟要求优化部署

Integrate next-generation architectures as they become available在新一代架构发布时及时进行集成

Palantir
↳ FDEsPalantir ↳ 前线部署工程师

Build operational applications that encode organizational tradecraft构建能够体现组织专业技能的业务应用程序

Establish governance frameworks that satisfy regulatory requirements建立符合监管要求的治理框架

Create reusable patterns that accelerate future development创建可复用的模式以加速未来开发

Deploy AIP using NVIDIA infrastructure with optimized integration利用 NVIDIA 基础设施部署 AIP，并实现优化集成

Enable AI-assisted development through AIP FDE, AIP Assist, AIP Analyst, and the full ecosystem of 70+ workflow tools通过 AIP FDE、AIP Assist、AIP Analyst 以及包含 70 多种工作流工具的完整生态系统，实现 AI 辅助开发

Transfer knowledge to internal teams for sustained capability向内部团队传授知识，以实现可持续的能力建设