数据留在内网
模型、影像和结果在可控环境中运行与保存。
方案价值
算力先对准任务目标
先用真实任务建立性能基线，再确定计算、存储、网络、软件环境与承载设备。
性能有真实基线
用端到端任务确定显存、并发和存储需求。
模型能够接入业务
从单次脚本运行扩展为接口化、可记录的推理服务。
扩容路径明确
提前规划单机、一体机与多节点之间的演进方式。
算力规划
把任务换算成算力配置把任务规模换算成可验证、可扩展的算力配置
不只确认软件能否安装，还要记录端到端耗时、资源占用、数据吞吐和并发表现，形成首期规模与扩容依据。
GPU / NPU 适配效率
依据框架、算子和精度边界验证候选平台，记录转换工作量与真实计算性能。
显存、内存与模型装载
结合参数规模、输入尺寸、量化方式、批量策略和并发数测算单实例资源占用。
端到端吞吐与时延
把解码、切片、推理、后处理和数据读写一起测试，形成单任务与并发性能基线。
多卡调度与横向扩展
按日任务量和高峰并发确定单机、多卡或多节点形态，并规划任务队列、监控与扩容。
形成的算力依据
✓ 异构算力适配结论✓ 显存与并发基线✓ 端到端性能记录
方案架构
任务从哪里进，结果从哪里出系统怎样组成，任务怎样流动
方案把任务输入、计算承载、软件环境和成果交付连成一条完整链路。
1准备可验证的任务
业务数据与大模型
- •模型与框架
- •影像 / 点云数据
- •基准输出
2把数据转为模型输入
预处理与任务服务
- •解码与切片
- •任务队列
- •批量与并发控制
3完成模型运行
本地大模型一体机
- •GPU / NPU
- •推理引擎
- •容器与运行环境
4把能力接入业务
结果与运维接口
- •后处理与结果文件
- •API / 内网服务
- •日志与资源监控
落地组合
按使用规模选择组合从单点验证到正式交付，选择合适组合
从小范围验证开始，按使用人数、任务规模和运行环境逐步扩展。
组合 01
验证现有模型能否迁移和运行模型验证型
- ✓单台 GPU 或 NPU 验证设备
- ✓模型转换与依赖环境
- ✓代表性样例数据
- ✓结果与资源记录
实现结果：得到模型适配结论和性能基线
组合 02
在内网提供稳定推理服务私有一体型
- ✓AI 一体机
- ✓推理服务与接口
- ✓本地数据盘
- ✓日志、监控与运维文档
实现结果：形成可调用、可记录的私有推理能力
组合 03
承担批量任务或多人并发多节点服务型
- ✓多台 AI 节点
- ✓任务调度与队列
- ✓共享存储与高速网络
- ✓统一监控与扩容设计
实现结果：支持任务高峰和后续横向扩展
典型任务
遥感大模型本地部署任务链路以遥感影像目标提取服务为例
把输入、执行过程和交付结果放在一条链路上核对。
任务输入
- • 已训练模型
- • 代表性影像
- • 目标输出格式
- • 并发与时限要求
执行链路
- 1. 影像切片
- 2. 模型推理
- 3. 结果合并
- 4. 质量核对
- 5. API 或文件输出
交付结果
- ✓ 模型适配记录
- ✓ 推理性能基线
- ✓ 样例识别结果
- ✓ 服务部署与运维说明
建议承载方式
算力结论确定后，再选择承载设备
产品用于承载已经确认的计算、存储与网络需求；最终型号和配置以样例测试及项目环境适配结果为准。
典型推荐配置
承载设备的参考配置
对应落地组合给出设备档位参考，配置项均来自现有选配范围；最终型号和参数会结合软件版本、数据规模和并发要求，在样例测试后确认。
模型验证环境 · 单机起步
模型迁移验证、精度回归和小样本试跑，先确认可行再定生产规模。
- 机型
- 2U 轻量推理型机架式服务器
- 平台路线
- 鲲鹏 + 昇腾生态，配 openEuler 或银河麒麟
- AI 加速卡
- Atlas 300I Duo ×2，FP16 合计约 280 TFLOPS
- 内存
- 256GB ECC
- 存储
- 系统盘 + 8TB 数据盘，样例数据多可升约 15TB NVMe
- 网络
- 双口 10GE
先用代表性样例完成模型转换、算子检查和精度回归，再固化生产配置。
私有推理一体机 · 主力生产
内网稳定推理服务、批量影像解译和部门级共享调用。
- 机型
- 4U 主力推理型机架式服务器
- 平台路线
- 鲲鹏 + 昇腾生态，配 openEuler 或银河麒麟
- AI 加速卡
- Atlas 300I A2 ×4，FP16 合计约 1.1 PFLOPS
- 内存
- 512GB ECC
- 存储
- NVMe / SSD 约 15TB，承载批量影像与模型目录
- 网络
- 4 口 25GE / 10GE
内网离线部署可预装依赖镜像与模型目录；推理并发按模型规模和卡数确认。
多节点推理集群 · 批量与并发
日任务量大、多人并发调用和后续横向扩展。
- 推理节点
- 4U 主力推理型 ×N，每台 Atlas 300I A2 ×4，按任务量扩展
- 调度节点
- 鲲鹏 920 双路平台 · 256GB ECC
- 共享存储
- 企业级集中存储（华为 OceanStor 等），影像与模型统一挂载
- 网络
- 25GE 业务网络，高吞吐场景可配 200GE 互联
- 机柜
- 42U 标准机柜
单机任务链路验证通过后再扩展节点，任务队列、监控与共享存储协同联调。
测试与验收
验收依据可核对把“跑通”变成可核对的验收依据
具体阈值和测试时长由双方根据版本、数据与项目目标确认；所有结论对应明确的测试环境与样例范围。
模型可装载
模型和依赖在目标环境中正常加载，转换或适配步骤有完整记录。
结果可核对
样例输出与基准结果完成一致性或允许偏差核对，异常样本有说明。
性能有基线
记录端到端耗时、资源占用、批量与并发表现，作为最终配置依据。
服务可运维
接口调用、日志、启动停止、异常恢复和版本信息按约定方式交付。
形成的交付资料
01
异构算力适配结论
02
显存与并发基线
03
端到端性能记录
04
推理服务环境
05
扩容与运维资料
交付范围
交付范围与边界包含什么，哪些工作需要另行确认
范围边界会在测试前写入任务清单，避免把硬件适配、软件开发和第三方服务混在一起。
基础方案包含
- ✓模型、框架与算子依赖梳理
- ✓代表性样例推理链路测试
- ✓GPU 或 NPU 环境与显存配置建议
- ✓端到端耗时和资源占用记录
- ✓部署、调用、日志与运维说明
需要另行确认
- ○重新训练、数据标注和算法精度优化
- ○大量自定义算子开发或模型结构重构
- ○第三方推理框架、商业模型和软件许可证
- ○正式生产系统的高可用改造与长期运维
相关案例
从相似任务了解交付方式
查看公开客户信息与典型任务，判断方案是否接近您的软件、数据和部署环境。
常见问题
提交前常见问题
还有不确定的信息，可以先提交现有材料，再一起补齐测试范围。
01NVIDIA 模型能迁移到国产 NPU 吗？＋
需要结合框架版本、模型结构和自定义算子验证。通常先完成模型转换和小样本测试，再判断改造工作量与性能差异。
02为什么不能只看显卡算力？＋
遥感推理还包含影像解码、切片、前后处理、存储读写和结果汇总，端到端测试比单看理论算力更接近真实业务。
03完全离线的内网能部署吗？＋
可以规划离线部署，但需要提前准备依赖包、镜像、许可证和升级方式，并确认模型及组件允许离线使用。
04设备有具体配置可以参考吗？＋
可以。页面给出了模型验证、私有推理一体机和多节点集群三档典型推荐配置，AI 加速卡、内存、存储均为现有选配范围内的真实配置；最终配置会在用你的模型和样例数据验证后确认。
用真实样例确认方案用一组真实样例，确认这套方案是否合适
提供现有软件、模型或典型数据，我们先确认测试范围、所需材料和建议承载方式。