塔式训练推理工作站的关键点
双卡沐曦曦思 N260 64G + 128G DDR5 服务器内存
Intel Xeon 4610 处理器,1200W 服务器电源
可同时加载双模型(70B+)并行推理,或单模型双卡加速
适配 vLLM、TensorRT-LLM、TGI、LMDeploy、SGLang
支持 LoRA/QLoRA 微调与增量预训练
液冷压制双卡热量,支持 24×7 稳定运行
| 形态 | 18L 塔式机箱 |
|---|---|
| GPU | 双卡沐曦曦思 N260 64G |
| 内存 / CPU | 128G DDR5 / Intel Xeon 4610 |
| 推理框架 | vLLM / TensorRT-LLM / TGI / LMDeploy / SGLang |
| 能力 | 双模型并行 / 单模型双卡加速 / 本地微调 |
| 适用 | 院内 AI 节点、研究院、实验室 |
医院 AI 数据中心与医学研究院
多科室共享的高性能推理节点
大模型本地化微调与部署测试