没有合适的资源?快使用搜索试试~ 我知道了~
Supermicro X12 GAUDI AI 服务器.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 189 浏览量
2024-04-16
08:21:05
上传
评论
收藏 1.6MB PDF 举报
温馨提示
试读
28页
Supermicro X12 GAUDI AI 服务器.pdf
资源推荐
资源详情
资源评论
参考架构
DDN A
3
I
®
解决方案匹配
Supermicro X12 GAUDI AI 服务器
全面集成和优化的基础设施解决方案
支持 Habana Gaudi AI 处理器加速大规模 AI
1. DDN A
3
I 解决方案支持 Supermicro X12 Gaudi AI 服务器 ........................... 2
2. 解决方案组件 ..................................................................................................... 6
2.1 DDN AI400X2 设备 ................................................................................... 6
2.2 Supermicro X12 Gaudi AI 服务器 ............................................................... 7
2.3 Arista 网络 ................................................................................................ 10
2.4 Gaudi 平台来自 Intel公司旗下Habana 实验室 .................................. 11
3. 匹配 Supermicro X12 Gaudi AI 服务器 的 DDN A
3
I 参考架构 ............. 14
3.1 网络配置概述 ............................................................................................ 15
3.2 配置一台 Supermicro X12 Gaudi AI 服务器的架构 .......................... 17
3.3 配置两台 Supermicro X12 Gaudi AI 服务器的架构 .......................... 19
3.4 配置四台 Supermicro X12 Gaudi AI 服务器的架构 .......................... 21
3.5 DDN Insight 分析服务器 ....................................................................... 23
4. DDN A
3
I 解决方案验证 ................................................................................. 24
4.1 AI 基础设施性能验证 ............................................................................... 26
5. 扩展 DDN A
3
I 参考架构匹配大规模 X12 Gaudi AI 服务器 ......................... 27
6. 联系 DDN 了解更多信息 ............................................................................... 28
摘要
DDN A
3
I 解决方案经过大规模验证,可为 Habana Gaudi AI 处理器上运
行的人工智能(AI)训练应用提供最佳数据性能。本文档介绍了经过充分
验证的 DDN AI400X2 参考架构用于可扩展的配置。整体解决方案集成了
DDN AI400X2 设备、Supermicro X12 Gaudi AI 服务器和 Arista 以太网
交换机。
Team[email protected] ▪ ddn.com
A
3
I-RA-220426
2
1. DDN A
3
I 端到端支持 Supermicro X12 Gaudi AI服务器
DDN A
3
I( Accelerated, Any-Scale AI)解决方案经过精心设计,帮助在
Habana Gaudi AI 处理器上运行的 AI 训练应用达到最佳性能。通过 DDN
AI400X2 设备
与 Supermicro X12 Gaudi AI 服务器之间的紧密集成,整体解
决方案能提供可预测的性能,容量和能力。DDN A
3
I 解决方案优化了用于
传输和存储数据的每一层硬件和软件以实现高性能、低延迟和可靠的数据
访问。
DDN A
3
I 解决方案是与 Supermicro 和 Habana 实验室(Intel 旗下公司)紧
密合作设计、开发和优化的优质方案, DDN 的存储设备与 Supermicro
X12 Gaudi AI 服务器的深度集成确保了可靠的体验。 DDN A
3
I 解决方案配
置多样化,可以在多种环境中灵活部署,并且可以无缝地扩展容量和能力以适
应不断演进的工作负载需求。DDN A
3
I 解决方案已部署于全球不同规模的
系统中,从单个 AI 训练系统到大规模 AI 基础设施。
DDN 把用于驱动世界上最大的超级计算机的先进技术也同样用于 X12
Gaudi AI 服务器,DDN 与 X12 Gaudi AI 服务器的集成方案易于部署和管
理。无数案例已经证明,DDN A
3
I 解决方案可为 Habana Gaudi AI 处理器上
的大规模 AI 工作负载带来最大的收益。
本节介绍匹配 Supermicro X12 Gaudi AI 服务器的 DDN A
3
I 解决方案的高级功
能。
DDN A
3
I 共享并行架构
DDN A
3
I 共享并行体系结构和客户端协议确保了 X12 Gaudi AI 服务器高水
平的性能、可扩展性、安全性和可靠性。多个并行数据路径从硬盘驱动器
一直延伸到 X12 Gaudi AI 服务器中 Habana Gaudi 处理器上运行的容器化应
用程序。借助 DDN 真正的端到端并行性,数据在任务中以高吞吐量,低延
迟和高并发方式传输,这确保了应用程序最大化地利用 X12 Gaudi AI 服务器,
使所有的 Habana Gaudi 处理器资源都投入生产使用。优化的并行数据传递
方式直接转化为更高的应用程序性能和更短的完成时间。DDN A
3
I 共享并
行架构还包含冗余和自动故障转移功能,以确保在网络连接中断或服务器
宕机时的高可靠性、弹性和数据可用性。
3
DDN A
3
I 简化深度学习
DDN A
3
I 解决方案为 X12 Gaudi AI 服务器上运行的各种规模的深度学习(DL)
工作流加速了端到端的数据管道。 DDN 共享并行体系结构可跨多台 X12
Gaudi AI 服务器并行、连续执行 DL 工作流的所有步骤,从而消除了管理开销
和在不同存储位置之间移动数据的风险。在应用程序层面,通过标准的高度可互
操作的文件界面访问数据,可提供熟悉和直观的用户体验。
通过同时在多台 X12 Gaudi AI 服务器上执行应用程序以及并行训练候选的神
经网络变量,可以实现显著的加速,这些高级优化充分发挥了 DL 框架的潜力。
DDN 与 Supermicro 和 Habana 及其客户紧密合作开发解决方案和技术,让
那些常用的 DL 框架能够在 X12 Gaudi AI 服务器上可靠地运行。
DDN A
3
I 多轨网络(Multirail)
DDN A
3
I 解决方案集成了广泛的网络技术和拓扑,确保简化的部署和 AI 基础
设施的最佳性能。最新一代的以太网可在应用程序,计算服务器和存储设备之
间提供高带宽和低延迟的数据传输。对于 Habana Gaudi AI 处理器解决方案,
DDN 建议使用以太网及Arista 网络交换机。 DDN A
3
I 的多轨网络功能极大
地简化和优化了 X12 Gaudi AI 服务器的网络,可实现快速、安全且适应力强的
连接。
DDN A
3
I 多轨网络功能可对 X12 Gaudi AI 服务器上多个网络接口进行分组,
以实现更快的聚合数据传输功能。该功能动态平衡所有接口的流量,并主动监视
链路运行状况以进行快速故障检测和自动恢复。 DDN A
3
I 多轨网络功能使设
计、部署和管理高性能网络变得非常简单,实践证明,它可以为大规模基础设
施(X12 Gaudi AI 服务器)部署提供全连接。
4
DDN A
3
I 容器客户端
容器通过封装应用程序及其依赖关系来提供简单,可靠和一致的运行。
DDN 实现了 X12 Gaudi AI 服务器上的应用程序容器和 DDN 并行文件系统
之间的直接高性能连接。通过直接从容器中实现低延迟,高吞吐量的并行数据
访问为应用程序性能带来了显著的优势。此外,多个容器之间共享单个主机
连接到存储的局限性也被消除了。 DDN 容器内文件系统挂载功能是由通
用的包装器添加到 ”运行时”中的,该通用包装器不需要对应用程序或容
器进行任何修改。
Habana 提供针对 H
abana Gaudi AI
处理器专门优化的流行DL框架如
TensorFlow 和 PyTorch 的容器版本,这些容器化版本的 DL 框架为数据科
学家在 Habana Gaudi AI
处理器上快速开发和部署应用程序打下了坚实的基
础。在某些情况下,开源版的容器也可下载,更方便开发者进行集成。 DDN
A
3
I 的容器客户端直接从 X12 Gaudi AI 服务器上的容器化应用程序提供高性
能的并行数据访问,这为容器化的 DL 框架提供了最有效的数据集访问,消
除了计算堆栈其他层引入的所有延迟。
DDN A
3
I 多租户
容器客户端提供了一种简单而可靠的机制,即通过限制容器内的数据访问
来执行数据隔离。 通过 DDN A
3
I 原生的容器客户端和综合数字安全框架,
可以非常简单地运行安全的、大规模的多租户环境。 DDN A
3
I 的多租户功
能让大量用户共享 X12 Gaudi AI 服务器变得简单,并且仍然保持安全的数据
隔离。多租户功能为用户提供了快速、无缝、动态的 X12 Gaudi AI 服务器资
源配置,它消除了资源孤岛,复杂的软件版本管理以及数据在不同存储位置
间不必要的移动。DDN A
3
I 为 X12 Gaudi AI 服务器带来了非常强大的多租
户功能,并为客户的大规模数据密集型应用提供安全、共享的创新空间。
容器也带来了安全挑战:未经授权的权限升级和数据访问都可能造成安全
漏 洞 。 DDN A
3
I 的数字安全框架提供了广泛的控制, 包括全局
root_squash,即使节点或容器的安全性受到影响时,也可以防止恶意用户
未经授权的数据访问或修改。
5
DDN A
3
I 热池(Hot Pools)
热池功能为用户提供了闪存层(热池)和机械硬盘层(冷池)之间文件的透
明自动迁移。热池功能专为大规模操作而设计,可自然地、并行地管理数据移
动,对用户完全透明。基于成熟且经过全面测试的文件级复制技术,热池功能
可以帮助客户实现成本优化,随着存储需求的增长,可独立地扩展机械硬盘
容量,和/或扩展闪存性能层。
DDN A
3
I S3 数据服务
DDN S3 数据服务提供对共享命名空间的文件和对象混合数据访问。对统
一命名空间的多协议访问提供了极大的工作流灵活性和简单的端到端集
成。数据可以通过 S3 接口直接被获取到存储中,并通过文件接口被 X12
Gaudi AI 服务器上运行的应用程序立即访问。共享命名空间也可以通过
S3 界面呈现,以便多站点和多云部署时轻松协作。 DDN S3 数据服务架
构提供了强大的性能,扩展性,安全性和可靠性。
DDN A
3
I 针对 Supermicro X12 Gaudi AI 服务器的高级优化
DDN A
3
I 客户端的 NUMA 感知功能可对 X12 Gaudi AI 服务器进行强大的
优化。它会自动分配线程,以确保整个 X12 Gaudi AI 服务器的 I/O 活动处
于最佳状态,从而减少了延迟并提高了整个环境的利用率。进一步的优化
可以减少从页面缓存中回收内存页的开销。
剩余27页未读,继续阅读
资源评论
百态老人
- 粉丝: 1634
- 资源: 2万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- IMG_0694.GIF
- 基于图像的三维模型重建C++源代码+文档说明(高分课程设计)
- 基于聚焦法的工件立体测量方案,根据数据进行三维重建 使用HALCON处理图像,MATLAB拟合数据+源代码+数据集+效果图
- 锄战三国村 修改:货币使用不减 v1.10(2) 原创 (中文).apk
- 基于python实现的单目双目视觉三维重建+源代码+图像图片(高分课程设计)
- 基于C+++OPENCV的全景图像拼接源码(课程设计)
- 基于Python+OpenCV对多张图片进行全景图像拼接,消除鬼影,消除裂缝+源代码+文档说明+界面截图(高分课程设计)
- 基于C++实现的全景图像拼接源码(课程设计)
- 基于SIFT特征点提取和RASIC算法实现全景图像拼接python源码+文档说明+界面截图+详细注释(95分以上课程大作业)
- 基于matlab实现眼部判别的疲劳检测系统+源代码+全部数据+文档说明+详细注释+使用说明+截图(高分课程设计)
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功