27
2024
06
01:01:51

一次说清楚vSAN传统架构配置

这里说的vSAN传统架构,就是VMware文档中提到的OSA(Oraginal Storage Architecture),从vSphere 5.5版本开始到7.0,只支持OSA,8.0以后除了支持OSA外,还支持ESA(Express Storage Architecture),ESA我另找机会向大家介绍。

按我的分析,OSA架构是借鉴了路坦力(Nutanix)的设计,当我看到路坦力设计时,大概是2013年,SSD的价格还很贵,这个设计就是利用SSD的高性能,作为读写缓存,提升超融合存储的性能,算是个划时代的产品,VMware的vSAN借鉴了这个思路,当年路坦力的产品依附在VMware平台上,而VMware几乎是抄袭了路坦力,最后导致路坦力和VMware翻脸。

vSAN是由磁盘组构成,每个磁盘组中必须有一块SSD作为缓存和一个容量磁盘(HDD或SDD);数据的写入总是先写到SSD缓存,完成后就会向上面的虚拟机OS回复写入完成,然后vSAN会将数据整理好,落到容量磁盘上,虚拟机的写入实际上就是在使用SSD, 由于SSD的低延迟,就可以大大提升用户体验;在介绍数据读取的行为前,需要先解释下混合模式和全闪模式,如果用机械磁盘作为容量磁盘,就是混合模式,如果用SSD作为容量磁盘,就是全闪模式;混合模式下,vSAN会将30%的SSD容量用于写缓存,70%的容量作为读缓存,当虚拟机发出读的指令时,vSAN会先检查数据是不是在读缓存SSD中,避免从机械磁盘上读取产生的高延迟;而全闪模式下,vSAN设计者认为,没有必要再设计读缓存,所有的缓存SSD的空间都用于写缓存,而数据的读取直接从SSD容量盘读取;如果不想知道这些细节,可以把磁盘组理解成一个火车,SSD缓存是火车头,容量磁盘就是车厢,SSD缓存的性能好,火车才跑得快。

vSAN的基本设计规则是:
每个磁盘组包括一块SSD缓存和1-7块容量磁盘(hdd或SSD)
每个服务器至少有一个磁盘组,最大5个磁盘组
服务器上需要安装esxi,需要配置启动介质(HDD,USB,NVME)
虽然支持千兆作为vSAN网络,要发挥发挥SSD性能,建议万兆
vSAN内置于esxi中,无需安装额外软件
vSAN和vSphere集群结合在一起,每个集群一个vSAN存储
vSAN需要vCenter进行集中管理

下面将一些问题的细节展开进行说明

  1. vSphere 版本
    旧一些的服务器使用6.7 u3b之后,新服务器使用7.0u3或8.0u1以后,更早的版本问题太多,不推荐使用;安装的软件只需要准备好esxi和vCenter的介质

  2. 集群中服务器数量
    vSAN最少支持2台服务器集群,最大64台,我建议是4台起,因为4台服务器组成的集群,在故障的时候,可以自动修复,而2台,3台组建的vSAN没有这个能力,故障时,如果不及时修复,如果再出现故障,就有丢失数据的风险

  3. 服务器的型号
    最好采用VMware兼容列表中的服务器型号,如果是vSAN Ready Node就更好,考虑扩展性,服务器能支持的硬盘盘位越多越好,大多数的场景下,建议支持16块磁盘,所以1U的服务器一般不考虑。在同一个集群中的服务器配置最好是一致的,如果做不到配置也要尽量接近,否则会出现性能上的不稳定。

  4. 两路服务器还是四路
    从性价比和资源均衡看,两路服务器比较合适,由于受到vSAN磁盘组数量和物理服务器空间限制,磁盘空间可能不足,往往会造成CPU资源浪费

  5. vSAN的额外开销
    vSAN自身会消耗CPU和内存,如果要说清楚,需要专门写一篇文章,我将这个问题简化,大家在规划的时候,可以按最大消耗2个CPU物理核 + 30 G内存来估算

  6. 磁盘控制器
    这是vSAN中最核心的部件,一定要采用vSAN兼容性列表中的控制器,尽量采用直通模式,RAID1会增加维护的复杂度,磁盘控制的队列深度越大越好,只有一种情况下可以考虑vSAN不兼容的磁盘控制器,就是SSD缓存是采用U2或其他nvme方式,这时SSD缓存不通过磁盘控制器,降低控制器的负荷,但仍然需要严格压力测试验证稳定性。

  7. SSD缓存
    也是vSAN中关键的部件,一定要采用vSAN兼容列表中的产品,性能方面建议采用 Class E以上,耐写性方面需要Class C;芯片都是读写密集型TLC,早期产品会有MLC,不能用QLC;接口方面,只能用SAS或NVME(包括U2),在很早期可以见到SATA接口的,现在基本淘汰了;如果nmve模式的磁盘可以例外,可以不在vSAN兼容性列表中,需要注意的是最好是U2接口的磁盘,另外要留意其耐写性,如果磁盘不耐写入,就需要维护的时候额外关注;SSD缓存是vSAN的火车头,性能比SIZE更重要,我的测试表明,400G的高性能可以打败3.84T的低性能!

  8. SSD缓存大小
    在6.7和7.0版本下,全闪模式vSAN最大能用到缓存为600G,混合模式时最大2T(600G写缓存,1400G读缓存),配置更大的缓存,并不会被使用,但可以延长缓存的寿命;8.0的写缓存可以通过修改高级参数的方式,提高到1600G, 但目前还不清楚读缓存是否继续按之前的比例关系提高,如果继续按之前的比例读缓存最大会到3733G;混合模式下,VMware建议缓存和容量盘上数据大小比例,注意这个是一份数据(Working Set)的大小:
    数据 :缓存 < 10
    如果按通常两个副本,容量上限70%来计算缓存,最小的缓存大小可以按一下公式:
    容量盘合计 /2 *70% /10
    在全闪模式下,容量盘和缓存的比例还没有统一的说法,好在6.7和7.0最大只能用到600G,而8.0最大也就1.6TB,现在的SSD的价格跌了很多,我建议配置到上述的最大值以上,这个成本应该不是问题

  9. esxi启动盘
    如果不是8.0版本,都可以考虑U盘启动,我之前文章中已经详细做了解说;如果要用磁盘启动,记住不要和vSAN共用控制器,另外配置专门的控制器,如果不想增加磁盘控制器,一定要和vSAN控制器共享,可以考虑单盘启动,就是不做RAID,反正esxi不大会因为启动盘故障而死机;8.0的版本可以考虑使用小容量的100G左右的nvme盘作为启动盘,以降低成本,有些厂商推出了带有RAID 1功能的启动卡,就是插了两块M2,做成RAID1,如DELL 的BOSS卡,这种方案提供了冗余,是更好的解决方案,只是会增加些成本

  10. 容量盘
    兼容性方面,是否在兼容性列表中,并不重要;但不要用SATA接口的磁盘,尽量使用SAS接口或者更快接口的磁盘,如果是机械磁盘,转速7K的磁盘也不建议采用,最好使用10K转速的磁盘。如果使用SSD做容量磁盘,建议使用QLC芯片读密集型,以降低成本

  11. 如何使用vSAN兼容性网站查询OSA架构部件兼容性
    vmware.com/resources/compatibility/search.php%3FdeviceCategory%3Dvsanesa" class=" external" target="_blank" rel="nofollow noreferrer" data-za-detail-view-id="1043" style="text-decoration-line: none; border-bottom: 1px solid rgb(129, 133, 143); cursor: pointer;">vmware.com/resources/co



在vSphere平台上,超融合虽然还有如路坦力,HP Simplivity这些解决方案,但这些方案都无法将代码写在esxi内核,都需要通过增加服务虚拟机,通过PCIe直通接管存储,然后组成一个存储,esxi再通过NFS协议使用这些存储,这样数据的访问路径很长,无疑增加了时延;这些第三方的解决方案,不能和vSphere紧密协同,而且还需要自身的监控界面,增加管理的复杂性,这就是vSAN在全球超融合市场遥遥领先的根本原因。
现在我能找到最新的市场份额报告: storagereview.com/news/

HCI Software Vendor2022 Q3 Revenue (in $ Millions)Market Share2021 Q3 RevenueYoY Revenue Change
VMware$1,062.4740.76%$984.927.87%
Nutanix$616.8723.66%$583.055.80%
HPE/H3C$187.807.20%$189.77-1.04%
Dell$163.776.28%$62.40162.45%
Cisco$92.763.56%$104.13-10.92%
Huawei$91.363.50%$111.24-17.87%
Others$391.8415.03%$334.7017.07%
Total$2,606.87100.00%$2,370.219.98%


还有一些话题,比如延伸集群,存储策略这些,由于篇幅等原因,就不想增加大家的负担,日后有机会再分享,相信读完上面的满满的干货,大家都可以自己配置自己的vSAN。




推荐本站淘宝优惠价购买喜欢的宝贝:

image.png

本文链接:https://www.hqyman.cn/post/6850.html 非本站原创文章欢迎转载,原创文章需保留本站地址!

分享到:
打赏





休息一下~~


« 上一篇 下一篇 »

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

请先 登录 再评论,若不是会员请先 注册

您的IP地址是: