自己搭建高端NAS服务器经典好方案香港美国服务器网站需要租服务器吗

美国高防服务器租用

说下我的NAS服务器方案,自认为目前比较完美了,特别是软件配置,用了两年,还是挺满意的,说说我搭建NAS服务器使用状况吧:

7*24小时开机,国内服务器小型UPS电源保护,网站需要租服务器吗断电可自动让NAS优雅的关机,最便宜的云服务器防止对硬盘造成不良影响,电力恢复后自动开机,意外关机后也可远程开机。

家庭影院服务器,影视剧使用自动化工具下载,只要把想看的添加进去就可以了,如果有了资源,系统会自动下载并分类整理,包括重命名下载字幕等,当然也可以手动添加种子下载,特别适合玩PT。高防服务器

NAS上存储的海量影视等多媒体资源,服务器e5在家可以在电视上观看,在外可通过手机或电脑客户端在线观看,不需要下载。

私有云盘,实现类似DropboxOneDrive的自动同步功能,比如今天我在家拿主力机工作,明天拿轻薄本出去,相关数据在后台自动同步,不需要手动来回拷贝;另外手机客户端可实现照片自动上传至NAS服务器,手机小容量的福音。

家里局域网在外随时连接,只要有互联网,可以访问家里任一设备,包括路由器打印机等,和在家访问没有多大区别。其实这个功能是通过另外一个独立的小盒子实现。

最先是Apple Airport 3TB, 几块零散的硬盘和一个硬盘座. 完全不需要维护, 只要往里面扔数据就行了.

我有个IBM X3650M2服务器,对,就是图中的那台IBM. 配了 LSI 9260-8i 卡(用转接线T,没错,着名的WD绿盘。插到盘柜里组RAID50.

这卡在14年算是相当强劲的, 1G缓存带电池, 8i 16e. 把卡插上服务器又傻眼了,这HP卡提示,只能插在HP机器上…. 逼着我又弄了台HP DL380G6…

该RAID50组成的18T(可用12T左右) 服役到了18年, 由于容量, 性能都不是很能满足我现在需求了, 于是在今年初, 我组了个基于CEPH的60T系统.

首先, 随着现在的盘越来越大, RAID5在大容量下已经完全不可靠了, 我这里也翻译了个简单的RAID5重建失败概率计算器:

RAID 6,除去重建过程中再挂一块盘的情况下,安全很多,RAID 1 目前仍是小型存储保证数据安全的最好方案. 当然自己手动复制一份也行.

但RAID最大的问题是, 完全没有CEPH那么灵活, 多机多盘柜情况下很复杂. 而且性能完全依赖于RAID卡. 当你的磁盘带宽总和大于RAID卡后, 就不能有效利用磁盘的性能了.

综上, 我开始考虑一个新的存储系统, 我整理了个简单的“家用”存储系统评分点, 供大家参考:

使用简易的评分标准: – 1 分, 需要专业知识才能使用- 3 分, 看看说明书就能使用- 5 分, 很好用, 而且符合平时操作习惯可靠性评分标准:- 1 分, 很可能会丢数据- 3 分, RAID 5- 4 分, RAID 6 或 双副本, RAID 1- 5 分, 多种副本策略, 分布式安全性:- 1分, 不安全, 可以假定数据是可以被匿名访问的- 3分, 只要正确使用安全性就有保障- 5分, 可以进行数据加密恢复/重建速度:- 1 分, 无法恢复- 3 分, RAID 5, 6 恢复速度- 5 分, 副本恢复速度数据与环境依赖性:- 1 分, 强依赖, 迁移数据只能通过软件复制- 3 分, 弱依赖, 通过适当修改就可以将存储设备应用到别的系统- 5 分, 无依赖, 数据直接存储到设备上硬件可扩展性:- 1 分, 无法扩展- 3 分, 仅可以扩展容量- 5 分, 随意定制硬件进行扩展软件可定制性:- 1 分, 只能使用厂家或第三方提供的特定软件- 3 分, 可以刷xxx, 刷xxx- 5 分, 开源访问延时:- 1 分, 仅能用来存储文件- 3 分, HDD 水平- 5 分,SSD水平噪音:- 1 分, 机房设备, 无法忍受- 3 分, 可以放隔壁- 4 分, 可以放桌面- 5 分, 可以睡觉功耗:- 1 分, 500W 以上- 2 分, 500W 以下- 3 分, 100W 以下- 5 分, 50W 以下体积:- 1 分, 需要机柜- 2 分, 全塔- 3 分, 半塔- 4 分, 10 – 5寸- 5 分, 5寸以下价格:- 直接是RMB

使用简易:无所谓, 就当学习新知识了可靠性: 至少要双副本, 如果支持多种副本策略更好安全性: 反正内网用, 无所谓恢复/重建速度: 副本恢复速度最好数据与环境依赖性: 最好无依赖, 这样操作方便硬件可扩展性: 一定要能随意选择硬件进行扩展, 不能再吃HP的亏了[手动滑稽]软件可定制性: GNU好访问延时: 如果能当系统盘用当然再好不过了噪音: 最多能接受放隔壁功耗: 500W 以下吧体积: 无所谓价格: 20K以内能接受

由于租云服务器太贵, 所以我家里有CDH全家桶(hadoop什么的), kubernetes全家桶. 因此存储的性能至少不能拖累这部分的计算需求.有数据抓取和分析的需求, 典型场景 一千万平均大小 200k 的网页文件. 因此IO性能也有需求.提供块设备, 挂载到linux下给samba server用. 存普通的娱乐数据.60TB 左右, 方便扩容, 如果没有容量上限就更好了.接入10G/40G 网络, 网络传输不会成为存储瓶颈.不要求可用性 (不是线上业务, 程序挂了大不了重跑. 可以忍受长达几天的停机维护,数据恢复, 故障恢复)

这套方案我在17年初就有考虑了, 最终在ZFS和CEPH方案中摇摆不定, 后来需要用kubernetes, 于是妥妥CEPH了.

好的硬盘会省很多事情, 比如你的盘在RAID卡的支持列表里, 可以被顺利识别. 比如企业盘URE比家用盘低一个数量级.

都CEPH了为啥还要RAID卡呢, 不用卡怎么把SAS盘怼到主板上. 我可不要板载SAS控制器的主板, 好的太贵, 垃圾的性能不行.

当然还需要电缆. SFF8643 转 SFF8482, 带个大4pin口给硬盘供电. 注意检查插硬盘这一侧的 SFF8482 口, SAS盘有的是需要这部分的针脚的. 没有可能会有问题. 我的两根线有一个有, 有一个没有, 不过盘都正常运行了. 我没有去查SFF8482针对这部分针脚的定义.

RAID卡自然不能自己运行,我们还需要块主板, 这里权衡的点有以下几个:

CEPH 要求最好每 TB 盘配置 1GB内存, 我打算用两台主机, 这样每台主机就是5块 6TB盘, 折合需要30GB内存. 然而XEON E3早期版本不支持这么大内存, 而我恰好手里有多余的E5-2670. 那么x79 就这么愉快的决定了.RAID 卡 能直接连接8块盘(有expander卡能插更多盘.), 那么机箱也要能装下至少现阶段的5快盘. 这就需要 5个 3.5寸盘位.ST6000NM0034 这盘单盘接近12W, 5块就是 60W. 电源的大4pin输出功率要够.最好还是ATX主板, 这样魔改方便.同样ATX电源. 魔改方便.我要插10G/40G 网卡(PCI-E 3.0 x8), RAID卡(PCI-E 3.0 x8), 那么主板至少要提供俩PCI-E 3.0 x8插槽. 如果主板不支持无显卡启动. 那么还要插亮机卡. 还要个PCIE(这个就不用x8了, 阉割下x4,甚至x2插槽插x16的卡都可能显示的.)便宜, 毕竟x79在12年就有了再战10年不太可能了, 迟早要换.功耗按说应该没啥事.

为了散热, 在PCI-E卡, 硬盘处又用双面胶粘了3个风扇. 否则SAS盘发热还是挺可怕的.

参见我家用万兆局域网的回答, 我之前已经弄了个40G内网了, 所以直接上IB卡.

OSD (object storage daemon)就简单理解为硬盘好了(实际上不是这样的). 一般一块硬盘对应一个osd程序. SSD 为了提升性能可以一块SSD分配多个osd. osd负责向硬盘存储数据.

RADOS (Reliable Autonomic Distributed Object Store)简单来讲就是个算法, 把这个算法包装成软件装到电脑里, 每次向CEPH里面读写数据, 先把数据塞到RADOS里面计算下, 就知道数据在哪个OSD了. 这样就彻底摆脱了依赖. 只需要这个软件就有了RAID之类的功能. 而且没什么状态, 没有本地数据库啥的. 全靠这个算法定位.

好了, 现在我们有了两个一模一样的 CEPH 存储节点. 每个 30TB. 然而CEPH的架构是这样的:

其中, OSD (可以简单理解为硬盘), 承载OSD的主机我们有了. MON(可以理解为监控节点) 还没有. 我们可以在两个OSD主机上部署 MON, 但MON为了仲裁(Quorum) 我们最好还是 3 个mon 节点比较好(至少三人投票才能决出结果). 另外RGW啥的也需要放一放.

我懒了, 所以没写教程. 后续会补充到我的专栏里. 感兴趣的同学先看官方教程吧. 挺简单的.

用 ceph-deploy工具安装非常方便. 当然还需要后续调整才能达到理想的性能. (默认也足够用)

CEPH 的一个好处是可以定义副本数量( 没错 CEPH 就是把你的数据存成多份来保证数据全的 ).

L1 是单副本, 坏一块盘就丢了一块盘中的数据, 所以用来放完全不重要的东西, 比如你们懂的, 还有Steam游戏.

仔细看的同学会发现L1+L2 x 2 +L3 x 3超过了我的60TB存储容量. 没错. 这个pool 是虚拟的, 你可以随时扩容. 当然不会超过物理磁盘的容量. 物理磁盘满了会导致OSD满了, 到时候CEPH会提醒你要满了. 满了的话插盘, 增加OSD, 扩容就行. 是不是很灵活?

下面是将三个pool映射为块设备, 然后挂samba, 本地windows机器访问的跑分结果.

比较遗憾的是, 我本地只有一块INTEL 545, 所以这个跑分结果不是卡在了CEPH, 而是卡在了我本地机器的硬盘读取速度上.

这是用软件跑分的结果. 按说也没达到性能上限( 6TB 这个盘号称持续写入速度有200MB+ 10块就是2个G啊, 这成绩连RAID0都跑不过, 太丢脸了) .

优化手段有很多, 比如开RDMA, 比如调整MTU. 我这里做了如下优化:

我怀疑要么是我的RBD没设置或优化正确. 要么是RBD的实现有性能问题. 但查了半天资料也没有什么结果. 这里就只能期待有大规模集群实践经验的大佬关于RBD的使用经验数据了.

CEPH可以用SSD当缓存盘, 缓存超过设定容量或时间可以回写到机械硬盘, 对常用文件还能缓存到SSD提升读取性能.使用2副本最好编辑下CRUSH map, 防止预期外的掉盘导致副本不和期望问题.数据恢复速度与单盘最大写入速度有关. 所以单盘最大容量还是控制下, 6TB 按照写入速度 200MB/s算, 恢复一块盘也要 8.3 小时.最常用命令: ceph osd set noout 【手动滑稽】.家用写入500MB/s 真的够了…… 编辑4k视频当我没说…..掉盘恢复非常简单, 插上新盘, 添加osd后, 坐等就行了.最好常看看CEPH健康状态, 万一运气不好2块副本盘全掉还是要注意下的.想到再补充

截止到2019-04-06,网站需要租服务器吗期间小区突然断电3次(无UPS),在一次系统维护中不小心干掉了mon节点,目前数据正常,香港美国服务器系统正常使用,无故障。香港美国服务器

CEPH-RBD映射的块设备给iSCSI,ESXi连接iSCSI给15台虚拟机使用。目前状况良好。

转载:感谢您对电脑故障网的认可,以及对我们原创作品和文章的青睐,非常欢迎各位朋友分享给朋友或发到朋友圈,如要转载请注明文章出处“来源:电脑故障网”

电脑故障网部分内容来源于网络、转载、用户投稿,国内便宜服务器如涉及侵权问题,请按侵权处理事宜处理。

本站所有内容未经授权禁止转载、摘编、复制或建立镜像,如有违反,责任必究!如需举报请给我们留言。

拒绝任何人以任何形式在本站发表与国家法律相抵触的言论,所有内容仅代表作者观点,不代表本站立场和观点!

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

天眼测评网_VPS测评推荐网站 国内服务器VPS 自己搭建高端NAS服务器经典好方案香港美国服务器网站需要租服务器吗 https://www.tyidc.com.cn/19114.html

常见问题

相关文章

评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务