DIY: Home NAS Box with OpenSolaris and ZFS

yuba

Zhong's weblog

OpenSolaris 和 ZFS 为我们提供了一个机会用通用计算机硬件和开源软件搭建针对个人和家庭的小型NAS Box，我这个DIY迷当然不会放过这个机会啦。此次DIY我制定的基本目标是：

• 低功耗的64位处理器，更好更快地运行Solaris和ZFS；
• 4个热插拔3.5寸SATA硬盘位，支持1TB以上的大容量；
• Gigabit网卡，充分发挥网络带宽。

此外还要着重考虑几方面因素：成本、整体功耗和噪音，毕竟是家用嘛。
市面上具有64位处理能力的x86处理器很多，但绝大多数都不是为低功耗应用设计的，TDP一般都在35W以上，需要主动散热。Intel推出的Atom处理器改 变了这一状况，由于采用了先进的45nm工艺，单核的Atom 230和双核的Atom 330 TDP分别只有4W和8W，只需被动散热即可，功耗和散热风扇的噪音问题一并解决。但目前市场上的Atom 230主板都没有板载千兆网卡，因此暂不考虑。我把目标锁定在Intel自家出的D945GCLF2主 板，这是一块标准的Mini-ITX主板，17cm见方，集成了Atom 330处理器，945GC北桥，Realtek千兆网卡和一个32位PCI插槽。CPU只用了铝散热器，没有风扇，相比之下功耗大户是945GC北 桥，TDP超过20W，因此用一个4010风扇主动散热，好在噪音很小。主板上提供了一个IDE接口和两个SATA 3G/s接口，无法满足接4块SATA硬盘的要求，因此需要加一块PCI SATA扩展卡。
在选SATA扩展卡之前我决定先把机箱确定下来。我对机箱的要求：一是小巧美观，二是支持Mini-ITX主板，三是支持4个热插拔硬盘。看似简单，可实际上寻找符合要求的机箱让我颇费了一番力气。最终我决定使用台湾勤诚（Chenbro）的ES34069，各方面都可以用完美来形容，唯一的问题是在大陆难觅身影。终于在北京找到一家勤诚的代理商，同意帮我从台湾订一套过来，但价格不菲，人民币1850元，而且货期长达45天，我下决心，等！
终 于，完美的机箱到手了，主板也从淘宝上淘来了。把主板安装好，测量一下，发现任何高度超过4CM的PCI卡都没法直接插在主板上，否则机箱盖子都扣不上。 于是又开始寻找合适的PCI转向卡（PCI riser card，可以把PCI卡的安装方向转90度，与主板平行），也不易啊，因为通常1U服务器用的PCI转向卡都太矮了，会导致PCI卡与主板的音频接口在 空间上冲突。又是在淘宝上淘到了解决方案，一种3.5CM高的PCI转向卡，刚好避开主板音频接口，又不会导致机箱扣不上盖，太棒了！顺便淘了一块 Sil3124的4口PCI SATA 3G/s卡（同样不好找，因为SATA 3G/s卡大多是PCI-X接口的）。收到货马上安装试验，SATA卡经过90度转向后，空间利用非常完美！可是一上电，系统没反应！连BIOS画面都不 出现了！
一定是PCI转向卡或是SATA卡造成的问题。于是把SATA卡取下，只留PCI转向卡插在主板上，结果还是不能启动。 再把PCI转向卡拿下，SATA卡直接插在主板上，机器启动起来了！看来问题出在PCI转向卡，但具体出在哪里呢？对照着PCI规范检查转向卡上的每一根 信号线，发现一根非必须的PCI信号线（细节略）直接连到了GND，非常可疑。用刀割断，再插上试验，启动正常！
下一步是安装 Solaris。先前考虑过用IDE接口的DOM或是CF卡转IDE作为启动设备，但读写速度快的性价比又太低——4GB的要花200多元。干脆用2.5 寸的硬盘吧，容量大，读写速度快，价格还实惠，80G的才200多元。Solaris的版本呢，就选择了刚刚出炉的OpenSolaris 2008/11，基于Solaris Nevada build101，很新很强大！安装过程非常顺利，Realtek千兆网卡和Sil3124 SATA控制器马上被识别出来并开始工作，双核Atom CPU的能力也充分体现出来——图形界面运行很流畅，要知道这可是一颗耗电区区8W的CPU啊。用功率计测一下，整机平均功耗在45W左右，红外测温显示 CPU和北桥芯片的温度也都不超过40摄氏度。
除了4块SATA硬盘，硬件方面基本齐备了，粗算一下成本大约3200元。市场上 HP、Thecus、QNAP、Buffalo都有同档次的NAS Box（支持4块热插拔硬盘），价格平均在4500元以上，而且都是运行定制的嵌入式Linux，无法二次开发。相比之下，我的OpenSolaris Home NAS性价比高多了（除了人机界面差点，等FISHworks开源就好啦）。
硬盘方面，因为功耗和噪音的原因，7200转以上的不考虑。感觉WD Caviar Green 1TB硬盘非 常适用，5400转，对Home NAS来说够用了，功耗也很低，平均不到5W，价格也不错，4块硬盘总共3000元。硬盘到位，就相当于仓库盖好了。我用4块硬盘做了一个RAIDZ1， 因为每块硬盘实际容量是931GB，因此实际可用容量是2.7TB，可以坚持相当一段时间啦。
安装好Solaris NFS和CIFS服务之后，一个真正的Home NAS Box就新鲜出炉啦。透过千兆网络连接，CIFS和NFS的读操作能达到40MB/sec，写操作也能达到32MB/Sec，应该算是不错的成绩吧。算上 硬盘，系统的总功耗是50～55W，很绿很环保哦。从11月7日开始到现在一个月的时间，7x24小时运行，稳定！
照片1：Home NAS Box 外观

                               
登录/注册后可看大图

照片2：机箱内部 

                               
登录/注册后可看大图

照片3：PCI转向卡和PCI SATA扩展卡 

                               
登录/注册后可看大图

照片4：北桥（在风扇下面）和CPU（在下方的那个散热器下面） 

                               
登录/注册后可看大图

yuba

Here are more pictures of my Home NAS Box.
Picture 1: 2 of the 4 hot swappable SATA HDDs

                               
登录/注册后可看大图

Picture 2: WD Caviar Green 1TB SATA II HDD

                               
登录/注册后可看大图

Picture 3: Sil 3124 SATA Raid Card BIOS screen

                               
登录/注册后可看大图

 icture 4: OpenSolaris 2008.11 GRUB screen

                               
登录/注册后可看大图

Picture 5: Front view with 5 blue LEDs (4 for HDD, 1 for power)

                               
登录/注册后可看大图

Picture 6: OpenSolaris 2008.11 login screen

                               
登录/注册后可看大图

Picture 7: "prtdiag" output

                               
登录/注册后可看大图

Picture 8: Scanpci result

                               
登录/注册后可看大图

Picture 9: Yes, there is also a DVD drive

                               
登录/注册后可看大图

Picture 10: Power consumption when idle (49.4 Watt)

                               
登录/注册后可看大图

Picture 11: CPU temperature (measured as soon as case was open)

                               
登录/注册后可看大图

Picture 12: North bridge temperature

                               
登录/注册后可看大图

yuba

Item	Model	Ref Price (RMB)	Note
Chasis	Chenbro ES34069 4 Hot-Swap HDDs Mini ITX Server Chassis	1850	180W PSU included
Motherboard + CPU	Intel D945GCLF2 (Atom 330 CPU on-board)	650
PCI riser card	3.5cm high, non-branded	30	See picture below
PCI SATA II card	Speed Dragon SD-31242-4IR-A2	300
Memory	Kingston KVR800D2N6/2G	150
System HDD	Hitachi Travelstar 160G 5400RPM SATA	250
Data HDD	WD Caviar Green 1TB SATA II	3000	750 x 4pcs
Total		6230

PCI Riser Card:

                               
登录/注册后可看大图

                               
登录/注册后可看大图

lilianaya

那个机箱真眼馋。。。

coredump

很精彩的DIY！

Tux

牛叉，ZFS应该是目前最强的文件系统了。

black_zerg

用来干嘛的阿？

Tux

原帖由 black_zerg 于 12-12-2008 21:39 发表

                               
登录/注册后可看大图

用来干嘛的阿？

其实就是弄个机器，装OpenSolaris做成NAS (Network Attached Storage)来用

我刚买了一个Maxtor Shared Storage硬盘盒，128M ram，可以装Debian，当bt机器用，很爽，省点，安静，够用了。才400 RMB...