Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Còn 1 vấn đề nữa cũng muốn học hỏi kinh nghiệm của bác trong việc quản lý nội dung của server đó là với synology, em chỉ cần ghép 8 cái hdd 3tb vào 1 volume SHR của nó là em sẽ có 21TB để sử dụng và tạo 1 thư mục là action films, 1 thư mục là lostless music v.v.. và mỗi thư mục này lại chứa khoảng 8TB data (nhiều hơn dung lượng của 1hdd riêng lẻ).
Giờ em chuyển qua dùng snapRaid theo cách của bác là sẽ copy từng film vào từng HDD nhưng như vậy thì mình sẽ quản lý ntn? ko lẽ tạo ra các folder có tên action film1, action film2 v.v.. và cứ thế làm cho cho các hdd cho đến khi hết chỗ film thì thôi?
Dùng snapRaid em thấy có cái hay là mình sẽ bị "hao" dung lượng của cái ổ parity ít hay nhiều là tùy vào mình lựa chọn. Có thể em chẳng cần dùng đến cái hdd to nhất mà em có để làm parity disk mặc dù trong danh sách hdd của em có 8 cái 3tb, 1 cái 1,5Tb thì em vẫn có thể dùng cái 1,5Tb là paritty disk. Sở dĩ em nói như vậy vì em có toàn quyền trong việc set cái array mà em định bảo vệ trên từng HDD là như thế nào, chỉ có các file được nằm trong thư mục array đó thì mới được parity disk collect. Như vậy, với các file quan trọng muốn an toàn thì em thả vào array cho các hdd, còn các file không quan trọng thì em cứ để ở ngoài thư mục array, không bị tốn chỗ khi chạy lệnh sync trên hdd parity disk nữa.

 

[dungsin_lqd]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

--Đang suy nghĩ định đẩy hết 5 HDD 2T WD chơi 5 HDD 4T mà không biết nên SG hay WD đây..............

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Cám ơn bác đã phản hồi sớm !
Trong dòng cuối cùng của file config em để câu lệnh: pool C:\pool
Em dùng câu lệnh c:\snapraid pool
trong đó pool là một thư mục em đã tạo ra trước đó tại ổ C.
Sau khi sync xong mới chạy lệnh này thì tất cả các folder đã sync sẽ được tạo shortcut vào cái pool này. Mỗi khi click đúp vào đó thì nó sẽ nhảy vào vị trí vật lý chứa file.
Còn việc này nữa em xin hỏi bác là làm cách nào để biết hdd đã spindown hoặc kiểm soát cái nào đang spin, cái nào đang "ngủ". Ngoài việc dùng tính năng power option của windows có sẵn liệu còn cách nào khác không ạ.
Với unRaid thì ngay khi cài đặt xong usb thì nó sẽ để mình lựa chọn cách ghi vào volume (mà cũng giống như tạo pooling storage của flexRaid hay mount hdd trong windows) theo cách là ưu tiên theo cách ghi vào folder hay ghi vào theo dung lượng phân bổ hiện có của hdd.
Theo cách config trên site của LimeTech phần share: Configuration Tutorial - unRAID

Cụ thể như sau:

Set the following options as appropriate for the share and click Apply.

Share name
This is the name of the share.
It must be unique to the server.
Valid characters are a-z, A-Z, 0-9, - (dash), and . (dot)
Comments
(Optional) Comments will appear in the comment field of a share in My Network Places.
Allocation method
Used to determine where to store data as it is copied to the share.
Min free space
The minimum free space in kilobytes that must be available on a drive for files to be copied to the drive. This link may help in setting the correct value: Gigabyte to Kilobyte (GB to KB) Data or computer conversion table
Split level
Controls at what level UnRAID will allow data to be split among multiple disks.
Included disk(s)
A list of disks preferred for use in the array. If blank all disks are considered for use in the array.
Excluded disk(s)
A list of disks to which data for this share will not be copied.

Bạn dùng HD Player nào để xem phim qua thư mục dùng chung pool vậy? Bạn dùng kết nối SAMBA hay NFS qua mạng gia đình vậy?

Power option trong windows chủ yếu hữu dụng ở các máy laptop xài pin hơn là các máy bàn. Về việc spindown thì có người mách cho tôi là cứ sờ tay vào từng HDD thấy nó nóng nóng rung rung nhẹ tức là nó đang chạy, còn không là đang "ngủ". Tôi thì thuộc tuýp người cứng lòng. Gì chứ ổ cứng thì tôi phải thấy tận mắt, sờ tận tay mới tin. Tôi hiện đang dùng cách đo lượng điện tiêu thụ thôi.

Trước tiên, tôi kiểm tra lượng điện tiêu thụ trung bình của 1 HDD qua dock trước so sánh lúc nó "ngủ" và lúc nó đang stream 1 bộ phim Bluray. Trung bình thì khoảng trên dưới 10W tùy theo đời/ loại ổ cứng.

Nếu bạn để ý kỹ một tí trong đoạn cuối của bài viết số 1 tôi có đăng 2 tấm hình lúc cái Home Server của tôi "ngủ" và lúc nó đang làm việc. Sự chênh lệch khoảng hơn 10W một chút. Đó là do 1 HDD đang hoạt động và một ít điện cho con chip của NIC, ram, ... Chứ nếu cả 40 ổ cứng cùng quay hay giả sử chỉ 2 cái HDD cùng quay thì chỉ số điện tiêu thụ sẽ khác. Nếu bạn có đồng hồ đo điện, bạn có thể kiểm chứng được mà.

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Còn 1 vấn đề nữa cũng muốn học hỏi kinh nghiệm của bác trong việc quản lý nội dung của server đó là với synology, em chỉ cần ghép 8 cái hdd 3tb vào 1 volume SHR của nó là em sẽ có 21TB để sử dụng và tạo 1 thư mục là action films, 1 thư mục là lostless music v.v.. và mỗi thư mục này lại chứa khoảng 8TB data (nhiều hơn dung lượng của 1hdd riêng lẻ).
Giờ em chuyển qua dùng snapRaid theo cách của bác là sẽ copy từng film vào từng HDD nhưng như vậy thì mình sẽ quản lý ntn? ko lẽ tạo ra các folder có tên action film1, action film2 v.v.. và cứ thế làm cho cho các hdd cho đến khi hết chỗ film thì thôi?
Dùng snapRaid em thấy có cái hay là mình sẽ bị "hao" dung lượng của cái ổ parity ít hay nhiều là tùy vào mình lựa chọn. Có thể em chẳng cần dùng đến cái hdd to nhất mà em có để làm parity disk mặc dù trong danh sách hdd của em có 8 cái 3tb, 1 cái 1,5Tb thì em vẫn có thể dùng cái 1,5Tb là paritty disk. Sở dĩ em nói như vậy vì em có toàn quyền trong việc set cái array mà em định bảo vệ trên từng HDD là như thế nào, chỉ có các file được nằm trong thư mục array đó thì mới được parity disk collect. Như vậy, với các file quan trọng muốn an toàn thì em thả vào array cho các hdd, còn các file không quan trọng thì em cứ để ở ngoài thư mục array, không bị tốn chỗ khi chạy lệnh sync trên hdd parity disk nữa.

Cái này mình trả lời chung cho tất cả các bạn còn đang thắc mắc.
Mỗi ổ cứng ta cứ đặt các thư mục có tên giống nhau cũng được (và nên như vậy). VD: Disk 1 có thư mục Action film, Lossless Music, Lossy Music. Và Disk 2 cũng có thư mục Action film, Lossless Music, Lossy Music y chang cái tên vậy, v..v...
Để khi gom các Disk lại với nhau trong ổ cứng mở rộng, ta chỉ có duy nhất 1 thư mục Action film mà ở đó chứa tất cả các phim action nằm trong tất cả các disk. Tương tự như vậy với 1 thư mục Lossless Music và 1 Lossy Music.
Còn nếu bạn có khả năng ước lượng được tình hình dữ liệu đang lưu trữ hiện tại cũng như khả năng dự đoán sẽ down về thêm ntn, bạn có thể chia hẳn Disk 1 -3 toàn chứa phim Action không, Disk 4 là Music, Disk 5 là photos, v..vv... giống như tôi đang làm vậy. Kiểu này thì việc quản lý đến từng ổ HDD sẽ dễ dàng hơn một chút.

Riêng về cái vụ dùng ổ 1.5TB làm pairty disk thì tôi thực lòng khuyên bạn là ko nên. Chỉ sợ làm bạn cụt hứng và buồn thôi chứ cách ấy thoại nghĩ nó là hay, nhưng đó là tính già hóa non. Càng về sau này khi mà các ổ 3TB đầy lên, snapraid sẽ báo lỗi phải thay ổ parity vì dung lượng của nó không "bảo kê" được cho các ổ 3TB to gấp đôi nó. Chả nhẽ cả 8 cái ổ 3TB cái nào bạn cũng phải xăm soi chỉ được bỏ dữ liệu cần bảo vệ vào trong thư mục array tới mức 1.5 TB thì phải ngưng lại? Nó vừa phiền mà vừa không có Pro nữa.

Mấy hôm nay có vọc được thêm gì mới nữa không?

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Em đã kiếm tạm được 1 chiếc main TA785G3 HD của biostar với 6 sata port, ghép với case kia là em có thể trang bị cho nó 14hdd.
Sau khi cài Windows server 2012, config để có thể wake on LAN thấy cũng khá hay. Tất nhiên CPU, RAM (4GB), Main còn yếu nhưng nếu chỉ để làm file server em nghĩ là cũng không đến nỗi nào.
Để em chạy thử snapRaid một thời gian ngắn ngắn xem như thế nào rồi sẽ báo cáo bác chứ hiện tại thấy vẫn đáp ứng tốt các nhu cầu của em.
Vì các hdd lớn và quan trọng em đều để ở Synology 1812+ nên giờ cái hdd làm partity em vẫn đang để trên cái hdd 1.5TB, mà việc thay hdd partity cũng khá dễ dàng, chỉ có thay đổi 1 dòng lệnh do đó em nghĩ là khi nào cái hdd 1.5tb ấy gần đầy em sẽ chuyển parity sang hdd khác cũng chưa muộn đúng không bác.
Em đang dùng HDP của Dune, kết nối qua samba SMB để xem phim.
Em không biết bác có dùng phần mềm nào để hẹn giờ on/off cho cái NAS server chạy windows của bác không ạ?

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Vì các hdd lớn và quan trọng em đều để ở Synology 1812+ nên giờ cái hdd làm partity em vẫn đang để trên cái hdd 1.5TB, mà việc thay hdd partity cũng khá dễ dàng, chỉ có thay đổi 1 dòng lệnh do đó em nghĩ là khi nào cái hdd 1.5tb ấy gần đầy em sẽ chuyển parity sang hdd khác cũng chưa muộn đúng không bác.
Em đang dùng HDP của Dune, kết nối qua samba SMB để xem phim.
Em không biết bác có dùng phần mềm nào để hẹn giờ on/off cho cái NAS server chạy windows của bác không ạ?

Dùng tạm 1.5TB làm parity kể ra cũng tạm ổn. Nhưng chỉ nhớ là khi nào có điều kiện thì nên thay cái khác gấp đôi cho an toàn.
Bạn đã thử dùng Dune để xem phim từ thư mục pool được share của SnapRaid nhưng dùng kết nối NFS chưa? Tôi nghe nhiều người nói thành công như tôi lại dốt về Dune nên không biết kết nối NFS ntn. Thằng Dune xem ra khó setup mạng hơn so với PCH.
Tôi viết một cái script chỉ để tự động tắt Win server vào mỗi đêm 12 h chủ nhật (vì ngày mai là thứ 2 nên ít sử dụng cái server này). Bạn cần thì tôi PM cái script này cho bạn. Nhiều lúc cũng muốn setup cái wake on LAN nhưng lười lại thôi.

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Em đã dùng thử với NFS của DUNE, kết nối nhanh và ổn đinh vì có thể nó dùng Linux protocol nên dễ handshake với nhau.
Viêc auto power off, nếu có thể bác cho em xin cái scrip thì tốt quá.
Em cũng đang dùng tư đông turnoff theo cách của link:
http://www.c-sharpcorner.com/UploadFile/0524d6/automatic-turn-off-windows-8/

Còn trước đây thì dùng AMP winoff để điều khiển viêc tư đông tắt máy còn tư đông bât thì vẫn chưa tìm ra ra soft nào hữu hiêu nên toàn phải dùng WOL từ modem draytek.

 

[sircuong1303]

Ðề: Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

kết nhất cái đồng hồ đo công suất tiêu thụ Kill-a-Watt của bác =P~ =P~, em làm test phần cứng nên rất cần cái đồng hồ như vậy :-bd

 

[airport]

Ðề: Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

Sau khi dựng thành công server chạy Window server 2012 và Snapraid theo tư vấn của bác chủ topic, tối qua rảnh rỗi lại lôi hết ra đi lại toàn bộ dây dợ trong thùng mày. Kết quả là gọn gàng hơn rất nhiều. Đúng là mấy anh "khoai tây" họ rất cẩn thận trong việc sắp xếp cable trong thùng máy để đảm bảo khả năng thông thoáng, tạo thuận lợi cho luồng gió IN/OUT giải nhiệt cho các linh kiện và HDD bên trong.

Tham khảo cách đi dây của họ xong em tự làm cho cái case của mình. Sau gần 2 tiếng bó buộc, sắp xếp kết quả như hình gửi kèm, các bác tham khảo thêm nhé.

 

[tatam]

Ðề: Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

Tuyệt! Quá gọn gàng.

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Em đã dùng thử với NFS của DUNE, kết nối nhanh và ổn đinh vì có thể nó dùng Linux protocol nên dễ handshake với nhau.
Viêc auto power off, nếu có thể bác cho em xin cái scrip thì tốt quá.
Em cũng đang dùng tư đông turnoff theo cách của link:
Automatic Turn Off Windows 8

Còn trước đây thì dùng AMP winoff để điều khiển viêc tư đông tắt máy còn tư đông bât thì vẫn chưa tìm ra ra soft nào hữu hiêu nên toàn phải dùng WOL từ modem draytek.

Sao tôi không thể gửi file qua PM được ta?
Tôi thấy bạn cho nó tự động turnoff theo cái link đó cũng được rồi, vừa đơn giản nhưng hiệu quả. Dùng script chủ yếu kèm thêm một vài tác vụ khác nữa.
SnapRaid từ version 5.2 trở đi không còn lưu log file lại. Do đo nếu muốn biết cái gì đã xảy ra trong quá trình sync, crub, fix, ... thì phải dùng script để lưu log file lại trong ổ C tham khảo. Tôi có cái script này nếu bạn thích thì tôi gửi cho. Nhưng trước tiên phải coi gửi như thế nào cho được đây?

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Bác gửi vào email: [email protected] giúp em nhé. TKS in advance.

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Bác gửi vào email: [email protected] giúp em nhé. TKS in advance.

Đã gửi cái script file dùng để chạy sync qua ngả sân bay nội bài rồi.
Bạn cũng có thể dùng nó cho các lệnh khác, chỉ việc đổi tên lệnh mà thôi.
Mình có câu hỏi là bạn có rành về Powershell trên Windows server không?

 

[Thanksforsharing]

Ðề: Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

Wow, nhìn pro ra phết.
Case phải dọn dẹp thoáng như thế này thì HDD chúng nó mới mát, chạy không bị hư vặt.

 

[lequynhan]

Ðề: Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

Bác airport mua em card sata ở đâu và giá cả ra sao thế? cho em biết với. Ở HN thì tốt

 

[Thanksforsharing]

Ðề: Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

Bác airport mua em card sata ở đâu và giá cả ra sao thế? cho em biết với. Ở HN thì tốt

Airport ở Hà Nội đấy, người nhà cả...

 

[lequynhan]

Ðề: Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

Hôm qua em nhận được tin pm của Bác airport, tại chưa cần thiết mua nên em hỏi thông tin hàng họ. Phải tương lai mới dùng tới mấy cái đồ chuyên dụng này được.

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Cám ơn bác nhiều. Em đã nhận được "quà" của bác. Powershell trên Windows server em không rành đâu ạ.

Bác có kinh nghiệm nhiều về server nên em muốn nhờ bác tư vấn giữa việc dùng WHS V.1 và server 2012 xem nên dùng cái nào, ưu nhược điểm của từng cái.
Em trước dùng WHS v1 thấy hay nhất là tính năng DE của nó. Rất tiện dụng và cũng có tính năng duplicate folder, bảo vệ data tốt. Nhưng sau 1 lần hỏng OS làm em bị mất một số data nên lại thội không dùng nữa. Các version sau của WHS bỏ đi tính năng DE này làm cộng đồng rất thất vọng vì nâng cấp mà lại mất đi đặc trưng của WHS.

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Sau một thời gian tìm hiểu, setup và chạy thử dưới sự giúp đỡ của bác Thanksforsharing, hôm nay em đã chính thức lauching Home data centre của mình với việc sử dụng SnapRaid. Các dữ liệu thật đã được đưa vào để quản lý, khai thác.
Trước tiên em xin được trân thành cảm ơn bác Thanksforsharing đã rất nhiệt tình, chu đáo chỉ dẫn, chia xẻ những kiến thức của mình với cộng đồng HDVN nói chung và cá nhân em nói riêng.
Quả thật SnapRaid lúc đầu tưởng phức tạp vì toàn sử dụng CLI với những câu lệnh trong cửa sổ Dos nhàm chán nhưng sau một thời gian tìm hiểu thì nó lại trở nên rất đơn giản do câu lệnh rất ngắn gọn, tốc độ rất nhanh.
Em xin show lên đây một vài hình ảnh mà em capture được trong quá trình sync data để tạo parity. Tốc độ thường đạt trên 100Mib/s, có lúc đạt gần 180Mib/s - một tốc độ rất cao đối với truy cập HDD đơn để tạo parity.

Còn đây là câu lệnh trong file config, bác nào có hứng thú sử dụng một phần mềm tạo Raid nhanh gọn, dễ dùng và quan trọng nhất là hòan toàn free thì có thể tìm hiểu thêm rồi sử dụng, cá nhân em thấy rất hay, thiết thực.

parity C:\ARRAY\Disk 1 - Green-2TB - Parity\Parity\parity.par

content C:\ARRAY\Disk 2 - Green-15TB\array\content.lst
content C:\ARRAY\Disk 3 - WD 80x4 in SS\array\content.lst
content C:\ARRAY\Disk 4 - Black 2TB\array\content.lst
content C:\ARRAY\Disk 5 - Green-500 GB\array\content.lst
content C:\snapraid\content.lst

disk d2 C:\ARRAY\Disk 2 - Green-15TB\array\
disk d3 C:\ARRAY\Disk 3 - WD 80x4 in SS\array\
disk d4 C:\ARRAY\Disk 4 - Black 2TB\array\
disk d5 C:\ARRAY\Disk 5 - Green-500 GB\array\

exclude *.unrecoverable
exclude Thumbs.db
exclude \$RECYCLE.BIN
exclude \System Volume Information
exclude \Program Files\
exclude \Program Files (x86)\
exclude \Windows\

block_size 256

autosave 500

pool C:\pool

share \\server

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Chúc mừng và cám ơn bạn đã chia xẻ kinh nghiệm của mình lên 4rum này.