Tôi đã xây dựng, bảo vệ và quản lý kho dữ liệu HD của mình như thế nào

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

-Case bác Airport chơi đẹp nhưng em thấy main dung làm HTPC NAS của bác chưa ổn it nhất bác nên chơi main ATX dòng Z77X hay B85 trở lên và nên dung main nào có nhiều cổng sata càng tốt (6-8port) Main cần nhiều PCI Ex để sau này mở rộng HDD cho tiện...tks

Em lúc đầu cũng tính dùng main có nhiều cổng sata nhưng lại mắc phải vấn đề về số lượng hdd có thể lắp vào case. Ví dụ như với case này thì chỉ lắp được tối đa 11hdd, mà cái card raid đã chịu trách nhiệm được 8hdd, trên main 2hdd nữa là 10 nên có thêm cổng sata trên main cũng chẳng có chỗ mà lắp.
Vấn đề thứ 2 là đây là media server nên sẽ chạy 24x7 nên vấn đề tiêu thụ năng lượng cũng cần đặt ra.
Ví dụ như main buit in cpu, gpu này khi chạy chỉ có 17W trong khi với dòng main khác + cpu + ram v.v... ít nhất cũng ngốn cả trăm W.

 

[monitor]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Rất cảm ơn các bài viết công phu và giá trị của bác Thanksforsharing, em có 1 thắc mắc là bác gắn toàn bộ 35 HDD chạy cùng lúc bằng thiết bị chuyên dụng hay qua card mở rộng trên PC, mong bác cho anh em học hỏi kinh nghiệm thêm !

 

[datthanh07]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Rất cảm ơn các bài viết công phu và giá trị của bác Thanksforsharing, em có 1 thắc mắc là bác gắn toàn bộ 35 HDD chạy cùng lúc bằng thiết bị chuyên dụng hay qua card mở rộng trên PC, mong bác cho anh em học hỏi kinh nghiệm thêm !

Không biết là bác đã đọc phần 1 và 2 của bài này chưa. Link đây ah
http://www.hdvietnam.com/diendan/62-thiet-bi-luu-tru-va-truyen/757845-toi-da-xay-dung-bao-ve.html
http://www.hdvietnam.com/diendan/62-thiet-bi-luu-tru-va-truyen/765673-phan-2-toi-da-bao-ve.html
Bác sẽ hiểu rõ hơn.

 

[duongngocdoanh87]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

quá tuyệt vời! thank!!!!!!

 

[Inu Yasha]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Quá hay nhưng thấy hơi phức tạp và chi phí cao quá, hy vọng năm sau Seagate hay WD nó ra đại 1 ổ dung lượng 100tb hay 1000tb cho khoẻ

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Quá hay nhưng thấy hơi phức tạp và chi phí cao quá, hy vọng năm sau Seagate hay WD nó ra đại 1 ổ dung lượng 100tb hay 1000tb cho khoẻ

Bây giờ mới chỉ có 3 hoặc 4tb mà bạn đã cho là chi phí cao. Chứ "nó ra đại 1 ổ dung lượng 100tb hay 1000tb" như bạn nói thì chắc tôi và các ae ở đây mọi người chỉ có nước đứng ngoài hàng rào tay chùi mép nhìn vô thui....

 

[BunRieuCua]

Re: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Bài viết hay quá. Cám ơn bác Thankforsharing !.

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

-Case bác Airport chơi đẹp nhưng em thấy main dung làm HTPC NAS của bác chưa ổn it nhất bác nên chơi main ATX dòng Z77X hay B85 trở lên và nên dung main nào có nhiều cổng sata càng tốt (6-8port) Main cần nhiều PCI Ex để sau này mở rộng HDD cho tiện...tks

Thật ra đây chỉ là giải pháp tận dụng lại main cũ để dùng làm nas mà thôi. Dĩ nhiên khi mua mới ít ai đi mua cái main này.
Ở đây tôi chỉ lưu ý với các bạn, như tôi đã nói ở phần 1, trừ phi bạn dùng cái nas này để chứa bộ sưu tập hình của mình. Con 1.8 GHz Intel Atom D525 dual-core processor có lẽ không thích hợp để transcode nếu bạn muốn dùng xem phim qua iPhone, iPad, android mobile devices hoặc stream HD Movies ra nhiều máy cùng lúc.

@airport: bạn lắp cho nó bao nhiêu GB ram vậy? 2 hay 4GB?
Mình cũng đang chờ xem kết quả bạn set up cái SnapRaid như thế nào.

Thanks.

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Em lắp cho NAS này 4GB Ram.
Hiện tại đang cho chạy pilot cả snapraid và flexraid.
Tuy nhiên nếu dùng snapraid thì đang tắc ở phần tạo pooling storage vì nó toàn command line nên hơi khó dùng còn lại các tính năng sync, tạo parity v.v... em đã làm và chạy tốt.
Với flexraid thì mấy tác vụ này rất dễ, chỉ cần vài cú click chuột là đã setup xong, tuy nhiên anh này bắt trả tiền nên em muốn check kỹ trước khi pay, nếu nó không hơn gì nhiều so với snapraid ngoài cái UI thì em sẽ dùng snap raid.
Có một vấn đề em thấy là không hiểu sao cái flexraid nếu em cắm các hdd lên raid card thì nó không báo được nhiệt độ của ổ cứng mặc dù các tính năng khác vẫn hoạt động bình thường.
Còn vấn đề này cũng nhờ bác làm sáng tỏ giúp là giả sử em mua licence cho flexraid thì nó sẽ quản lý em theo id của cpu, ram, main. Nếu chỉ 1 trong các thành phần đó thay đổi hoặc em re-install lại OS thì licence của em vẫn dùng tốt trên cái máy đó. Nếu trong trường hợp em nâng cấp (quẳng luôn cái main, cpu, ram đó đi) thì việc khai báo đăng ký lại flexraid sẽ như thế nào hay nhà sản xuất bắt em lại phải mua lại bản quyền từ đầu? Rất mong bác trả lời giúp em vấn đề này.

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Em lắp cho NAS này 4GB Ram.
Hiện tại đang cho chạy pilot cả snapraid và flexraid.
Tuy nhiên nếu dùng snapraid thì đang tắc ở phần tạo pooling storage vì nó toàn command line nên hơi khó dùng còn lại các tính năng sync, tạo parity v.v... em đã làm và chạy tốt.
Với flexraid thì mấy tác vụ này rất dễ, chỉ cần vài cú click chuột là đã setup xong, tuy nhiên anh này bắt trả tiền nên em muốn check kỹ trước khi pay, nếu nó không hơn gì nhiều so với snapraid ngoài cái UI thì em sẽ dùng snap raid.
Có một vấn đề em thấy là không hiểu sao cái flexraid nếu em cắm các hdd lên raid card thì nó không báo được nhiệt độ của ổ cứng mặc dù các tính năng khác vẫn hoạt động bình thường.
Còn vấn đề này cũng nhờ bác làm sáng tỏ giúp là giả sử em mua licence cho flexraid thì nó sẽ quản lý em theo id của cpu, ram, main. Nếu chỉ 1 trong các thành phần đó thay đổi hoặc em re-install lại OS thì licence của em vẫn dùng tốt trên cái máy đó. Nếu trong trường hợp em nâng cấp (quẳng luôn cái main, cpu, ram đó đi) thì việc khai báo đăng ký lại flexraid sẽ như thế nào hay nhà sản xuất bắt em lại phải mua lại bản quyền từ đầu? Rất mong bác trả lời giúp em vấn đề này.

Cái vụ ngày nghe "giang hồ" đồn lâu rồi bây giờ thấy bạn bị. Khi cái card IBM M1015 được flash đến IT mode LSI 9211-8i, đa số thường bỏ qua BIOS (vì ít ai lại boot từ những cái drive HDD gắn trên card này). Điều này cho phép ta rút ngắn được thời gian boot máy (vì bỏ qua phần bios của card phải kiểm tra sức khỏe từng HDD gắn vào nó). Sau đó bios của card sẽ giao thông tin (số serial #, tốc độ, model, nhãn hiệu, nhiệt độ, ...) lại cho OS chính (WIndows) của máy. Thứ nhất, tôi nghe nói cũng có người bị người không (tức FlexRaid không cho thấy được hết các thông tin của từng HDD qua the SMART attribute). Thứ hai, loại card IBM M1015 bán trên thị trường hiện nay là loại trôi nổi (thường thấy trên eBay) với đủ thứ loại giá nên chả biết đâu mà lần cái nào đúng của IBM. Do đó khi flash cái này hên xui thôi. Thứ ba, như tôi đã nói, tôi không có loại card của bạn nên không thể kiểm tra giùm cho bạn được. Rất đáng tiếc.

Về license FlexRaid thì tôi ko chắc lắm. Nhưng theo tôi biết thằng này cũng giống như Windows mới sau này, nó dính theo HDD thì phải. Khi bạn đăng ký dùng tạm, nó sẽ gởi số serial # của cái HDD của bạn lên server quản lý license của nó. Tôi đã thử dùng cùng license trên cùng máy nhưng khác HDD thì không chịu. Trong trường hợp HDD bạn bị toi, thì bạn phải email (bằng chính cái email mình mua license của nó) cho họ nói HDD bị hư phải cài lại OS và xin license lại. Khi đó họ sẽ diable cái của mình và gửi cho bạn cái license khác.

Chúc vui.

 

[Jedi Knight]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Có thể tận dụng PC sẵn có làm nơi truy cập tập trung thay vì làm NAS, PC dùng ổ SSD khởi động nên cần truy cập thì bật PC cũng khá nhanh, nhanh hơn cả đầu HD Player khởi động. Nhà nhỏ nên cũng ko thấy bất tiện lắm, tối đi làm về bật sẵn cái PC, cần gì thì truy cập qua LAN, đi ngủ thì tắt.

Lúc trước cũng tính mua NAS nhưng nghĩ cũng phí vì chỉ xem vào buổi tối, nhà ai cũng đi cả ngày, nên tận dụng cái PC luôn

Giờ chỉ cần áp dụng giải pháp gom ổ đĩa lại cho gọn

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Card LSI 1015 em mua là card đi kèm server IBM, có đầy đủ CO/CQ và tem của nhà phân phối FPT nên em nghĩ là ổn chứ ko phải loại trôi nổi ebay, chắc là do cái IT mode nó làm cho các thông số ko pass qua bên OS chính (windows) thì mới ko hiện nhiệt độ. Để em thử flash qua mode khác xem có xử lý được vấn đề đó hay không rồi sẽ báo cáo các bác tiếp.

 

[dungsin_lqd]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Card LSI 1015 em mua là card đi kèm server IBM, có đầy đủ CO/CQ và tem của nhà phân phối FPT nên em nghĩ là ổn chứ ko phải loại trôi nổi ebay, chắc là do cái IT mode nó làm cho các thông số ko pass qua bên OS chính (windows) thì mới ko hiện nhiệt độ. Để em thử flash qua mode khác xem có xử lý được vấn đề đó hay không rồi sẽ báo cáo các bác tiếp.

Bữa có lien lạc với bác vụ card raid LSI 1015 nhưng đợi hoài không thấy bác hồi âm..

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

xin lỗi bác là chuyến công tác của em lại hoãn đến 29 Tết này mới vào Sgn sau đó lại quay ra ngay. Hoặc để em gửi vào cho bác vậy nhé

 

[ryualviss]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

cảm ơn bác thớt nhiều, e cũng đang phân vân mấy cái này=D>

 

[vanmanh41]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

ao ước đống ổ cứng của bác quá

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Đêm qua ngồi cùng anh bạn mò mẫm snapraid và đã xử lý được các vấn đề đặt ra cho việc sync, config data.
Thông qua đây cũng thấy có một số vấn đề mà snapraid chưa làm được như flexraid và unraid đó là lệnh pool của nó chỉ là tạo ra các shotcut/ánh xạ đến thư mục hay ổ đĩa chứ không thể truy cập được bằng HDP. Vấn đề thứ 2 là khi tạo xong pool bằng câu lệnh, vào thư mục pool đó thì cũng không quản lý được freespace còn lại là bao nhiêu, copy vào đó cũng không biết là nó sẽ vào hdd nào, muốn tạo ra các thư mục phải vào từng hdd thành phần để copy, chưa có các option kiểu như của unRaid là space priority hay folder priority v.v... nói chung là phải làm thủ công cho việc copy ra/vào.
Tuy nhiên chương trình chạy khá nhanh, ổn định và miễn phí hoàn toàn.
Em thấy nếu các bác chỉ dùng để lưu và bảo toàn data trong trường hợp ít thay đổi thì dùng tốt.
Đây là file config em tạo ra cho snapraid và đã running OK.

parity C:\pool\parity\parity.par

content C:\pool\content.lst
content c:\pool\disk-1\content.lst
content c:\pool\disk-2\content.lst
content c:\pool\disk-3\content.lst


disk d1 c:\pool\disk-1\array\
disk d2 c:\pool\disk-2\array\
disk d3 c:\pool\disk-3\array\

exclude *.unrecoverable
exclude Thumbs.db
exclude \$RECYCLE.BIN
exclude \System Volume Information
exclude \Program Files\
exclude \Program Files (x86)\
exclude \Windows\

block_size 256

autosave 500

Trong đó disk-1 của em là gộp 4 hdd lại thành dạng stripped volume, window quản lý như 1 hdd duy nhất để tận dụng tốc độ của 4 cái hdd (vì dung lượng nhỏ chỉ có 80GB, gộp hết cả vào thành 1 volume hơn 300GB).
Sau đó mount hết cả vào thư mục pool trên ổ C.

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Đêm qua ngồi cùng anh bạn mò mẫm snapraid và đã xử lý được các vấn đề đặt ra cho việc sync, config data.
Thông qua đây cũng thấy có một số vấn đề mà snapraid chưa làm được như flexraid và unraid đó là lệnh pool của nó chỉ là tạo ra các shotcut/ánh xạ đến thư mục hay ổ đĩa chứ không thể truy cập được bằng HDP. Vấn đề thứ 2 là khi tạo xong pool bằng câu lệnh, vào thư mục pool đó thì cũng không quản lý được freespace còn lại là bao nhiêu, copy vào đó cũng không biết là nó sẽ vào hdd nào, muốn tạo ra các thư mục phải vào từng hdd thành phần để copy, chưa có các option kiểu như của unRaid là space priority hay folder priority v.v... nói chung là phải làm thủ công cho việc copy ra/vào.
Tuy nhiên chương trình chạy khá nhanh, ổn định và miễn phí hoàn toàn.
Em thấy nếu các bác chỉ dùng để lưu và bảo toàn data trong trường hợp ít thay đổi thì dùng tốt.
Đây là file config em tạo ra cho snapraid và đã running OK.

parity C:\pool\parity\parity.par

content C:\pool\content.lst
content c:\pool\disk-1\content.lst
content c:\pool\disk-2\content.lst
content c:\pool\disk-3\content.lst


disk d1 c:\pool\disk-1\array\
disk d2 c:\pool\disk-2\array\
disk d3 c:\pool\disk-3\array\

exclude *.unrecoverable
exclude Thumbs.db
exclude \$RECYCLE.BIN
exclude \System Volume Information
exclude \Program Files\
exclude \Program Files (x86)\
exclude \Windows\

block_size 256

autosave 500

Trong đó disk-1 của em là gộp 4 hdd lại thành dạng stripped volume, window quản lý như 1 hdd duy nhất để tận dụng tốc độ của 4 cái hdd (vì dung lượng nhỏ chỉ có 80GB, gộp hết cả vào thành 1 volume hơn 300GB).
Sau đó mount hết cả vào thư mục pool trên ổ C.

Chúc mừng bạn đã làm thành công SnapRaid. Một trải nghiệm tuyệt vời nếu bạn thật sự thích nó.

Ở đây tôi có một số điều muốn hỏi bạn là thứ nhất không thấy bạn ghi ra lệnh pool trong file config của mình. Bạn đã pool như thế nào mà HDP không thể truy cập được?

Thứ hai, bạn nói "là khi tạo xong pool bằng câu lệnh, vào thư mục pool đó thì cũng không quản lý được freespace còn lại là bao nhiêu, copy vào đó cũng không biết là nó sẽ vào hdd nào, muốn tạo ra các thư mục phải vào từng hdd thành phần để copy". Cái này thì tôi biết. Nếu bạn lật lại những mục đích ban đầu trong phần 1 tôi viết thì sẽ rõ. Tức là bản thân tôi muốn quản lý đến từng ổ đĩa cứng của mình. Tức là nếu muốn xóa hay chép thêm phim/ nhạc, tôi sẽ vào cụ thể một HDD nào mà tôi muốn để làm việc với nó. Có như vậy thì tôi mới chủ động hơn là khoán trắng cho thư mục pool (trong SnapRaid) hay ổ cứng mở rộng dùng chung (trong FlexRaid). Khi đó tôi biết cụ thể là từng HDD dung lượng còn lại là bao nhiêu và chúng đang chứa những loại phim/ nhạc/ ảnh gì. Ở đây tôi thấy chẳng có gì là thủ công, bởi vì chép xóa đến ổ dùng chung thì cũng giống như chép xóa đến HDD mà mình muốn vậy thôi. Nhưng có cái lợi tuyệt vời là nếu phải nhổ cái Disk-3 cho một người bạn mượn chép thì mình biết rất rõ những phim/ nhạc/ photo gì đang chứa trong đó.
Cuối cùng bạn nói là " chưa có các option kiểu như của unRaid là space priority hay folder priority v.v... " Tôi có cái thắc mắc là bạn đã dùng unRAID qua rồi? Nó cũng có hai chức năng này cho mình chọn?

Có thông tin/ kinh nghiệm gì thêm, bạn cứ mạnh dạn post lên để ae cùng nhau học hỏi, trao đổi thêm. Bản thân tôi cũng chưa có nhiều thời gian trải nghiệm với thằng này nên cũng rất cần học hỏi kinh nghiệm từ các bạn đó.

 

[Thanksforsharing]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Trong đó disk-1 của em là gộp 4 hdd lại thành dạng stripped volume, window quản lý như 1 hdd duy nhất để tận dụng tốc độ của 4 cái hdd (vì dung lượng nhỏ chỉ có 80GB, gộp hết cả vào thành 1 volume hơn 300GB).
Sau đó mount hết cả vào thư mục pool trên ổ C.

Còn một vấn đề nữa mà tôi quên nhắc các bạn.
Khi sử dụng gộp 4 hay nhiều hdd lại thành dạng stripped volume như ở trên, mỗi lần bạn xem phim, nghe nhạc hay đơn giản là chỉ xem một tấm hình nằm trên 1 trong những HDD này thì dù muốn dù không tất cả chúng đều phải làm việc (quay mòng mòng) hết, chứ không được phép ngủ đông đâu nhé. Ta nên chú ý ở điểm này.

 

[airport]

Ðề: Phần 3 - Tôi đã quản lý kho dữ liệu HD của mình như thế nào

Cám ơn bác đã phản hồi sớm !
Trong dòng cuối cùng của file config em để câu lệnh: pool C:\pool
Em dùng câu lệnh c:\snapraid pool
trong đó pool là một thư mục em đã tạo ra trước đó tại ổ C.
Sau khi sync xong mới chạy lệnh này thì tất cả các folder đã sync sẽ được tạo shortcut vào cái pool này. Mỗi khi click đúp vào đó thì nó sẽ nhảy vào vị trí vật lý chứa file.
Còn việc này nữa em xin hỏi bác là làm cách nào để biết hdd đã spindown hoặc kiểm soát cái nào đang spin, cái nào đang "ngủ". Ngoài việc dùng tính năng power option của windows có sẵn liệu còn cách nào khác không ạ.
Với unRaid thì ngay khi cài đặt xong usb thì nó sẽ để mình lựa chọn cách ghi vào volume (mà cũng giống như tạo pooling storage của flexRaid hay mount hdd trong windows) theo cách là ưu tiên theo cách ghi vào folder hay ghi vào theo dung lượng phân bổ hiện có của hdd.
Theo cách config trên site của http://lime-technology.com phần share: http://lime-technology.com/wiki/index.php?title=Configuration_Tutorial#Create_User_Shares

Cụ thể như sau:

Set the following options as appropriate for the share and click Apply.

Share name
This is the name of the share.
It must be unique to the server.
Valid characters are a-z, A-Z, 0-9, - (dash), and . (dot)
Comments
(Optional) Comments will appear in the comment field of a share in My Network Places.
Allocation method
Used to determine where to store data as it is copied to the share.
Min free space
The minimum free space in kilobytes that must be available on a drive for files to be copied to the drive. This link may help in setting the correct value: http://www.aqua-calc.com/convert/data/Gigabyte-to-Kilobyte
Split level
Controls at what level UnRAID will allow data to be split among multiple disks.
Included disk(s)
A list of disks preferred for use in the array. If blank all disks are considered for use in the array.
Excluded disk(s)
A list of disks to which data for this share will not be copied.