MooseFS

MooseFS là một khoan dung, mạng lưới phân phối hệ thống tập tin lỗi đó lây lan dữ liệu trên nhiều máy chủ vật lý mà có thể nhìn thấy những người sử dụng như là một nguồn tài nguyên & nbsp; Đối với các hoạt động tập tin tiêu chuẩn MooseFS hoạt động như hệ thống tập tin Unix-như nhau khác.:
& Nbsp; * Một cấu trúc phân cấp (cây thư mục)
& Nbsp; * thuộc tính tập tin Cửa hàng POSIX (quyền truy cập, truy cập cuối cùng và sửa đổi)
& Nbsp; * Hỗ trợ tập tin đặc biệt (khối và thiết bị ký tự, ống dẫn và ổ cắm)
& Nbsp; * Các liên kết tượng trưng (tên tập tin trỏ đến mục tiêu tập tin, không nhất thiết phải ở MooseFS) và liên kết cứng (tên tập tin khác nhau mà chỉ đến cùng một dữ liệu trên MooseFS)
& Nbsp; * Truy cập vào hệ thống tập tin có thể được hạn chế dựa trên địa chỉ IP và / hoặc mật khẩu
Tính năng đặc biệt của MooseFS là:
& Nbsp; * Độ tin cậy cao (nhiều bản sao của dữ liệu có thể được lưu trữ trên máy tính riêng biệt)
& Nbsp; * Công suất là tự động mở rộng bằng cách gắn các máy tính / ổ đĩa mới
& Nbsp; * Xóa các tập tin được lưu giữ trong một thời gian cấu hình của thời gian (một cấp độ hệ thống tập tin "rác bin")
& Nbsp; * snapshots Coherent của file, ngay cả trong khi tập tin đang được viết / đọc
MooseFS bao gồm bốn thành phần:
& Nbsp; * Quản lý máy chủ (server master) & ndash; một máy tính duy nhất quản lý toàn bộ hệ thống tập tin, lưu trữ siêu dữ liệu cho mỗi tập tin (thông tin về kích thước, thuộc tính và vị trí tập tin (s), bao gồm tất cả các thông tin về các tập tin không thường xuyên, tức là thư mục, ổ cắm, ống dẫn và các thiết bị).
& Nbsp; * máy chủ dữ liệu (máy chủ chunk) - bất kỳ số lượng máy chủ hàng hóa lưu trữ các tập tin dữ liệu và đồng bộ hóa nó với nhau (nếu một tập tin nào đó được cho là tồn tại ở nhiều hơn một bản sao).
& Nbsp; * máy chủ sao lưu Metadata (s) (metalogger server) - bất kỳ số lượng máy chủ, tất cả đều có ghi thay đổi cửa hàng siêu dữ liệu và định kỳ tải tập tin siêu dữ liệu chính; để thúc đẩy các máy chủ với các vai trò của các máy chủ quản lý khi chủ chính ngừng hoạt động.
& Nbsp; * máy tính Client truy cập (mount) các tập tin trong MooseFS - bất kỳ số lượng máy sử dụng quá trình mfsmount để giao tiếp với các máy chủ quản lý (tiếp nhận và chỉnh sửa siêu dữ liệu tập tin) và với chunkservers (để trao đổi dữ liệu tập tin thực tế).
mfsmount được dựa trên cơ chế FUSE (hệ thống tập tin trong không gian người dùng), vì vậy MooseFS có sẵn trên tất cả các hệ thống điều hành với một thực hiện FUSE làm việc (Linux, FreeBSD, MacOS X, vv)
Siêu dữ liệu được lưu trữ trong bộ nhớ của máy chủ quản lý, đồng thời lưu vào đĩa (như là một tập tin nhị phân được cập nhật định kỳ và ngay lập tức cập nhật các bản ghi tăng). Các tập tin nhị phân chính cũng như các bản ghi được đồng bộ hóa với metaloggers (nếu có).
Tập tin dữ liệu được chia thành các mảnh (khối) với mức tối đa của mỗi 64MiB. Mỗi chunk chính nó là một tập tin trên đĩa được lựa chọn trên các máy chủ dữ liệu (chunkservers).
Độ tin cậy cao được thực hiện bằng cách cấu hình nhiều máy chủ dữ liệu khác nhau cho phù hợp với nhận thức là "mục tiêu" giá trị (số lượng bản sao để giữ) đặt ra cho các tập tin nhất định.
CÁCH HỆ THỐNG CÔNG TRÌNH
Tất cả các hoạt động tập tin trên một máy tính khách hàng đã gắn MooseFS là chính xác giống như họ sẽ được với các hệ thống tập tin khác. Các hệ điều hành hạt nhân chuyển tất cả các hoạt động tập tin vào module FUSE, mà giao tiếp với quá trình mfsmount. Quá trình mfsmount truyền qua mạng sau đó với máy chủ và dữ liệu máy chủ quản lý (các máy chủ chunk). Toàn bộ quá trình này là hoàn toàn minh bạch cho người dùng.
mfsmount giao tiếp với các máy chủ quản lý mỗi khi một thao tác trên tập tin siêu dữ liệu được yêu cầu:
& Nbsp; * tạo file
& Nbsp; * xóa các tập tin
& Nbsp; * thư mục đọc
& Nbsp; * đọc và thay đổi thuộc tính
& Nbsp; * thay đổi kích thước file
& Nbsp; * vào đầu đọc hoặc ghi dữ liệu
& Nbsp; * trên bất kỳ truy cập vào các tập tin đặc biệt về MFSMETA
mfsmount sử dụng một kết nối trực tiếp đến máy chủ dữ liệu (máy chủ chunk) mà các cửa hàng chunk có liên quan của một tập tin. Khi viết một tập tin, sau khi kết thúc quá trình ghi, máy chủ quản nhận được thông tin từ mfsmount để cập nhật chiều dài của một tập tin và thời gian sửa đổi cuối cùng.
Hơn nữa, các máy chủ dữ liệu (máy chủ chunk) giao tiếp với nhau để tái tạo dữ liệu để đạt được số lượng thích hợp của các bản sao của một tập tin trên các máy khác nhau.
& Nbsp;
LỖI DUNG SAI
& Nbsp;
Lệnh hành chính cho phép các quản trị viên hệ thống để xác định "mục tiêu", hoặc số lượng bản sao đó nên được duy trì, trên một mức độ cho mỗi thư mục hoặc từng file. Thiết lập mục tiêu cho nhiều hơn một máy chủ và có nhiều hơn một dữ liệu sẽ cung cấp khả năng chịu lỗi. Khi các tập tin dữ liệu được lưu trữ trong nhiều bản sao (trên nhiều hơn một máy chủ dữ liệu), hệ thống có khả năng chống thất bại hoặc mất mạng tạm thời của một máy chủ dữ liệu duy nhất.
Điều này tất nhiên không đề cập đến các tập tin với "mục tiêu" thiết lập để 1, trong trường hợp các tập tin sẽ chỉ tồn tại trên một máy chủ dữ liệu duy nhất bất kể có bao nhiêu dữ liệu máy chủ được triển khai trong hệ thống.
Đặc biệt các tập tin quan trọng có thể có mục tiêu của họ thiết lập để một số cao hơn so với hai, mà sẽ cho phép các tập tin này là khả năng kháng một sự cố của nhiều hơn một máy chủ cùng một lúc.
Nói chung các thiết lập cho số lượng bản sao có sẵn nên có một nhiều hơn số lượng dự kiến ​​của máy chủ không thể truy cập hoặc out-of-order.
Trong trường hợp một máy chủ dữ liệu duy nhất trải qua một thất bại hoặc ngắt kết nối từ mạng, các tập tin được lưu trữ bên trong nó mà đã có ít nhất hai bản, sẽ vẫn có thể truy cập từ một máy chủ dữ liệu. Các dữ liệu mà bây giờ là 'dưới mục tiêu của nó sẽ được nhân rộng trên một máy chủ dữ liệu truy cập đến một lần nữa cung cấp số lượng bản theo yêu cầu.
Cần lưu ý rằng, nếu số lượng máy chủ có sẵn là thấp hơn so với "mục tiêu" đặt cho một tập tin nhất định, số lượng bản theo yêu cầu có thể không được bảo tồn. Tương tự như vậy nếu có cùng số lượng các máy chủ là mục tiêu hiện tại và nếu đặt một máy chủ dữ liệu đã đạt 100% công suất của nó, nó sẽ không thể bắt giữ một bản sao của một tập tin đó đang nằm dưới ngưỡng mục tiêu của nó do khác máy chủ dữ liệu đi offline. Trong những trường hợp một máy chủ dữ liệu mới cần được kết nối với hệ thống càng sớm càng tốt để duy trì số lượng mong muốn của bản sao của tập tin.
Một máy chủ dữ liệu mới có thể được kết nối với hệ thống bất cứ lúc nào. Năng lực mới sẽ ngay lập tức trở nên có sẵn để sử dụng để lưu trữ các tập tin mới hoặc để giữ các bản sao được sao của các tập tin từ các máy chủ dữ liệu khác.
Tiện ích hành chính tồn tại để truy vấn trạng thái của các tập tin trong file hệ thống để xác định xem bất kỳ tập tin hiện đang là mục tiêu của họ dưới đây (số lượng bộ hồ sơ). Tiện ích này cũng có thể được sử dụng để thay đổi các thiết lập mục tiêu theo yêu cầu.
Những đoạn dữ liệu được lưu trữ trong các khối được phiên bản, do đó tái kết nối một máy chủ dữ liệu với bản cũ của dữ liệu (chẳng hạn như nếu nó đã được ẩn cho một khoảng thời gian), sẽ không gây ra các tập tin để trở thành không mạch lạc. Các máy chủ dữ liệu sẽ đồng bộ hóa bản thân để giữ các phiên bản hiện tại của các khối, nơi các khối lỗi thời sẽ được loại bỏ và không gian trống sẽ được phân bổ để giữ khối mới.
Thất bại của một máy client (chạy quá trình mfsmount) sẽ không có ảnh hưởng trên sự gắn kết của hệ thống tập tin hoặc về hoạt động của các khách hàng khác. Trong trường hợp xấu nhất các dữ liệu mà chưa được gửi đi từ máy tính của khách hàng không có thể bị mất.
& Nbsp;
NỀN
& Nbsp; MooseFS có sẵn trên tất cả các hệ thống điều hành với một thực hiện FUSE làm việc:
& Nbsp; * Linux (Linux 2.6.14 và lên có hỗ trợ FUSE bao gồm trong hạt nhân chính thức)
& Nbsp; * FreeBSD
& Nbsp; * OpenSolaris
& Nbsp; * MacOS X
Các máy chủ master, metalogger máy chủ và chunkservers cũng có thể chạy trên Solaris hoặc Windows với Cygwin. Không may là không FUSE nó sẽ không thể gắn kết hệ thống tập tin trong các hệ điều hành

là gì mới trong phiên bản này:.

< li> Những thay đổi quan trọng nhất bao gồm báo hiệu cố định xử lý trong các module đa luồng, mục tiêu và giới hạn trong trashtime mfsexport.cfg, và một kiểm tra đơn giản cho các tập tin siêu dữ liệu tải về.

là gì mới trong phiên bản 1.6.19:

• Thay đổi cơ bản đã được giới thiệu đến các máy metalogger và metarestore công cụ cho sự toàn vẹn hơn về các siêu dữ liệu.
• Một thanh tiến trình quét trong CS đã được bổ sung.
• Tên chủ hiện đang giải quyết khi kết nối bị hỏng.
• Một phiên làm việc mới được tạo ra khi trước đó bị mất.
• Rất nhiều bản sửa lỗi khác và cải tiến đã được thực hiện.

là gì mới trong phiên bản 1.6.17:

• Trong phiên bản này, chúng tôi giới thiệu một quản lý bộ nhớ cache dữ liệu tự động .
• Nó là đủ để nâng cấp chỉ máy chủ tổng thể (không có thay đổi trong các máy chủ chunk 'hoặc khách hàng mã đã được thực hiện).
• Các cơ chế bộ nhớ cache hạt nhân luôn luôn tồn tại, nhưng đến nay bộ nhớ cache được xóa luôn khi mở một file. Bây giờ MooseFS điều khiển cho dù rõ ràng hay không bằng cách kiểm tra nếu tập tin đã hoặc chưa biến đổi của khách hàng khác. Hãy xem xét một số kịch bản.
• kịch bản đầu tiên:
• 1. Computer A đọc các tập tin X
• 2. Computer B lần đọc các tập tin X
• 3. Máy tính A muốn đọc các tập tin X - chúng tôi rời khỏi bộ nhớ đệm (các tập tin đã không thay đổi)
• Kịch bản thứ hai:
• 1. Computer A đọc các tập tin X
• 2. Computer A viết vào tập tin X
• 3. Máy tính A muốn tor đọc các tập tin X - chúng tôi rời khỏi bộ nhớ đệm (các tập tin đã thay đổi nhưng máy tính của A biết về những thay đổi này)
• Kịch bản thứ ba:
• 1. Computer A đọc các tập tin X
• 2. Computer B ghi vào tập tin X
• 3. Máy tính A muốn đọc các tập tin X - ở đây chúng ta phải buộc để xóa bộ nhớ cache (vì những thay đổi đã được thực hiện bởi máy tính và máy tính B A không biết gì về họ)
• Trong môi trường thực sự đầu tiên và thứ hai kịch bản xảy ra bằng cách thường xuyên hơn so với kịch bản thứ ba và đó là lý do tại sao nó là hợp lý để rời khỏi nội dung của bộ nhớ cache và đạt được hiệu suất hệ thống tổng thể.
• Tất nhiên có một số kịch bản trung bình (nhưng chúng cũng tồn tại trước đó) như thế này:
• 1. Một máy tính sẽ mở tập tin X và đọc nó hoàn toàn (các tập tin nằm trong bộ nhớ cache)
• 2. Computer B đổi file X
• 3. Computer A một lần nữa đọc file X (nhưng mà không đóng hoặc mở lại nó - chỉ cần di chuyển ở vị trí 0 và đọc lại nó)
• Trong trường hợp này máy tính A sẽ nhận được các dữ liệu tương tự như ở bước 1 nhưng cùng cũng đã xảy ra trong MooseFS trước.
• An nodatacache thuộc tính cũng đã được giới thiệu mà cấm để cache một tập tin. Từ phiên bản 1.6.17 lên tập tin với thuộc tính nodatacache cư xử như các tập tin đã làm trong các phiên bản cũ hơn của MooseFS. Cờ này có thể được sử dụng với các công cụ mfsseteattr, mfsdeleattr và mfsgeteattr.
• cờ này được đưa vào phòng ngừa và có thể là bạn sẽ không cần phải sử dụng nó. Nếu sau một thời gian nó xuất hiện rằng điều này thực sự là vô dụng thì sẽ bị xoá. Nhưng nếu bạn tìm thấy bất kỳ trường hợp / kịch bản mà đòi vô hiệu hóa các cơ chế cache tự động xin vui lòng chia sẻ nó với chúng tôi.