S3QL

S3QL hỗ trợ Amazon S3 cũng như máy chủ SFTP tùy tiện và hiệu quả cung cấp cho bạn với một ổ đĩa cứng của, khả năng vô hạn năng động mà có thể được truy cập từ bất kỳ máy tính có truy cập internet.
S3QL đang cung cấp một tiêu chuẩn, đầy đủ tính năng hệ thống tập tin UNIX đó là khái niệm không thể phân biệt từ bất kỳ hệ thống tập tin địa phương. Hơn nữa, S3QL có thêm các tính năng như nén, mã hóa, dữ liệu de-duplication, cây bất biến và snapshotting mà làm cho nó đặc biệt thích hợp cho việc sao lưu trực tuyến và lưu trữ.
S3QL được thiết kế để ưu tiên cho sự đơn giản và sang trọng hơn hiệu suất và tính năng leo. Chăm sóc đã được thực hiện để làm cho mã nguồn là có thể đọc và hữu ích nhất có thể. Phát hiện lỗi và xử lý lỗi rắn đã được đưa từ dòng đầu tiên, và S3QL đi kèm với trường hợp kiểm thử tự động mở rộng cho tất cả các thành phần của nó.
Trước khi một hệ thống tập tin có thể được gắn kết, các phụ trợ đó sẽ tổ chức các dữ liệu phải được khởi tạo. Điều này được thực hiện với lệnh mkfs.s3ql. Ở đây chúng ta đang sử dụng các phụ trợ Amazon S3, và nikratio-s3ql-xô là xô S3 trong đó hệ thống tập tin sẽ được lưu trữ.
mkfs.s3ql s3: // nikratio-s3ql-xô
Để gắn kết hệ thống tập tin được lưu trữ trong S3QL xô nikratio_s3ql_bucket S3 trong thư mục / mnt / s3ql, hãy nhập:
mount.s3ql s3: // nikratio-s3ql-xô / mnt / s3ql
Bây giờ bạn có thể hướng dẫn chương trình sao lưu yêu thích của bạn để chạy một bản sao lưu vào thư mục / mnt / s3ql và các dữ liệu sẽ được lưu trữ một Amazon S3. Khi bạn làm xong, hệ thống tập tin đã được chưa lắp ráp với
umount.s3ql / mnt / s3ql

Tính năng :

• Transparency. Khái niệm, S3QL là không thể phân biệt từ một hệ thống tập tin địa phương. Ví dụ, nó hỗ trợ kết cứng, liên kết tượng trưng, ​​quyền unix đầy đủ, thuộc tính mở rộng và tập tin dung lượng lên đến 2 TB.
• Dynamic Size. Kích thước của một hệ thống tập tin S3QL lớn lên và nhỏ tự động theo yêu cầu.
• Compression. Trước khi lưu trữ, tất cả các dữ liệu có thể được nén với LZMA, BZIP2 hoặc thuật toán LZ.
• Encryption. Sau khi nén (nhưng trước khi tải lên), tất cả các dữ liệu AES có thể được mã hóa với khóa 256 bit. Thêm SHA256 HMAC checksum được sử dụng để bảo vệ các dữ liệu đối với các thao tác.
• Data De-duplication. Nếu có nhiều file có nội dung giống hệt nhau, các dữ liệu dư thừa sẽ được lưu trữ chỉ một lần. Điều này hoạt động trên tất cả các tập tin được lưu trữ trong hệ thống tập tin, và nếu chỉ có một số bộ phận của các tập tin giống hệt nhau trong khi các phần khác khác nhau.
• Cây bất biến. Cây thư mục có thể được thực hiện không thay đổi, do đó nội dung của họ không còn có thể được thay đổi trong bất kỳ cách nào. Điều này có thể được sử dụng để đảm bảo rằng các bản sao lưu không thể được sửa đổi sau khi họ đã được thực hiện.
• Copy-on-Write / snapshotting. S3QL có thể tái tạo toàn bộ cây thư mục mà không cần sử dụng bất kỳ không gian lưu trữ bổ sung. Chỉ khi một trong những bản được sửa đổi, một phần của dữ liệu đó đã được sửa đổi sẽ mất không gian lưu trữ bổ sung. Điều này có thể được sử dụng để tạo ra các bức ảnh chụp thông minh bảo tồn tình trạng của một thư mục tại các điểm khác nhau trong thời gian sử dụng một số tiền tối thiểu của không gian.
• High Performance độc ​​lập của độ trễ mạng. Tất cả các hoạt động mà không viết hoặc đọc nội dung tập tin (như tạo thư mục, di chuyển, đổi tên, và cho phép thay đổi các tập tin và thư mục) là rất nhanh vì chúng được thực hiện mà không có bất kỳ giao dịch mạng.
• S3QL đạt được điều này bằng cách lưu toàn bộ cấu trúc file và thư mục trong một cơ sở dữ liệu. Cơ sở dữ liệu này được lưu trữ tại địa phương và bản sao từ xa cập nhật không đồng bộ.
• Hỗ trợ cho các kết nối băng thông thấp. S3QL tách nội dung tập tin thành các khối nhỏ hơn và khối cache tại địa phương. Điều này giảm thiểu cả về số lượng các giao dịch mạng cần thiết cho việc đọc và ghi dữ liệu, và số lượng dữ liệu đã được chuyển nhượng khi bộ phận duy nhất của một tập tin được đọc hoặc viết.

là gì mới trong phiên bản này:

• Những nỗ lực để nâng cấp một hệ thống tập tin đó là đã có tại phiên bản mới nhất không còn làm cho các siêu dữ liệu địa phương sao chép không sử dụng được.
• Google tên xô lưu trữ có chứa dấu chấm không còn gây ra các vấn đề với xác nhận giấy chứng nhận SSL.
• Sửa chữa một vụ tai nạn khi statvfs () được gọi là trên một hệ thống tập tin gần như trống rỗng.
• Có một mới & quot; swiftks & quot; backend cho OpenStack / máy chủ Swift.
• Loại bỏ một điều kiện chủng tộc mà có thể dẫn đến mount.s3ql đâm với một & quot; KeyError trong các bộ sưu tập / abc.py & quot;.
• Sửa chữa một vụ tai nạn có thể xảy ra khi cố gắng để làm sạch sau khi nhận được một kết nối hoặc máy chủ lỗi khi tải lên một đối tượng.

là gì mới trong phiên bản 2.2:

• S3QL bây giờ sử dụng các kết nối SSL theo mặc định và xác minh chứng chỉ máy chủ.
• Một điều kiện chủng tộc dẫn đến việc mất mát rõ ràng của siêu dữ liệu từ xa đã được cố định.
• Các S3 backend giờ xóa nhiều đối tượng lưu trữ bằng cách sử dụng một yêu cầu nếu có thể, việc giảm độ trễ, giao thông, và số lượng yêu cầu để S3.
• S3QL bây giờ có thể phát hiện lỗi máy chủ và chuyển hướng trước khi tất cả các dữ liệu đã được gửi đến máy chủ.
• A 'Rackspace' phụ trợ mới cho phép đặc điểm kỹ thuật của khu vực lưu trữ đối tượng trong các URL lưu trữ đã được thêm vào.
• Các tùy chọn --compress mount.s3ql bây giờ cho phép đặc tả các mức độ nén.

là gì mới trong phiên bản 1.15:

• Đi xe đạp của các sao lưu metadata khi sử dụng phụ trợ trong nước bây giờ có nhiều ít thời gian hơn.
• Nó không còn cần thiết mà S3QL và Python APSW được liên kết với các thư viện chia sẻ cùng SQLite.
• Trong mount.s3ql, một vụ tai nạn khi sử dụng --metadata-upload-interval 0 đã được cố định.
• Thay vì hoàn toàn unmount file hệ thống (và để lại các điểm gắn kết không thể truy cập) khi dữ liệu backend là mất tích hoặc bị hỏng, S3QL bây giờ trả lại một lỗi và chuyển sang đọc-chỉ hoạt động.

là gì mới trong phiên bản 1.13:

• Phiên bản này sửa chữa một lỗi đó gây ra siêu dữ liệu bị thay đổi phải được viết ra khi sử dụng các phiên bản eglibc gần đây.
• Nó sửa chữa các vấn đề khi cố gắng truy cập vào một thư mục trong thư mục gốc của hệ thống tập tin mà gần đây đã được loại bỏ bằng s3qlrm.
• hỗ trợ ACL bề ngoài đã được gỡ bỏ.
• xử lý Phiên bản này tốt hơn xô với tên DNS không hợp lệ.
• Nó sẽ thử lại nếu DNS là không có sẵn.

là gì mới trong phiên bản 1.11.1:

• Phiên bản này sửa chữa một vụ tai nạn khi sử dụng các phụ trợ S3 (hồi quy giới thiệu trong phiên bản 1.11), làm tăng kích thước tối thiểu báo cáo hệ thống tập tin tới 1 TB, và các công trình xung quanh một lỗi df nên kích thước được báo cáo đúng.

là gì mới trong phiên bản 1.11:

• Metadata về các đối tượng được lưu trữ hiện nay được chia thành nhiều lĩnh vực, vì vậy không có trường dài hơn 256 byte. (Điều này làm cho S3QL tương thích với một phạm vi rộng lớn hơn của các nhà cung cấp lưu trữ.) Các backend SWIFT tại retries nếu nó nhận được 5xx mã lỗi từ máy chủ từ xa, và không còn bị lỗi khi cố gắng để tải lên dữ liệu với một auth thẻ hết hạn
.

là gì mới trong phiên bản 1.10:

• Các s3s, s3cs, và phần phụ trợ GSS đã được gỡ bỏ. Sử dụng tùy chọn --ssl mới cùng với các phần phụ trợ s3, S3C, và gs thay thế.
• S3QL không còn theo dõi đảm bảo tính thống nhất cho các phần phụ trợ khác nhau.
• Số lượng ngày càng tăng của các nhà cung cấp lưu trữ khác nhau cung cấp các khu vực khác nhau, dư thừa, và mức độ sẵn sàng làm cho không còn khả thi này.
• Hướng dẫn người dùng chứa một phần mới, & quot; quy định Quan trọng để tránh mất dữ liệu & quot;.
• Đọc nó được khuyến khích mạnh mẽ.

là gì mới trong phiên bản 1.9:

• Phiên bản này làm cho lần tập tin không còn thay đổi khi thay đổi hệ thống múi giờ, bản sửa lỗi và cải thiện contrib / benchmark.p, sửa chữa các & quot; Quá nhiều redirections xích & quot; lỗi, retries về lỗi máy chủ 5xx, và thêm hỗ trợ cho các máy chủ thử nghiệm bản địa OpenStack / SWIFT và hỗ trợ proxy nghiệm.

là gì mới trong phiên bản 1.8:

• A & quot; ValueError: Không thể đổ các giá trị NULL & quot; tai nạn khi hệ thống tập tin siêu dữ liệu đã được tải lên trong thời gian hoạt động hệ thống file nặng đã được cố định.
• s3qlcp và thư mục liệt kê hiệu suất cho các thư mục rất lớn đã được cải thiện.
• Một hồi quy hiệu suất rm đã được cố định.
• -. Kích cỡ khối đã được đổi tên thành max-obj-kích thước
• Một số tai nạn xảy ra theo sử dụng hệ thống tập tin rất nhiều đồng thời bị cố định.
• python-llfuse 0,37 hiện được sử dụng.

Hạn chế :

• vẫn còn rất nhiều lỗi trong mã và bạn phải sẵn sàng để đối phó với chúng. Tuy nhiên, bạn có thể tự tin một cách hợp lý rằng các lỗi (mặc dù bất tiện) sẽ không gây nguy hiểm cho dữ liệu lưu trữ của bạn.