Apache Hadoop

Apache Hadoop đã được ban đầu được phát triển bởi Yahoo và dự án là sự kết hợp giữa Apache Hadoop Core và Apache Hadoop Repos chung trước.

Các dự án Hadoop đã đạt được rất nhiều tai tiếng nhờ vào kết quả tuyệt vời của nó trong việc thực hiện một hệ thống đa máy chủ phân phối máy tính để xử lý một lượng lớn dữ liệu.

Dự án chính nó là thực sự làm bốn phần. Một là Hadoop Common, cái gọi là cốt lõi cho phép tất cả các module khác để làm việc, thứ hai là hệ thống tập tin của riêng mình - HDFS (Hadoop Distributed File System), thứ ba là Hadoop khuôn khổ kế hoạch SỢI, và cuối cùng có hệ thống Hadoop MapReduce để hỗ trợ tính toán song song.

Sử dụng những hệ thống phá vỡ mặt đất, Apache đã quản lý để tạo ra nhiều dự án phụ khác, như:

- Apache Ambari

- Apache Avro

- Apache Cassandra

- Apache HBase

- Apache Hive

- Apache Mahout

- Apache Pig

- Apache Spark

- Apache Tez

- Apache Zookeeper

Tất cả những dựa trên công cụ xử lý dữ liệu mạnh mẽ Hadoop hoặc các tính năng tính toán phân tán của nó, tích hợp một trong các mô-đun của nó trong một cách cốt lõi của họ hay cách khác.

Điều gì là mới trong phiên bản này:

• Hỗ trợ cho Lưu trữ Lưu trữ
• Dữ liệu trong suốt tại mã hóa phần còn lại (beta)
• Hoạt động DataNode an toàn mà không cần truy cập root
• ổ đĩa thay nóng: hỗ trợ thêm / loại bỏ khối lượng nút dữ liệu mà không cần khởi động lại nút dữ liệu (beta)
• hỗ trợ AES để mã hóa dây nhanh hơn
• Hỗ trợ cho các dịch vụ chạy dài trong sợi
• nhãn Hỗ trợ nút trong lịch
• Hỗ trợ đặt tài nguyên dựa vào thời gian trong Scheduler Công suất (beta)
• toàn cầu, chia sẻ bộ nhớ cache cho vật ứng dụng (beta)
• Hỗ trợ chạy các ứng dụng nguyên bản trong Docker container (alpha)

Điều gì là mới trong phiên bản 2.7.1:

• Hỗ trợ cho Lưu trữ Lưu trữ
• Dữ liệu trong suốt tại mã hóa phần còn lại (beta)
• Hoạt động DataNode an toàn mà không cần truy cập root
• ổ đĩa thay nóng: hỗ trợ thêm / loại bỏ khối lượng nút dữ liệu mà không cần khởi động lại nút dữ liệu (beta)
• hỗ trợ AES để mã hóa dây nhanh hơn
• Hỗ trợ cho các dịch vụ chạy dài trong sợi
• nhãn Hỗ trợ nút trong lịch
• Hỗ trợ đặt tài nguyên dựa vào thời gian trong Scheduler Công suất (beta)
• toàn cầu, chia sẻ bộ nhớ cache cho vật ứng dụng (beta)
• Hỗ trợ chạy các ứng dụng nguyên bản trong Docker container (alpha)

Điều gì là mới trong phiên bản 2.7.0:

• Hỗ trợ cho Lưu trữ Lưu trữ
• Dữ liệu trong suốt tại mã hóa phần còn lại (beta)
• Hoạt động DataNode an toàn mà không cần truy cập root
• ổ đĩa thay nóng: hỗ trợ thêm / loại bỏ khối lượng nút dữ liệu mà không cần khởi động lại nút dữ liệu (beta)
• hỗ trợ AES để mã hóa dây nhanh hơn
• Hỗ trợ cho các dịch vụ chạy dài trong sợi
• nhãn Hỗ trợ nút trong lịch
• Hỗ trợ đặt tài nguyên dựa vào thời gian trong Scheduler Công suất (beta)
• toàn cầu, chia sẻ bộ nhớ cache cho vật ứng dụng (beta)
• Hỗ trợ chạy các ứng dụng nguyên bản trong Docker container (alpha)

Điều gì là mới trong phiên bản 2.6.0:

• Hỗ trợ cho Lưu trữ Lưu trữ
• Dữ liệu trong suốt tại mã hóa phần còn lại (beta)
• Hoạt động DataNode an toàn mà không cần truy cập root
• ổ đĩa thay nóng: hỗ trợ thêm / loại bỏ khối lượng nút dữ liệu mà không cần khởi động lại nút dữ liệu (beta)
• hỗ trợ AES để mã hóa dây nhanh hơn
• Hỗ trợ cho các dịch vụ chạy dài trong sợi
• nhãn Hỗ trợ nút trong lịch
• Hỗ trợ đặt tài nguyên dựa vào thời gian trong Scheduler Công suất (beta)
• toàn cầu, chia sẻ bộ nhớ cache cho vật ứng dụng (beta)
• Hỗ trợ chạy các ứng dụng nguyên bản trong Docker container (alpha)

Điều gì là mới trong phiên bản 2.5.0:.

• cải thiện xác thực khi sử dụng một máy chủ proxy HTTP
• Một Hadoop Metrics chìm mới cho phép bằng văn bản trực tiếp đến Graphite.
• Đặc điểm kỹ thuật cho Hadoop nỗ lực hệ thống tập tin tương thích.
• Hỗ trợ cho các thuộc tính mở rộng POSIX kiểu hệ thống tập tin.
• OfflineImageViewer để duyệt một fsimage qua API WebHDFS.
• cải tiến hỗ trợ và sửa lỗi đến gateway NFS.
• hiện đại hóa web UIS (HTML5 và Javascript) cho daemon HDFS.
• hỗ trợ các API REST sợi của trình và giết chết các ứng dụng.
• tích hợp Kerberos cho cửa hàng thời gian của sợi.

Điều gì là mới trong phiên bản 2.4.0:

• Hỗ trợ cho Access Control Lists trong HDFS
• Mainboard hỗ trợ cho Rolling nâng cấp trong HDFS
• Sử dụng giao thức bộ đệm cho HDFS FSImage để nâng cấp hoạt động trơn tru
• Hoàn thành hỗ trợ HTTPS trong HDFS
• Hỗ trợ tự động chuyển đổi dự phòng của các sợi ResourceManager
• Tăng cường hỗ trợ cho các ứng dụng mới trên sợi với Lịch sử Máy chủ ứng dụng và ứng dụng Timeline máy chủ
• Hỗ trợ cho SLAs mạnh trong sợi CapacityScheduler qua Preemption

Điều gì là mới trong phiên bản 2.3.0:.

• Hỗ trợ cho hệ thống cấp bậc không đồng nhất lưu trữ trong HDFS
• Trong bộ nhớ cache cho dữ liệu HDFS với quản trị tập trung và quản lý.
• phân phối đơn giản của những chương trình MapReduce qua HDFS trong sợi cache phân tán.

Điều gì là mới trong phiên bản 2.2.0:

• sợi - Một hệ thống quản lý tài nguyên dùng chung cho Hadoop để cho phép MapReduce và khung xử lý dữ liệu khác nhau và các dịch vụ
• High Availability cho HDFS
• HDFS Liên đoàn
• HDFS Snapshots
• NFSv3 truy cập vào dữ liệu trong HDFS

Điều gì là mới trong phiên bản 2.1.0-beta:

• HDFS Snapshots
• Hỗ trợ cho chạy Hadoop trên Microsoft Windows
• ổn định sợi API

Điều gì là mới trong phiên bản 2.0.3-alpha:

• QJM cho HDFS HA ​​cho NameNode
• lịch nhiều tài nguyên (CPU và bộ nhớ) cho sợi
• sợi ResourceManager Khởi động lại
• ổn định đáng kể ở quy mô sợi (hơn 30.000 nút và 14 triệu ứng dụng cho đến nay, tại thời điểm phát hành)

Điều gì là mới trong phiên bản 1.0.0:.

• Bảo mật tốt hơn
• HBase (bổ sung / hsynch / hflush, và an ninh).
• webhdfs (với sự hỗ trợ đầy đủ cho an ninh).
• Hiệu suất tăng cường truy cập vào các tập tin địa phương cho HBase.
• cải tiến hiệu suất khác, sửa lỗi, và các tính năng.

Điều gì là mới trong phiên bản 0.20.2:

• RPC server gửi đệm vẫn giữ được kích thước của phản ứng lớn nhất gửi.
• ++ thư viện C không xây dựng trên Debian Lenny.
• Một số c ++ kịch bản được không chmodded trước khi thực hiện kiến.
• Streaming:. Quá trình cung cấp thông điệp tình trạng được ghi đè mỗi 10 seoncds
• IllegalArgumentException khi CombineFileInputFormat được sử dụng như InputFormat công việc.
• Nhiều lỗi w / archives Hadoop.
• Cho phép bộ nhớ đệm của các trường hợp hệ thống tập tin được vô hiệu hóa trên một cơ sở cho mỗi trường hợp.
• Thiếu đồng bộ cho defaultResources trong Configuration.addResource.
• GzipCodec không nên đại diện BuiltInZlibInflater như decompressorType.
• NameNode của HttpServer không thể nhanh chóng InetSocketAddress: IllegalArgumentException được ném
.
• HttpServer ngủ với giá trị âm.
• Namenode chạy ra khỏi bộ nhớ của do rò rỉ bộ nhớ trong Server IPC.
• IPC lỗi khách hàng có thể gây ra cuộc gọi RPC treo.
• kiểm tra Không ngăn chặn các phần còn lại của mục tiêu thử nghiệm từ thực hiện.
• kiểm tra contrib đang thất bại Clover'ed xây dựng.
• Các xét nghiệm không chạy trên 0.20 chi nhánh.
• TestStreamingStatus đang thất bại trên 0,20 chi nhánh.