Hadoopy

Đây có thể là một thư viện Python cho MapReduce viết bằng Cython

Tính năng .

• giao diện tương tự như Hadoop API (các mẫu thiết kế có thể sử dụng giữa các giao diện Python / Java)
• tương thích chung với dumbo để cho phép người dùng chuyển đổi qua lại
• Có thể sử dụng trên các cụm Hadoop mà không Python hoặc truy cập admin
• chuyển đổi và xử lý nhanh
• Ở nhỏ và các tài liệu
• Hãy minh bạch với những gì đang xảy ra
• chương trình Xử lý với của .so phức tạp, ctypes, và phần mở rộng
• Code viết cho hack-khả năng
• truy cập HDFS đơn giản (ví dụ, đọc, viết, ls)
• Hỗ trợ (và không tái tạo) các hệ sinh thái Hadoop lớn hơn (ví dụ, Oozie, kêu vù vù)
• job tự động song song 'auto-oozie' có sẵn trong các dự án dòng hadoopy (duy trì ra khỏi chi nhánh)
• Local thực hiện công việc MapReduce chưa sửa đổi với launch_local
• đọc / ghi tập tin chuỗi các TypedBytes trực tiếp đến HDFS từ python (readtb, writetb)
• Cho phép in đến stdout và stderr trong nhiệm vụ Hadoop mà không gây ra vấn đề (sử dụng kỹ thuật 'ống nhảy', cả hai đều có sẵn trong thiết bị lỗi chuẩn của công việc)
• Hoạt động trên cụm mà không cần bất kỳ cài đặt thêm, Python, hoặc bất kỳ thư viện Python (sử dụng PyInstaller được bao gồm trong cây nguồn này)
• Hoạt động trên hệ điều hành X
• con đường quan trọng là trong Cython
• truy cập HDFS Simple (readtb và ls) bên trong Python, ngay cả bên trong công việc đang chạy
• giao diện Unit test
• Báo cáo sử dụng tình trạng và quầy (và in báo cáo! Không cần phải sợ hãi của họ trong Hadoopy)
• Hỗ trợ mẫu thiết kế trong các cuốn sách Lin & Dyer
• hỗ trợ Typedbytes (rất nhanh)
• hỗ trợ Oozie

Yêu cầu :

• Cython 0.13 hoặc cao hơn