Dapper Dataflow Engine

Dapper (Distributed và Chương trình Parallel Execution Runtime) là một công cụ để thuần hóa những phức tạp của phát triển cho điện toán đám mây quy mô lớn và tính toán lưới, cho phép người sử dụng để tạo ra các tính toán phân phối từ các yếu tố cần thiết - các mã số đó sẽ execut
Tại sao Dapper?
Chúng ta đang sống trong thời gian thú vị, nơi những đột phá trong khoa học ngày càng phụ thuộc vào sự sẵn có ngày càng tăng và sự phong phú của hàng hóa, đưa các tài nguyên tính toán nối mạng. Với sự giúp đỡ của các đám mây hoặc lưới, tính toán rằng nếu không sẽ chạy cho ngày trên một máy tính để bàn duy nhất bây giờ đã phân phối và / hoặc các công thức song song đó có thể khuấy qua, trong một vài giờ, đầu vào bộ mười lần lớn hơn trăm máy . Như quyến rũ như ý tưởng của sức mạnh trong số có thể được, có chỉ là phần cứng vật lý là không đủ - một lập trình viên phải xây dựng được những tính toán thực tế mà sẽ chạy trên nó. Do đó, giá trị cao được đặt vào nỗ lực của con người và sự sáng tạo đòi hỏi một môi trường lập trình cho phép, và thậm chí khuyến khích, biểu ngắn gọn các tính toán phân tán, nhưng đồng thời không hy sinh tính tổng quát.
Dapper, đứng cho phân phối và Parallel Thực hiện Chương trình Runtime, là một trong những công cụ như là chiếc cầu nối kỹ thuật cấp cao các nhà khoa học / lập trình viên mà nắm bắt được bản chất của một chương trình, với các cơ chế cấp thấp mà phản ánh thực tế không lành mạnh của tính toán phân tán và song song. Theo cách tiếp cận dataflow theo định hướng của mình, Dapper cho phép người dùng để mã tại địa phương trong Java và thực thi trên toàn cầu trên đám mây hoặc lưới. Người dùng đầu tiên viết codelets, hoặc các đoạn mã nhỏ mà thực hiện nhiệm vụ đơn giản và không, trong bản thân mình, tạo thành một chương trình hoàn chỉnh. Sau đó, anh ta hoặc cô định làm thế nào những codelets, xem như là đỉnh của dataflow, truyền dữ liệu với nhau thông qua các mối quan hệ cạnh. Kết quả là đạo diễn đồ thị dataflow mạch hở là một chương trình hoàn chỉnh có thể phiên dịch bởi máy chủ Dapper, trong đó, khi được liên lạc với khách hàng nhân tồn tại lâu dài, có thể phối hợp thực hiện một phân phối.
Theo mô hình Dapper, người sử dụng không còn cần phải lo lắng về các khía cạnh truyền thống ad-hoc quản lý các đám mây hoặc lưới, trong đó bao gồm việc xử lý liên kết nối dữ liệu và các phụ thuộc, phục hồi lỗi, phân phối mã, và bắt đầu công việc. Có lẽ quan trọng hơn, nó cung cấp toàn bộ một chuỗi công cụ dựa trên Java và thời gian chạy cho khung gần như tất cả các tính toán phân tán thô-hạt trong một định dạng phù hợp cho phép triển khai nhanh chóng và dễ dàng vận chuyển đến các nhà nghiên cứu khác.

Tính năng :

• Một hệ thống phân phối mã cho phép các máy chủ Dapper để truyền tải mã chương trình cần thiết trên mạng và có các khách hàng tự động tải nó. Hậu quả của việc này là, chặn thực thi bên ngoài, cập nhật để Dapper chương trình chỉ cần xảy ra trên phía máy chủ.
• Một phương pháp nhúng subflow mạnh mẽ để tự động thay đổi các đồ thị dataflow tại thời gian chạy.
• Một thời gian chạy trong vanilla Java, một ngôn ngữ mà nhiều người không có nghi ngờ đã quen thuộc. Ngoài các yêu cầu của một JVM gần đây và tùy chọn Graphviz Dot, Dapper là khép kín.
• Một giao thức điều khiển bền vững. Các máy chủ Dapper hy vọng bất kỳ số lượng khách hàng đến thất bại, bất cứ lúc nào, và có tái thực hiện và thời gian chờ chính sách tùy chỉnh để đối phó. Do đó, người ta có thể bắt đầu và dừng lại (sống lâu) khách hàng mà không sợ bị đưa toàn bộ hệ thống vào một nhà nước không phù hợp.
• ngữ nghĩa linh hoạt cho phép chuyển dữ liệu thông qua các tập tin hoặc TCP suối.
• Khả năng tương tác với các bức tường lửa. Bởi đám mây hoặc lưới địa phương của bạn có thể ngồi đằng sau một bức tường lửa, chúng tôi đã nghĩ ra ngữ nghĩa đặc biệt cho các tuyến truyền tải dữ liệu.
• điều khoản cấp phép tự do. Dapper được phát hành theo LGPL để tránh gây ô nhiễm codebase của bạn.
• Operation như một ứng dụng nhúng. Một hướng dẫn sử dụng mô tả các lập trình API mà người dùng có thể làm theo để chạy các máy chủ Dapper bên trong một ứng dụng như Apache Tomcat.
• Operation như một giao diện người dùng độc lập. Với nó, người ta có thể chạy off-the-shelf trình diễn và học các khái niệm cốt lõi từ ví dụ trực quan. Bằng cách làm theo một tập tối thiểu của công ước, một thì có thể bó chương trình Dapper của chính mình để lưu trữ thực hiện, và sau đó nhận được tình trạng dataflow gian thực và gỡ lỗi phản hồi.

là gì mới trong phiên bản này:

• Các phương pháp ServerLogic # closeIdleClients đã được thay đổi để phù hợp tốt hơn khái niệm trực quan của người dùng về sự biếng nhác.
• Một lựa chọn sử dụng để chỉ định tên máy của máy chủ đã được thêm vào.
• internals Mạng đã được làm lại để sử dụng các API mới.
• Quá trình xây dựng đã được cập nhật để hỗ trợ cả 32 bit và 64-bit Windows cross-biên dịch.
• Các hoạt bát. * Hệ thống phân cấp đã được đổi tên thành org.dapper. *.

là gì mới trong phiên bản 0.96:

• Thêm sự trừu tượng FlowListener, để người dùng có thể liên kết với doanh nghiệp siêu dữ liệu với dataflows và các nút của họ.
• Cố định một rò rỉ bộ nhớ trong máy chủ Dapper.
• Added tags apiviz Doclet để mối quan hệ giữa các lớp có thể được hình dung tốt hơn
.
• Thêm apiviz cho visualization các phụ thuộc trong Javadoc.
• Cố định một lỗi nhỏ trong BuildAndTest thực thi.
• Quá trình xây dựng hiện nay được tích hợp đầy đủ với Apache Ivy. Sự phân bố nguồn tàu hiện nay còn với thuế TTĐB. Thay vào đó, phụ thuộc sẽ được tự động tải về; không rằng, người ta có thể tải về mã nguồn SST, biên dịch nó, và xuất bản vào một kho lưu trữ địa phương. Xem hướng dẫn sử dụng để biết thêm chi tiết.
• Cập nhật xây dựng quy trình và các bước cần thiết loại bỏ.
• Bình thường hóa bản quyền và giấy phép thông báo trong tất cả các file.
• Java 1.6 hiện nay là cần thiết để xây dựng và chạy.
• Thay đổi quá trình xây dựng để sử dụng Apache Ivy, có nghĩa là phụ thuộc bên ngoài không còn phải được đóng gói với các phân phối chính SST.
• 'doxygen' mục tiêu gia tăng để xây dựng quy trình để các thành phần có nguồn gốc có thể được ghi chép lại.

là gì mới trong phiên bản 0.95:

• A, cơ sở hạ tầng khai thác gỗ linh hoạt mới đã được thêm
• Initializers cho các cấu trúc khai thác gỗ đã được di chuyển ra khỏi các lớp Server và Client và vào trình điều khiển.
• máy nhà nước hữu hạn đã được cập nhật vào chú thích định hướng mới API.
• Các mã nguồn đã được bình thường hóa có 8 không gian thay vì các tab.

là gì mới trong phiên bản 0.94:

• Tùy chọn dòng lệnh cho các máy khách và máy chủ đang có sẵn, lịch sự của các thư viện Apache Commons CLI.
• Quá trình client vòng đời bây giờ định nghĩa là kết thúc khi một ngắt kết nối từ các máy chủ sẽ xảy ra.
• Stem chức năng thế hệ đã chuyển từ một phương thức thành viên của OutputHandleResource việc là một phương thức tĩnh của CodeletUtilities.
• Các lớp FlowNodeFactory được sử dụng trong lợi của instantiation trực tiếp của FlowNodes.
• Xây dựng các thành phần có nguồn gốc đã di cư đến các CMake.
• Logging đã di cư đến SLF4J.
• Một README đã được thêm vào tất cả các bản phân phối.

là gì mới trong phiên bản 0.93:.

• Thấm cải thiện ví dụ sư phạm
• Cập nhật thủ công.
• Thêm thói quen nghỉ ở dapper.codelet.CodeletUtilities cho truy vấn nguồn.
• Generator Removed, FileEdge, FileBatchGenerator, FileBatchEdge, FileResource, và FileBatchResource. Họ đã được thay thế bằng khái niệm về dữ liệu trừu tượng xử lý theo hình thức HandleEdge, InputHandleResource, OutputHandleResource. Xem hướng dẫn cho những thay đổi.
• dapper.codelet.Resource Cập nhật để xuất khẩu đầu vào và đầu ra suối.

Yêu cầu :

• Java 2 Standard Edition Runtime Environment