Apache Nutch

Apache Nutch được xây dựng trên đầu trang của Apache Lucene , một công cụ tìm kiếm mạnh mẽ Java.
Phát triển Nutch sửa đổi codebase Lucene, chuyển đổi dữ liệu Lucene codebase-agnostic vào một dự án dành riêng cho việc tìm kiếm dữ liệu trên Web cụ thể.
Công nghệ này có thể được sử dụng để tìm kiếm trên các trang web riêng của bạn như là một máy chủ tìm kiếm tích hợp, hoặc thu thập dữ liệu trang web tìm kiếm dữ liệu để phân tích và cạo vào cơ sở dữ liệu của bạn.
Nutch có thể chạy trên một máy tính duy nhất, nhưng hoạt động tốt hơn trong Hadoop cụm.
Plugins khác nhau có sẵn để mở rộng phổ dụng của nó

là gì mới trong phiên bản này:.

• Đảm bảo bản sao thẻ không tồn tại trong microformat-reltag tag tập.
• A tốt hơn rơi trở lại giá trị cho trường ngày.
• Hãy thoát khỏi sợ hãi.
• Nâng cấp lên 1.2.0 Hadoop.
• Nâng cấp để Tika 1.3.

là gì mới trong phiên bản 2.0:.

• Đổi tên thành ParseFilter HTMLParseFilter
• Remove còn lại robot / Mã IP chặn trong lib-http.
• Port khai thác gỗ để SLF4J.
• phân tích cú pháp bên ngoài hỗ trợ thuộc tính mã hóa.
• Cài đặt cấu hình Ivy không bao gồm Gora.
• Injector nên thêm siêu dữ liệu trước khi gọi injectedScore.
• Port Nutch benchmark để Nutchbase.
• Add-parse html trở lại.
• MoreIndexingFilter dạng ngày mất tích.
• Timeout cho Parser.
• Thử lại khoảng thời gian trong ngày thu thập dữ liệu được thiết lập là 0.
• Tạo ra đăng nhập cho solr indexer và dedup.
• Cải thiện NutchConfiguration.
• SolrDeleteDuplicates cần sao chép các đối tượng SolrRecord.
• Native libs hadoop không có sẵn thông qua mê.
• Tách xây dựng và môi trường runtime.

là gì mới trong phiên bản 1.5:

• Phiên bản này bao gồm một số cải tiến bao gồm nâng cấp của một số thành phần chính bao gồm Tika 1.1 và 1.0.0 Hadoop, cải tiến để LinkRank và các yếu tố WebGraph cũng như một số bổ sung mới bao gồm danh sách đen, lọc và phân tích đến tên một vài.

là gì mới trong phiên bản 1.4:.

• Added Solr 4x (trunk) schema dụ


• Thêm '/ runtime' với svn bỏ qua.
• Application / xhtml + xml nên được bật trong plugin.xml của parse-html; cho phép nhiều kiểu MIME cho plugin.xml.
• Sửa lỗi phân tích cú pháp và phân tích-Tika-html sử dụng độ phân giải tương đối URL mỗi RFC-3986.
• Nâng cấp để Tika 0.10. Chú ý:. Parser RTF mới của Tika có thể bỏ qua nhiều văn bản hơn trong các văn bản bị thay đổi so với trước đây - xem Tika-748 để biết chi tiết
• Added Sonar mục tiêu để Ant build.xml.
• Nâng cấp lên phiên bản 3.4.0 SolrJ.
• mục tiêu Ant PMD là bị hỏng.
• schema Solr nâng cấp lên phiên bản 1.4.

là gì mới trong phiên bản 1.3:

• Phiên bản này bao gồm một số cải tiến (cải thiện phân tích hỗ trợ RSS, chặt chẽ hơn hội nhập với Apache Tika, hỗ trợ phân tích bên ngoài, cải thiện nhận dạng ngôn ngữ và một đơn đặt hàng của các cường độ nhỏ hơn nguồn phát hành tarball -. chỉ khoảng 2MB)

là gì mới trong phiên bản 1.2:

• Hãy chỉ số nhiều plug-in cấu hình
• Cấu hình giao thức tập tin thư mục cha bò.
• Timeout cho Parser.
• Website vẫn Lucene có thương hiệu.
• Thử lại khoảng thời gian trong ngày thu thập dữ liệu được thiết lập là 0.

là gì mới trong phiên bản 1.0:.

• Cho phép phân tích cú pháp để trả lại nhiều đối tượng Parse
• Loại bỏ dư thừa commons-logging jar từ ontology plugin.
• Bug trong SegmentReader gây ra vòng lặp vô hạn.
• lọc chấm điểm nên phân phối cho tất cả các điểm outlinks cùng một lúc.
• Giảm số lượng các cảnh báo trong lõi Nutch.