DataCleaner

DataCleaner là một mã nguồn mở và giải pháp hoàn toàn miễn phí cho các tổ chức và doanh nghiệp có nhu cầu tăng và đo lường chất lượng của dữ liệu của họ.

Với DataCleaner, người dùng sẽ có thể đến hồ sơ, đối chiếu, xác nhận dữ liệu đối với quy tắc kinh doanh, và theo dõi sự tiến triển của các phép đo thời gian.

Trong số các tính năng của nó, chúng ta có thể đề cập đến theo dõi dữ liệu, hồ sơ dữ liệu và phân tích DQ, làm sạch dữ liệu và làm giàu, phát hiện và hợp nhất các bản sao, chất lượng dữ liệu khách hàng, cũng như ETLightweight siêu nhanh (Extract-Transform-Load).

Để tìm hiểu thêm về tính năng và khả năng của DataCleaner, cũng như làm thế nào để làm việc với nó, xin vui lòng tham khảo http://eobjects.dk/docs

What mới trong phiên bản này:

• Cải tiến và tính năng mới:
• Chúng tôi đã làm cho nó có thể tạo ra và thả các bảng thông qua giao diện người dùng máy tính để bàn của DataCleaner. Lưu ý rằng thuật ngữ & quot; bảng & quot; đây thực sự bao gồm nhiều hơn các bảng cơ sở dữ liệu chỉ quan hệ. Nó cũng bao gồm Sheets trong kho dữ liệu MS Excel, Bộ sưu tập trong MongoDB, các loại tài liệu trong CouchDB và ElasticSearch và vv ... Về cơ bản tất cả các loại kho dữ liệu có hỗ trợ ghi-hoạt động, ngoại trừ kho dữ liệu đơn bảng như kho dữ liệu CSV, hỗ trợ chức năng này! Các chức năng được tiếp xúc thông qua:
• & quot; Tạo bảng & quot; kích hoạt thông qua menu chuột phải của các lược đồ trong cây ở phía bên trái của ứng dụng.
• & quot; Tạo bảng & quot; cũng được kích hoạt thông qua các đầu vào bảng lựa chọn trong các thành phần như: Chèn vào bảng, tra cứu bảng và bảng Update.
• & quot; Drop bảng & quot; kích hoạt thông qua menu chuột phải của bảng trong cây ở phía bên trái của ứng dụng.
• Chúng tôi đã thêm (tùy chọn) khả năng xác định dịch vụ web Salesforce.com bạn Endpoint URL. Điều này cho phép bạn sử dụng DataCleaner để kết nối với môi trường sandbox của Salesforce.com cũng đến điểm cuối tùy chỉnh của riêng bạn.
• Hỗ trợ ElasticSearch đã được cải thiện, cho phép ánh xạ tùy chỉnh cũng như việc tái sử dụng các định nghĩa kho dữ liệu ElasticSearch bây giờ cũng để tìm kiếm và lập chỉ mục.
• Việc lấy mẫu hồ sơ và lựa chọn các bản sao tiềm năng trong các chức năng phát hiện trùng lặp đã được cải thiện, dẫn đến cấu hình nhanh hơn bởi vì các quyết định được thực hiện trong các buổi tập huấn là đại diện hơn.
• Các định dạng tệp mô hình phát hiện trùng lặp đã được cập nhật trong đó đã loại bỏ sự cần thiết cho một tập tin riêng biệt "tham khảo" để lưu các quyết định đào tạo qua. Khả năng tương thích với các định dạng cũ đã được giữ lại, nhưng bằng cách sử dụng định dạng mới bổ sung thêm nhiều lợi ích cho kinh nghiệm người dùng.
• Sửa lỗi:
• Một vấn đề chủ đề đói đã được cố định trong DataCleaner màn hình. Các tác động của vấn đề này là tuyệt vời, nhưng nó chỉ xảy ra trong những trường hợp hiếm hoi và rất tùy chỉnh. Nếu tùy chỉnh nghe các đối tượng trên màn hình DataCleaner sẽ ném một lỗi, nó sẽ dẫn đến một tài nguyên không bao giờ được giải phóng và chiếm một sợi từ hồ Quartz lập lịch trên máy chủ. Nếu điều này xảy ra nhiều lần máy chủ cuối cùng có thể chạy ra khỏi chủ đề trong hồ bơi mà.
• Các menu dọc trên màn hình kết quả là bây giờ làm một công việc thích hợp hiển thị các nhãn của các thành phần có kết quả. Điều này làm cho nó dễ dàng hơn để nhận ra các mục trình đơn điểm với những gì mục kết quả.

Điều gì là mới trong phiên bản 3.5.5:

• Các 'đồng nghĩa tra cứu' biến đổi hiện nay có một lựa chọn để tìm kiếm tất cả các dấu hiệu của các đầu vào. Điều này rất hữu ích nếu bạn đang làm thay các từ đồng nghĩa trong các giá trị của một trường văn bản dài.
• Chặn thực hiện các công việc DataCleaner thông qua dịch vụ web của màn hình cho điều này đôi khi có thể thất bại với một lỗi gây ra bởi các sợi chặn. Vấn đề này đã được cố định.
• Một cải tiến đã được thực hiện trong cách ăn việc làm và trình tự của các thành phần được đóng / làm sạch sau khi thực hiện.
• Các JNLP / Java WebStart phiên bản của DataCleaner đã bị lộ bởi một lỗi trong thời gian chạy Java gây ra các tập tin JAR nhất định không được công nhận bởi các phóng WebStart, trong những trường hợp nhất định. Vấn đề này đã được cố định bằng cách làm thay đổi nhỏ để các tập tin JAR.
• Một số liên kết đã chết trong các tài liệu đã được cố định.

Điều gì là mới trong phiên bản 3.5.4:

• Bây giờ có thể để ẩn cột đầu ra của biến đổi . Ẩn sẽ không ảnh hưởng đến các luồng xử lý ở tất cả, nhưng chỉ đơn giản là ẩn chúng từ giao diện người dùng, và do đó có khả năng làm cho kinh nghiệm sạch sẽ hơn, khi tương tác với các thành phần khác.
• Một dịch vụ web mới đã được thêm vào các ứng dụng giám sát web, cung cấp một cách để thăm dò ý kiến ​​các tình trạng của việc thực hiện một công việc cụ thể.
• Một lỗi đã được cố định, gây ra các báo cáo HTML để không cho các loại phân tích nhất định khi không có hồ sơ đã được xử lý.
• Và 6 lỗi nhỏ khác đã được adressed.

Điều gì là mới trong phiên bản 3.5.1:

• Capture thay đổi bản ghi:
• Một bộ lọc mới đã được thêm vào cho phép xử lý gia tăng các hồ sơ mà chưa được xử lý trước, ví dụ cho profiling hoặc sao chép chỉ sửa đổi hồ sơ. tên các bộ lọc mới là Capture thay đổi hồ sơ, đề cập đến khái niệm chụp Thay đổi dữ liệu.
• xếp hàng đợi thực hiện các công việc:
• Màn DataCleaner bây giờ sẽ xếp hàng thực hiện cùng một công việc, nếu nó được kích hoạt nhiều lần. Điều này đảm bảo rằng bạn không vô tình chạy cùng một công việc đồng thời có thể dẫn đến nhiều vấn đề, tùy thuộc vào những gì công việc làm.
• sửa lỗi nhỏ:
• Một số sửa lỗi đã được thực hiện.

Điều gì là mới trong phiên bản 3.5:

• Một số pháp sư đang có sẵn cho đăng ký kho dữ liệu; bao gồm cả tập tin tải lên máy chủ cho các tập tin CSV, nhập cảnh, kết nối cơ sở dữ liệu, đăng ký theo hướng dẫn của thông tin Salesforce.com và nhiều hơn nữa.
• Các trình thuật xây dựng công việc cũng đã được mở rộng với một số tính năng nâng cao; Lựa chọn phân phối giá trị và mô hình tìm kiếm các lĩnh vực trong bảng phân tích nhanh, một thuật sĩ hoàn toàn mới để tạo EasyDQ công việc dựa khách hàng làm sạch và một Wizard cho công việc mới để bắn công việc tích hợp dữ liệu Pentaho (đọc dưới đây hơn).
• Bây giờ bạn có thể quảng cáo-hoc truy vấn bất kỳ kho dữ liệu trực tiếp trong giao diện người dùng web. Điều này làm cho nó dễ dàng để có được những hiểu biết nhanh chóng hoặc không thường xuyên vào các dữ liệu mà không thành lập các công việc hoặc các phương pháp quản lý khác của xử lý dữ liệu.
• Một khi công việc hoặc kho dữ liệu được tạo ra, người dùng sẽ được hướng dẫn để hành động với các đối tượng mới được xây dựng. Ví dụ, bạn có thể rất nhanh chóng chạy việc làm ngay sau khi nó được xây dựng, hoặc truy vấn một kho dữ liệu sau khi nó được đăng ký.
• Quản trị viên có thể bây giờ trực tiếp tải lên các công việc vào kho, mà là đặc biệt hữu ích nếu bạn muốn tay chỉnh sửa nội dung XML của các tập tin công việc.
• Rất nhiều các mã lệnh hay kỹ thuật hiện đang ẩn mình trong lợi hiển thị hộp thoại đơn giản. Ví dụ, khi một công việc được kích hoạt một chỉ số tải lớn được hiển thị, và khi kết thúc, kết quả sẽ được hiển thị. Màn hình khai thác gỗ cao cấp mà trước đây có thể vẫn được hiển thị khi nhấn vào một liên kết để biết thêm chi tiết.

Điều gì là mới trong phiên bản 3.1.2:

• Chúng tôi đã thêm một dịch vụ web trong việc theo dõi ứng dụng để nhận được một (danh sách) giá trị chỉ số. Điều này làm cho việc giám sát thậm chí có thể sử dụng nhiều như một thành phần cơ sở hạ tầng quan trọng, như một cách để theo dõi dữ liệu (chất lượng) và phơi bày các kết quả cho các ứng dụng của bên thứ ba.
• Các thành phần 'tra cứu Bảng đã được cải thiện bằng cách thêm tham gia ngữ nghĩa như một thuộc tính cấu hình. Sử dụng tham gia ngữ nghĩa bạn có thể tinh chỉnh nếu bạn muốn tra cứu ngữ nghĩa để làm việc như một LEFT JOIN hoặc một INNER JOIN.
• Các thành phần EasyDQ đã được nâng cấp, bổ sung thêm tùy chọn cấu hình hơn nữa và một giao diện kết quả pc phong phú hơn.
• Hiệu suất cải tiến đã được tập trung cụ thể của phiên bản này. Cải tiến đã được thực hiện trong các động cơ của DataCleaner để sử dụng thêm một phương pháp xử lý phát trong trường hợp góc nào đó mà không được bảo hiểm trước đây.

Điều gì là mới trong phiên bản 3.1.1:

• Ngày và thời gian liên quan đến tùy chọn phân tích đã được mở rộng , thêm phân tích phân phối cho số tuần, tháng và năm. Tất cả các phân tích liên quan đến ngày và thời gian hiện nay được nhóm bên trong một menu con được gọi là & quot; Ngày giờ & quot; dưới & quot; Phân tích & quot;.
• Một tùy chọn & quot; & quot thống kê mô tả; tùy chọn đã được thêm vào các phân tích Số lượng và phân tích ngày / lần. Tùy chọn này cho biết thêm số liệu bổ sung cho các kết quả của các phân tích, chẳng hạn như trung bình, độ lệch, percentiles và nhọn. Những số liệu là tùy chọn vì bộ nhớ của họ là hơi lớn hơn so với số liệu hiện có.
• Các dòng trong bảng xếp hạng thời gian của ứng dụng web giám sát hiện nay có các chấm nhỏ trong đó. Điều này đặc biệt hữu ích cho các bảng xếp hạng với số ít (hoặc thậm chí chỉ một) quan sát trong họ -. Chỉ ra chính xác nơi các điểm quan sát là
• Các phân tích cú pháp truy vấn khi gọi truy vấn đặc biệt cũng đã được cải thiện đáng kể. Bây giờ các truy vấn có thể có những điều khoản riêng biệt, * -wildcards, truy vấn con và chịu lỗi đối với vấn đề văn bản hợp cụ thể.
• Hai máy biến áp mới đã được thêm vào để tạo ra UUIDs và để tạo ra thời gian.

Điều gì là mới trong phiên bản 3.1:

• công thức Metric - xây dựng chất lượng dữ liệu KPI:
• Bây giờ có thể xây dựng nhiều hơn nữa xây dựng chất lượng dữ liệu KPI trong ứng dụng web giám sát DataCleaner của. Giao diện người dùng cho phép bạn xây dựng các công thức phức tạp trong một phong cách công thức bảng tính tương tự; sử dụng các biến được thu thập bởi các công việc DataCleaner.
• công thức Metric có thể kết hợp bất kỳ số lượng các số liệu, các hằng số và các hoạt động, miễn là nó có thể được thể hiện bằng một phương trình toán học.
• Ví dụ: - đánh giá tốc độ ghi trùng lặp trong tỷ lệ phần trăm của tổng số kỷ lục. Hoặc đo lượng mã sản phẩm cho phù hợp với một bộ của nhiều mô hình chuỗi.
• Ad-hoc truy vấn - của bất kỳ kho dữ liệu:
• Với DataCleaner 3.1 bây giờ bạn có thể thực hiện truy vấn đặc biệt cho bất kỳ kho dữ liệu! Truy vấn có thể được thể hiện trong SQL đồng bằng và sẽ được áp dụng cho cơ sở dữ liệu cũng như các tập tin, cơ sở dữ liệu NoSQL và nhiều hơn nữa, cung cấp một cơ chế truy vấn thực sự hữu ích để mở rộng vào kinh nghiệm phát hiện và dữ liệu profiling của bạn.
• Các tùy chọn truy vấn cũng có sẵn thông qua một dịch vụ web để theo dõi người sử dụng với vai trò ADMIN. Các truy vấn được cung cấp như là một tham số HTTP POST hoặc cơ thể, và kết quả được cung cấp như một bảng XHTML.
• Giá trị khớp - một lựa chọn phân tích mới:
• Thông thường bạn có một ý tưởng công ty mà giá trị này nên được cho phép và dự kiến ​​cho một lĩnh vực cụ thể. Trong DataCleaner có luôn là phân tích lựa chọn giá trị phân phối trong đó sẽ giúp bạn khẳng định giả định của bạn. Trong DataCleaner 3.1, mặc dù bạn có một lời đề nghị chính xác hơn - các khớp Value. tùy chọn phân tích này cho phép bạn chỉ định một tập hợp các giá trị kỳ vọng và sau đó thực hiện một phân phối giá trị như phân tích, cụ thể để xác nhận và xác định giá trị bất ngờ.
• Sao chép, xóa và quản lý công việc:
• Quản lý công việc và kết quả trong các ứng dụng màn hình DataCleaner đã được cải thiện rất nhiều. Bây giờ bạn có thể nhấp vào một công việc trong trang Lịch của màn hình, và thấy các tùy chọn quản lý cho các hoạt động như đổi tên, sao chép, xóa và nhiều hơn nữa. Mỗi hoạt động tôn trọng các mối liên kết với các hiện vật khác trong màn hình, chẳng hạn như kết quả phân tích, lịch và nhiều hơn nữa. Điều này có nghĩa là quản lý của kho giám sát đã trở nên dễ dàng hơn rất nhiều và trưởng thành.
• Quản lý lịch sử chất lượng dữ liệu:
• Đôi khi bạn đang phải đối mặt tình huống mà bạn thực sự muốn làm giám sát với các dữ liệu lịch sử! Nó có thể được rằng bạn có bãi lịch sử hoặc sao lưu cơ sở dữ liệu mà bạn muốn hiển thị và kể câu chuyện của. Bây giờ bạn có thể thực hiện phân tích các dữ liệu lịch sử này, tải nó lên màn hình DataCleaner, và sử dụng một dịch vụ web mới, thiết lập một dữ liệu lịch sử mà kết quả phân tích cụ thể. Điều này có nghĩa rằng các mốc thời gian của bạn sẽ đúng lô các kết quả sử dụng ngày dự định của họ, nhưng với kết quả mà bạn đã thu thập được có thể tại một điểm sau đó trong thời gian.
• Clustered hỗ trợ lên lịch (EE chỉ):
• Các kế hoạch của DataCleaner màn hình đã được ra ngoài, do đó nó có thể được thay thế bởi các phương tiện cấu hình đơn giản. Trong phiên bản Enterprise (EE) của DataCleaner, chúng tôi cung cấp một lịch trình nhóm, cung cấp khả năng cân bằng tải và phân phối hành của bạn trên một cụm máy.
• đơn signon (SSO) sử dụng CAS (EE chỉ):
• Trong phiên bản Enterprise (EE) của DataCleaner bây giờ chúng tôi cung cấp một lựa chọn đơn signon cho các ứng dụng màn hình. Bây giờ DataCleaner có thể là một phần tích hợp của cơ sở hạ tầng CNTT của bạn, cũng an ninh-khôn ngoan.
• ... Và rất nhiều thêm:
• Trên đây chỉ là một bản tóm tắt. Hơn ba mươi vấn đề đã được giải quyết trong phiên bản này. Chúng tôi đã giải quyết được một số yêu cầu đến từ các diễn đàn và cộng đồng, và chúng tôi khuyến khích tất cả mọi người sử dụng phương tiện này như một phương tiện cho sự thay đổi. Chúng tôi đang rất hạnh phúc để làm cho sự phát triển của DataCleaner bị ảnh hưởng nặng nề bởi những con suối trong cộng đồng.

Điều gì là mới trong phiên bản 3.0.3:

• Thêm một dịch vụ cho đổi tên công việc trong kho theo dõi .
• Bạn có thể truy cập này như là một dịch vụ web RESTful hoặc tương tác trong giao diện người dùng.
• Một dịch vụ Web đã được bổ sung cho việc thay đổi ngày lịch sử của một kết quả phân tích trong kho theo dõi.
• Các ứng dụng Web đã được thực hiện tương thích với các container di sản JSF.
• Caching của cấu hình trong ứng dụng Web đã được cải thiện rất nhiều, dẫn đến tải trang và khởi tạo công việc lần nhanh hơn.

Điều gì là mới trong phiên bản 3.0.2:

• Khi kích hoạt một công việc trong các ứng dụng web theo dõi, bảng điều khiển tự động làm mới mỗi giây để có được trạng thái mới nhất của việc thực hiện.
• kho dữ liệu dựa trên file (chẳng hạn như bảng tính CSV hoặc Excel) với đường dẫn tuyệt đối với doanh nghiệp được giải quyết một cách chính xác trong các ứng dụng giám sát web.
• & quot; Chọn từ chính bản đồ giá trị / & quot; biến hiện nay hỗ trợ chọn biểu thức lồng nhau như & quot; Address.Street & quot; hoặc & quot; OrderLines [0] .product.name & quot;.
• Các cơ chế tra cứu bảng đã được tối ưu hóa cho hiệu suất, sử dụng chuẩn bị phát biểu khi tranh cử với cơ sở dữ liệu JDBC.
• Quản trị viên có thể tải về kho dữ liệu dựa trên tập tin trực tiếp từ & quot; Datastores & quot; trang.
• xử lý ngoại lệ trong các ứng dụng giám sát web đã được cải thiện một chút, làm cho các thông báo lỗi chính xác hơn và trực quan.

Điều gì là mới trong phiên bản 3.0.1:

• Sửa lỗi chính trong phiên bản này là về việc khôi phục lại lập bản đồ của các cột và các mục phân loại đếm được cụ thể. Ví dụ trong phân tích Đầy đủ mới, chúng tôi thấy rằng sau khi tải lại một công việc lưu giữ, lập bản đồ không phải luôn luôn đúng.
• Hơn nữa một vài cải tiến nội bộ đã được thực hiện, làm cho nó dễ dàng hơn để triển khai các DataCleaner màn hình ứng dụng web trong môi trường sử dụng Spring Framework.
• Cuối cùng nhưng không kém, các thiết lập trực quan trong các ứng dụng máy tính để bàn đã được cải thiện bằng cách tự động lấy một cái nhìn tại các công việc được hình dung và toggling hiển thị đồ tạo tác dựa trên kích thước màn hình và số lượng các chi tiết cần thiết để hiển thị nó độc đáo.

Điều gì là mới trong phiên bản 3.0:

• Hiển thị thời gian và xu hướng của số liệu chất lượng dữ liệu
• kho tập trung cho việc quản lý và chứa công việc, kết quả, các mốc thời gian vv.
• Lập kế hoạch và kiểm toán của công việc DataCleaner
• Cung cấp các dịch vụ web cho cách gọi biến đổi DataCleaner
• Bảo mật và đa thuê nhà
• Cảnh báo và thông báo khi số liệu chất lượng dữ liệu ra khỏi vùng thoải mái dự kiến ​​của họ.
• Có một phân tích Đầy đủ mới mà là rất hữu ích cho việc xác định đơn giản hồ sơ mà có các trường không đầy đủ.
• Bây giờ bạn có thể xuất DataCleaner kết quả tìm kiếm tốt đẹp HTML báo cáo rằng bạn có thể cung cấp cho người quản lý của bạn, hoặc gửi đến phân tích cú pháp XML của bạn!
• Các môi trường giám sát mới cũng được tích hợp chặt chẽ với các ứng dụng máy tính để bàn. Vì vậy, các ứng dụng máy tính để bàn hiện nay có khả năng xuất bản các công việc và kết quả cho các kho lưu trữ màn hình, và được sử dụng như một trình soạn thảo tương tác với nội dung đã có trong kho.
• biến đổi ngày theo định hướng mới hiện nay có sẵn: lọc phạm vi ngày, cho phép bạn tập hợp các tập dữ liệu dựa trên phạm vi ngày, và ngày định dạng, cho phép định dạng một ngày bằng cách sử dụng mặt nạ ngày
.
• Các Regex Parser (mà trước đây chỉ có sẵn thông qua các ExtensionSwap) hiện đã được bao gồm trong DataCleaner. Điều này làm cho nó rất thuận lợi để phân tích và chuẩn hóa các lĩnh vực văn bản định dạng sử dụng biểu thức thông thường.
• Có một chữ mới trường hợp biến sẵn. Với sự biến đổi này bạn có thể dễ dàng chuyển đổi giữa chữ hoa / thấp và vốn hóa thích hợp của câu và lời nói.
• Hai tìm kiếm mới / thay thế biến đổi đã được thêm vào:. Tìm kiếm đơn giản / thay thế và Regex tìm kiếm / thay thế
• Kinh nghiệm người dùng của các ứng dụng máy tính để bàn đã được cải thiện. Chúng tôi đã thêm một số thông điệp trợ giúp trong ứng dụng, tạo những sắc màu trông sáng hơn và rõ ràng hơn và cải thiện việc xử lý phông chữ.

Điều gì là mới trong phiên bản 2.5.2:

• hỗ trợ Apache CouchDB:
• Chúng tôi đã thêm hỗ trợ cho các cơ sở dữ liệu NoSQL Apache CouchDB. DataCleaner hỗ trợ cả đọc từ, phân tích và văn bản cho trường hợp CouchDB của bạn.
• Cập nhật bảng nhà văn:
• Sau những nỗ lực trước đó của chúng tôi để mang lại tính năng ETLightweight kiểu vào DataCleaner, chúng tôi đã thêm một nhà văn trong đó cập nhật các bản ghi trong một bảng. Bạn có thể sử dụng ví dụ để chèn hoặc cập nhật hồ sơ dựa trên điều kiện cụ thể.
• Giống như Insert vào văn bảng, DataCleaner Cập nhật bảng nhà văn mới không bị giới hạn cơ sở dữ liệu dựa trên SQL, nhưng bất kỳ loại kho dữ liệu mà hỗ trợ bằng văn bản (hiện tại cơ sở dữ liệu quan hệ, các tập tin CSV, bảng tính Excel, cơ sở dữ liệu MongoDB và cơ sở dữ liệu MongoDB), nhưng ngữ nghĩa là giống như với một câu lệnh UPDATE BẢNG truyền thống trong SQL.
• Máy khoan-to-chi tiết thông tin được lưu trong các file kết quả:
• Khi sử dụng tính năng kết quả Lưu của DataCleaner 2.5, một số người dùng có kinh nghiệm rằng thông tin khoan-to-chi tiết của họ đã bị mất. Trong DataCleaner 2.5.2 chúng tôi bây giờ cũng tồn tại thông tin này, làm cho lưu trữ DQ của bạn giá trị hơn nhiều khi điều tra sự cố dữ liệu lịch sử.
• Cải thiện xử lý lỗi EasyDQ:
• Các thành phần EasyDQ đã được nâng cao về xử lý lỗi. Nếu một vấn đề mạng tạm thời xảy ra hoặc một vấn đề tương tự gây ra một vài hồ sơ để thất bại, những thành phần EasyDQ bây giờ sẽ duyên dáng phục hồi và quan trọng nhất -. Công việc hàng loạt của bạn sẽ ưu tiên áp dụng mặc dù lỗi
• Bảng bản đồ cho kho dữ liệu NoSQL:
• Từ CouchDB và MongoDB không bảng dựa, nhưng có một cấu trúc năng động hơn, chúng tôi cung cấp hai phương pháp tiếp cận để làm việc với họ: mặc định, mà là để cho DataCleaner autodetect một cấu trúc bảng, và tiên tiến cho phép bạn chỉ định thủ của bạn cấu trúc bảng mong muốn. Trước đây các tùy chọn nâng cao chỉ có sẵn thông qua cấu hình XML, nhưng bây giờ các giao diện người dùng chứa các hộp thoại thích hợp để làm điều này trực tiếp trong ứng dụng.

Điều gì là mới trong phiên bản 2.4.1:

• Tính năng cải tiến:
• Các tính năng hàng loạt bốc chúng tôi đang cải thiện rất nhiều khi viết dữ liệu vào các bảng cơ sở dữ liệu. Mong đợi để xem nhiều đơn đặt hàng của các cường độ cải tiến ở đây.
• Viết cho dữ liệu đã được thuận tiện hơn làm sẵn có bằng cách thêm tùy chọn vào menu cửa sổ.
• Bạn có thể dễ dàng đổi tên thành phần của một công việc bằng cách nhấp vào tab của họ tăng gấp đôi.
• Các Javascript biến áp hiện có màu cú pháp, do đó Javascripts của bạn được dễ dàng hơn để kiểm tra và sửa đổi.
• Sửa lỗi:
• Khi đọc từ và viết vào kho dữ liệu tương tự (ví dụ. Khu vực dàn DataCleaner), chúng tôi đã bảo đảm rằng bộ nhớ cache bảng của kho dữ liệu đó được làm mới. Trước đây một số kịch bản cho phép bạn để có cái nhìn out-of-ngày của các bảng.
• Một bế tắc tiềm năng khi bắt đầu lên các ứng dụng đã được giải quyết. bế tắc này là hậu quả của một vấn đề trong JVM, nhưng chúng tôi đã làm việc xung quanh nó bằng cách đồng bộ tất cả các cuộc gọi đến các API cụ thể trong Java.

Điều gì là mới trong phiên bản 2.4: (. Aka pc hoặc hợp Fuzzy hồ sơ)

• Duplicate phát hiện , đó là miễn phí để sử dụng cho đến 500.000 giá trị.
• xác nhận dữ liệu Địa chỉ và làm sạch. Điều này cho phép bạn kiểm tra xem địa chỉ tồn tại, nếu họ được định dạng chính xác và thậm chí để đề nghị điều chỉnh trong trường hợp bạn có những sai lầm.
• xác nhận dữ liệu Tên và làm sạch. Với các dịch vụ tên, EasyDQ không chỉ định dạng tên của bạn nhất quán, nhưng cũng kiểm tra lỗi chính tả và diễn giải các phần tên.
• email và xác nhận điện thoại và làm sạch. Những dịch vụ này cung cấp việc kiểm tra dữ liệu email và điện thoại, và đảm bảo rằng các tên miền email tồn tại, mà các mã quốc gia là chính xác và nhiều hơn nữa.

Điều gì là mới trong phiên bản 2.3:

• hỗ trợ dữ liệu quốc tế:
• Nếu bạn đang làm việc với dữ liệu quốc tế, sau đó bạn có thể có các bộ ký tự khác nhau trong dữ liệu của bạn, ví dụ như Trung Quốc hay tiếng Hebrew. Chúng tôi thêm vào các nhân vật thiết lập phân tích phân phối, đó là một lựa chọn hồ sơ cho phép bạn tìm ra các bộ ký tự được sử dụng trong dữ liệu của bạn.
• Làm việc với dữ liệu có chứa các bộ ký tự khác nhau có thể có vấn đề. Sử dụng biến áp chuyển dịch mới, bạn có thể bây giờ transliterate chuỗi từ hệ thống chữ viết khác nhau để các ký tự Latinh.
• Ngoài ra còn là một minh chứng webcast mới, tập trung vào khả năng dữ liệu quốc tế của DataCleaner 2.3 trong phần tài liệu.
• Phân nhóm kết quả phân tích của một cột thứ cấp:
• Máy phân tích mẫu bây giờ có thể đến các mẫu nhóm dựa trên một cột thứ cấp. Điều này rất hữu ích cho việc phân tích như sau:
• Nhận mẫu các số điện thoại được phân nhóm theo quốc gia.
• Nhận mẫu của tên người dùng email dựa trên tên miền email.
• Một cái gì đó tương tự đã được thực hiện cho các phân tích giá trị phân phối; điều này cho phép phân tích như:
• Có phải tất cả tên các thành phố khác nhau, khi nhóm lại theo mã bưu chính?
• sự phân bố của giới trong các loại khách hàng cụ thể là gì?
• Cải thiện bảng xếp hạng:
• Kết quả mẫu cụ tìm bây giờ có thể được thể hiện trong đồ thị. Điều này làm cho các phân phối có thể nhìn thấy và thấy bao nhiêu của một & quot; đuôi dài & quot; các mẫu có.
• Các đầu ra của máy phân tích phân phối giá trị đã được cải thiện trong một vài lĩnh vực:
• Các khả năng đọc các biểu đồ đã được cải thiện.
• Nó cho thấy tổng số hàng và số khác biệt so với các hàng: số lượng các giá trị khác nhau mà tồn tại trong các hàng. Điều này giúp tìm ra cách thường giá trị nhân bản tồn tại.
• Nếu có chuỗi rỗng, chúng tôi sử dụng các từ khóa cho nó, vì vậy nó dễ dàng hơn để nhận ra chúng.
• Output:
• Next để các định dạng đã có sẵn đầu ra (các tập tin CSV và kho dữ liệu H2), chúng tôi thêm vào văn bản đầu ra với các bảng tính Excel.
• Sau khi viết đến một kho dữ liệu, bây giờ có thể xem trước các đầu ra, do đó bạn có thể kiểm tra xem các đầu ra là theo mong đợi của bạn.
• Đó là bây giờ cũng có thể thêm các đầu ra như một kho dữ liệu mới, vì vậy nó có thể được sử dụng như là đầu vào cho một công việc mới.
• Các cải tiến khác:
• Tài liệu nhìn chung đã được cải thiện. Trong đó, khai thác gỗ và giao diện dòng lệnh giới thiệu đã được thêm vào.
• Các cơ chế mở rộng đã được cải thiện bằng cách modularizing một vài miếng của ứng dụng và giới thiệu Google Guice như một khuôn khổ tiêm phụ thuộc thường có sẵn cho các nhà phát triển mở rộng.
• Và tất nhiên chúng tôi đã làm hơn hai mươi cải tiến nhỏ và sửa lỗi.

Điều gì là mới trong phiên bản 2.2:

• Động lực chính cho phiên bản này là một câu chuyện về khả năng mở rộng . Trong khi phát hành các ứng dụng chúng ta đang simultaniously phát hành một trang web một DataCleaner mới có tính năng một khu vực mới quan trọng: Các ExtensionSwap. Ý tưởng của ExtensionSwap là cho phép chia sẻ các phần mở rộng để DataCleaner và cài đặt đơn giản bằng cách nhấp chuột vào một nút trong trình duyệt!
• Các phần mở rộng API DataCleaner đã được cải thiện rất nhiều trong phiên bản này, làm cho nó có thể tạo ra biến áp riêng, phân tích và bộ lọc của bạn. Nếu bạn cảm thấy phần mở rộng của bạn có thể có ích cho những người dùng khác, xin vui lòng chia sẻ nó trên ExtensionSwap và chúng tôi cung cấp một kênh để bạn có thể dễ dàng phân phối cho hàng ngàn người sử dụng. Các API mở rộng và ExtensionSwap được giải thích thêm trong cuộc biểu tình webcast mới của chúng tôi cho các nhà phát triển và chuyên gia kỹ thuật khác cùng quan tâm.
• Chúng tôi cũng đang phát hành một bộ mở rộng đầu tiên trên ExtensionSwap: Các HIquality Liên hệ gia hạn DataCleaner cung cấp Tên tiên tiến, điện thoại và Email sạch, dựa trên Nhân Suy luận ngôn ngữ tự nhiên dịch vụ web xử lý DQ. Chúng tôi cũng đang vận chuyển một phần mở rộng mẫu mà sẽ phục vụ như là một ví dụ cho các nhà phát triển muốn thử phát triển mở rộng chính mình. Trong những tháng tới, chúng tôi sẽ chắc chắn để đăng thậm chí nhiều hơn các phần mở rộng danh mục đầu tư có nguồn gốc từ nội bộ của chúng ta về các công cụ mà chúng tôi sử dụng ở những kiến ​​thức thu thập các đội Nhân Suy luận của.
• Ngoài khả năng mở rộng, chúng tôi cũng đang tập trung vào embeddability. Chúng tôi muốn để có thể nhúng DataCleaner dễ dàng vào các ứng dụng khác để làm hồ sơ và phân tích dữ liệu có thể ở bất cứ đâu! Chúng tôi đã tạo một API bootstrapping mới cho phép các ứng dụng để bó DataCleaner và bootstrap nó với cấu hình động hoặc chạy nó trong một & quot; chế độ kho dữ liệu duy nhất & quot ;, trong đó các ứng dụng được điều chỉnh theo hướng chỉ kiểm tra một kho dữ liệu duy nhất (thường được xác định bởi các ứng dụng nhúng DataCleaner). Chúng tôi đã có một số trường hợp thực sự thú vị của nhúng DataCleaner trong các công trình -. Cả trong các ứng dụng mã nguồn mở khác cũng như các ứng dụng thương mại
• Chúng tôi đã thêm hỗ trợ cho việc phân tích SAS bộ dữ liệu. Đây là một cái gì đó chúng tôi rất tự hào về như chúng ta, để chúng tôi biết, các ứng dụng mã nguồn mở quan trọng đầu tiên để cung cấp chức năng như vậy, cuối cùng giải phóng rất nhiều người dùng SAS. Phần khả năng tương tác SAS đã được tạo ra như là một dự án riêng biệt, SassyReader, vì vậy chúng tôi mong đợi để xem thông qua trong cộng đồng mã nguồn mở miễn phí DataCleaner của sớm quá!
• Chúng tôi cũng đã thêm hỗ trợ cho một dạng khác của kho dữ liệu: Cố định file rộng. Cố định các tập tin chiều rộng là các tập tin văn bản mà mỗi cột có chiều rộng cố định. Không có dấu phân cách hoặc báo nhân vật, như các tập tin CSV, thay vì mỗi dòng là dài bằng nhau và mỗi dòng sẽ được tokenized theo một tập hợp của độ dài giá trị.
• Một tùy chọn & quot; thất bại trên mâu thuẫn & quot; đã được thêm vào tập tin CSV và cố định kho dữ liệu tập tin chiều rộng. Những lá cờ thêm một kiểm tra tính toàn vẹn dạng khi sử dụng các kho dữ liệu dựa trên tập tin văn bản.
• Một lỗi đã được cố định, trong đó gây ra thiết lập tách CSV không được giữ lại trong giao diện người dùng, khi chỉnh sửa một kho dữ liệu CSV.
• Nhật Bản và các ký tự không được hỗ trợ trong giao diện người dùng. Điều này & quot; lỗi & quot; là một vấn đề của điều tra phông chữ có sẵn trên hệ thống và chọn một font chữ có thể khiến các ký tự đặc biệt. Trên hầu hết các hệ thống hiện đại sẽ có phông chữ có khả năng có sẵn, nhưng trên một số chi nhánh Unix / Linux có thể vẫn còn hạn chế.
• Các phần tài liệu đã được cập nhật! Kể từ khi phát hành ban đầu 2,0 tài liệu đã xa phía sau, nhưng cuối cùng chúng tôi đã quản lý để có được nó lên cho đến nay. vẫn còn có những mảnh còn thiếu trong các tài liệu, nhưng nó chắc chắn sẽ có ích cho việc sử dụng cơ bản cũng như một tài liệu tham khảo cho hầu hết các chủ đề.
• thời gian khởi động ứng dụng đã được cải thiện bằng cách parallelizing tải cấu hình và bằng cách trì hoãn việc khởi tạo các phần của cấu hình không cần thiết cho việc hiển thị cửa sổ ban đầu.
• Các phân tích tương tự công cụ tìm âm đã được gỡ bỏ từ phân phối chính, vì đây là khá nghiệm và phục vụ chủ yếu như một bằng chứng của khái niệm và một món khai vị cho cộng đồng để tạo ra phân tích hợp tiên tiến hơn. Bây giờ bạn có thể tìm và cài đặt các công cụ tìm tương ngữ âm trên ExtensionSwap.
• hủy hoặc xử lý công việc errornous đã được cải thiện và giao diện người dùng phản ứng một cách chính xác hơn bằng cách tắt các nút và các chỉ số tiến bộ, nếu một công việc đã dừng lại.
• Cố định một số vấn đề nhỏ liên quan đến giao diện người dùng bảng cỡ và sử dụng thanh cuộn.

Điều gì là mới trong phiên bản 2.1.1:

• Cải tiến:
• Thêm một trường văn bản tìm kiếm / lọc vào danh sách kho dữ liệu. Điều này cho phép bạn nhanh chóng tìm thấy kho dữ liệu của bạn nếu bạn đã đăng ký nhiều kho dữ liệu hơn có sẵn trên màn hình.
• Dữ liệu tham khảo cho các mã quốc gia được bổ sung vào tiêu chuẩn phân phối, nhờ đi Graham Rhind cho việc cung cấp này.
• Thêm một thanh cuộn ngang để các dữ liệu xem trước cửa sổ của có hơn 10 cột.
• Có khả năng thêm một gói mở rộng với chức năng mới trong hộp thoại Options trong thời gian chạy. Tập trung nhiều hơn vào phần mở rộng sẽ theo trong các phiên sắp tới.
• Chúng tôi đã tiếp xúc với một bản xem trước đầu của Command-Line của chúng tôi Interface (CLI) bằng cách cho phép bạn để gọi ứng dụng với & quot; -Cách sử dụng & quot; tham số đó sẽ hiển thị các tùy chọn CLI.
• Nhập số tùy chọn để định dạng & quot; Convert to Number & quot; biến áp.
• Sửa lỗi:
• Cố định một vấn đề out-of-bộ nhớ khi truy vấn bảng với một LOT của cột (150 +).
• Cố định một vấn đề mà gây ra & quot; phân tích Giới hạn & quot; hộp kiểm tra không được kiểm tra một cách chính xác khi một công việc đã được mở lại sau khi tiết kiệm.
• Không thực sự là một Sửa lỗi vì nó không bao giờ là một tính năng chính thức, nhưng bây giờ chúng tôi hỗ trợ khôi phục sở thích người dùng (các tập tin userpreferences.dat) từ các phiên bản trước của DataCleaner.

Điều gì là mới trong phiên bản 2.1:

• Có rất nhiều công việc được thực hiện trên giao diện người dùng ( xem trang phương tiện truyền thông):
• Chúng tôi quyết định để loại bỏ các cửa sổ bên trái có chứa tùy chọn cấu hình môi trường.
• Thay vào đó tất cả các tùy chọn này hiện nay đã được chuyển đến cửa sổ xây dựng công việc vì vậy người dùng chỉ phải tập trung vào một cửa sổ duy nhất cho tất cả các tương tác cần thiết để xây dựng một công việc.
• Các hộp thoại chào mừng / đăng nhập cũng đã được loại bỏ trong lợi của một bảng điều khiển rời rạc hơn có thể được kéo vào hoặc ẩn từ cửa sổ chính.