Hệ thống Benchmark Bioinformatics là một nỗ lực để xây dựng một khuôn khổ hợp lý kiểm tra, kiểm tra, và dữ liệu, cho phép người dùng cuối và các nhà cung cấp để thăm dò hiệu suất của hệ thống của họ.
Những gì chúng tôi đang cố gắng làm là để tạo ra một khuôn khổ để thử nghiệm, và một bộ cốt lõi của bài kiểm tra mà tất cả có thể tải về và sử dụng để thăm dò các yếu tố cụ thể của hiệu suất hệ thống.
Hơn nữa, các nguồn cho các bài kiểm tra có sẵn theo GPL, và được lưu trữ trên Bioinformatics.org và Scalable Tin LLC Ý tưởng là để cho phép người dùng cuối, người tiêu dùng, hệ thống các nhà phát triển, và những người khác để dễ dàng xây dựng và sử dụng các xét nghiệm có ý nghĩa đối với lý do đo lường và điều chỉnh .
Joe Landman từ Scalable Tin LLC hình thành ý tưởng và viết các mã gốc. Chúng tôi đang tìm kiếm các đề nghị thêm chuẩn mã, kiểm tra, tập hợp dữ liệu, vv
Kiểm tra cơ sở hiện tại một số NCBI BLAST chạy, một số chạy HMMer, và một loạt các người khác. Chúng tôi dự định bao gồm ClustalW, Tandem X!, Hóa học khác nhau, năng động, và các xét nghiệm liên quan, cũng như nhiều người khác.
Các xét nghiệm như LINPACK hoặc HPL không cung cấp được các chỉ số hiệu suất có ý nghĩa hoặc mô hình dự báo cho tin hiệu suất cao. Thật không may, cũng không phải làm một số xét nghiệm gần đây và tập trung hơn.
Đây là một vấn đề như LINPACK và HPL cụ kiểm tra hiệu năng về hoạt động ma trận khác nhau, nơi bạn có truy cập bộ nhớ hiệu quả thường xuyên, và các hoạt động toán học cụ thể.
Các mã này là hữu ích nhất để so sánh với mã số với dấu chấm động hoạt động nặng, và lưu lượng truy cập bộ nhớ xen kẽ. Các mã này không được thiết kế cho các hệ thống toàn diện điểm chuẩn, nơi đĩa I / O, trễ của bộ nhớ, và các yếu tố khác góp phần vào nguyên vấn đề hiệu suất.
Các bài kiểm tra tốt nhất là những người tương tự như hầu hết các mã, bạn sẽ chạy trên máy. Các xét nghiệm bản thân nên xấp xỉ hợp lý để thực hiện một thực tế của mã của bạn, bằng cách sử dụng dữ liệu thực tế. Bạn có thể cần phải cắt giảm nó trở lại để có được thời gian chạy thực tế.
Bạn cần phải có một tập hợp con hợp lý của kích thước dữ liệu. Một thử nghiệm duy nhất không cho bạn biết làm thế nào hệ thống của bạn quy mô, và một trong những lý do cho sự tồn tại của thử nghiệm này là đặc biệt để cho phép bạn kiểm tra hiệu năng trong khi bạn tăng các khía cạnh khác nhau của các khối lượng công việc.
Bạn hiếm khi có được một hệ thống hoạt động gì trong một cluster, vì vậy chúng tôi sẽ khuyên bạn nên cố gắng để chạy trong khi thực tế một môi trường hoạt động càng tốt. Một cơ sở trong một hệ thống hoạt động gì là tốt, nhưng nó có thể thiết lập những kỳ vọng của bạn một cách vô lý.
top
Bình luận không