Nhện một trang web thông minh. Chương trình này nhện một trang web và tạo ra các tập tin đầu ra có chứa (1) một danh sách các URL trong trang web, (2) một sitemap Google, (3) một tập tin tóm tắt XML với tiêu đề, mô tả và từ khóa cho mỗi trang, và (4) liên...

Lô gửi URL để del.icio.us. Chương trình này tự động hóa việc nộp các URL để del.icio.us. Nó đọc một tập tin văn bản có chứa một danh sách các URL và trình từng để del.icio.us. Không nhanh hơn so với một URL mỗi phút. . Nó tải về mỗi trang HTML để có được...

Dò Internet để thu thập Tên miền với trang web điều hành. Chương trình này thăm dò Internet để khám phá và thu thập các tên miền với các trang web điều hành. (Một số lượng lớn các tên miền chỉ được đăng ký, nhưng không có trang web.) Nó có thể khám phá...

FetchBot

FetchBot 1.0

Thu thập dữ liệu tình báo cho một danh sách các tên miền. Chương trình này tập hợp dữ liệu tóm tắt cho mỗi miền trong một danh sách. Nó thu thập thông tin địa lý quốc gia / tiểu bang bằng cách phân tích các trang như "Contact" trang. . Nó thu thập Google...