PHPCrawl

Có thể được sử dụng trong văn bản trình thu thập tìm kiếm (nhện) rằng các trang web của tôi để biết thông tin khác nhau.
PHPCrawl có được thông tin đó đã được cấu hình để lấy và vượt qua nó để ứng dụng mạnh mẽ hơn để chế biến tiếp

Tính năng .

• Filters cho dữ liệu URL và Content-Type
• Xác định cách để xử lý các tập tin cookie
• Xác định cách để xử lý các file robots.txt
• Giới hạn hoạt động của mình theo những cách khác nhau

Chế độ
• Multi-xử lý

là gì mới trong phiên bản này:

• Lỗi cố định:
• Liên kết được urlencoded một phần và một phần không được xây dựng lại / mã hóa chính xác bây giờ.
• Loại bỏ một var_dump debug không cần thiết () từ PHPCrawlerRobotsTxtParser.class.php
• Server-tên-chỉ trong TLS / SSL hoạt động chính xác bây giờ.
• & quot; base href & quot;. -tags Trong các trang web được giải thích một cách chính xác hiện nay một lần nữa

là gì mới trong phiên bản 0.80 beta:

• Mã đã hoàn toàn tái cơ cấu, chuyển sang PHP5-OO- mã và rất nhiều mã đã được viết lại.
• Thêm khả năng để sử dụng sử dụng nhiều quy trình để thu thập một website. Phương pháp & quot; goMultiProcessed () & quot; thêm vào.
• New phương pháp overridable & quot; initChildProcess () & quot; thêm vào để bắt đầu quá trình trẻ em khi sử dụng các trình thu thập trong quá trình đa phương thức.
• Implementet một thay thế, SQLite nội caching-cơ chế cho các URL làm cho nó có thể để nhện trang web rất lớn.
• Phương pháp & quot; setUrlCacheType () & quot; thêm vào.
• New phương pháp setWorkingDirectory () thêm để xác định vị trí của các trình thu thập làm việc thư mục tạm thời bằng tay. Do phương pháp & quot; setTmpFile () & quot; được đánh dấu là bị phản đối (không có chức năng nữa).
• New phương pháp & quot; addContentTypeReceiveRule () & quot; thay thế các phương pháp cũ & quot; addReceiveContentType () & quot;.
• Các chức năng & quot; addReceiveContentType () & quot; vẫn còn hiện diện, nhưng đã được đánh dấu là bị phản đối.

Yêu cầu :

• PHP 5 hoặc cao hơn
• PHP với sự hỗ trợ OpenSSL