robots.js - Phần mềm miễn phí tải về Cho Web Trong Module

robots.js 0.9.4

Có thể được sử dụng để kéo ra dữ liệu từ các tập tin robots.txt và thức ăn cho các ứng dụng khác hoặc các công cụ thống kê.Sẽ trích xuất URL mục tiêu, lý do để truy cập dữ liệu và tình trạng là gì mới trong phiên bản này:. Xử lý http (s ) yêu cầu...