Scrapy

Scrappy được viết 100% bằng Python và có thể được sử dụng để khai thác dữ liệu đơn giản, để giám sát trang, công cụ tìm kiếm Web và thậm chí để thử nghiệm mã.
Scrapy không phải là một công cụ tìm kiếm ý nghĩa đích thực của từ này, nhưng nó hoạt động như một (không có phần lập chỉ mục). Tuy nhiên Scrapy có thể là một công cụ tuyệt vời để xây dựng logic công cụ tìm kiếm của bạn trên.
Sức mạnh thực sự của khuôn khổ này dựa vào tính linh hoạt của nó lõi của, Scrapy là một hệ thống mà trên đó để xây dựng nhện tìm kiếm chung chung hoặc chuyên dụng (crawlers) trên.
Trong khi điều này có vẻ rất phức tạp cho người dùng không có kỹ thuật, với một cái nhìn nhanh chóng qua các tài liệu và hướng dẫn có sẵn, nó khá đơn giản để xem cách Scrapy đã quản lý để đưa ra tất cả những khó khăn công việc trong số này và giảm toàn bộ quá trình chỉ một vài dòng mã (cho dễ dàng hơn, thu thập thông nhỏ hơn)

là gì mới trong phiên bản này:.

• unquote yêu cầu đường trước khi đi qua để FTPClient, nó đã thoát khỏi con đường.
• Bao gồm các bài kiểm tra / nguồn phân phối tại MANIFEST.in.

là gì mới trong phiên bản 1.0.1:

• yêu cầu đường dẫn unquote trước khi đi qua để FTPClient, nó đã thoát khỏi con đường.
• Bao gồm các bài kiểm tra / nguồn phân phối tại MANIFEST.in.

là gì mới trong phiên bản 0.24.6:

• Thêm tiêu đề mã hóa UTF8 để mẫu
• Telnet console hiện nay liên kết với 127.0.0.1 theo mặc định
• Update debian / ubuntu cài đặt hướng dẫn
• Vô hiệu hóa dây thông minh trong các đánh giá lxml XPath
• Khôi phục hệ thống tập tin dựa trên bộ nhớ cache như mặc định cho bộ nhớ cache HTTP middleware
• Phơi bánh xích hiện trong Scrapy vỏ
• Cải thiện TestSuite so sánh CSV và XML xuất khẩu
• ngoại vi New / lọc và ngoại vi / lĩnh vực thống kê
• Hỗ trợ process_links như máy phát điện trong CrawlSpider

là gì mới trong phiên bản 0.24.5:

• Thêm tiêu đề mã hóa UTF8 để mẫu
• Telnet console hiện nay liên kết với 127.0.0.1 theo mặc định
• Update debian / ubuntu cài đặt hướng dẫn
• Vô hiệu hóa dây thông minh trong các đánh giá lxml XPath
• Khôi phục hệ thống tập tin dựa trên bộ nhớ cache như mặc định cho bộ nhớ cache HTTP middleware
• Phơi bánh xích hiện trong Scrapy vỏ
• Cải thiện TestSuite so sánh CSV và XML xuất khẩu
• ngoại vi New / lọc và ngoại vi / lĩnh vực thống kê
• Hỗ trợ process_links như máy phát điện trong CrawlSpider

là gì mới trong phiên bản 0.22.0:

• Đổi tên scrapy.spider.BaseSpider để scrapy.spider .Spider
• Đẩy mạnh thông tin khởi động trên các thiết lập và trung gian để cấp INFO
• Hỗ trợ partials trong get_func_args util
• Cho phép chạy thử nghiệm indiviual qua tox
• mở rộng Cập nhật bỏ qua bởi nhổ liên kết
• Selectors đăng ký gian tên EXSLT theo mặc định
• Unify mục bộ tải tương tự như bộ chọn đổi tên
• Tạo lớp RFPDupeFilter dễ dàng subclassable
• Cải thiện bảo hiểm thử nghiệm và hỗ trợ sắp tới Python 3

là gì mới trong phiên bản 0.20.1:

• include_package_data là cần thiết để xây dựng bánh xe từ các nguồn công bố.

là gì mới trong phiên bản 0.18.4:.

• Cố định AlreadyCalledError thay thế một yêu cầu trong lệnh shell
• Cố định start_requests lazyness và treo cứng đầu.

là gì mới trong phiên bản 0.18.1:.

• Bỏ thêm nhập khẩu thêm bởi cherry chọn thay đổi
• Cố định bò kiểm tra dưới xoắn trước 11.0.0.
• py26 không thể định dạng zero lĩnh vực chiều dài {}.
• Kiểm tra lỗi PotentiaDataLoss vào phản ứng cởi ra.
• Hãy đối xử với phản ứng mà không có nội dung dài hay Transfer-Encoding là phản hồi tốt.
• Có không bao gồm ResponseFailed nếu http11 xử lý không được kích hoạt.

Yêu cầu :

• Python 2.7 hoặc cao hơn
• Twisted 2.5.0 hoặc cao hơn
• libxml2 2.6.28 hoặc cao hơn
• pyOpenSSL