3.2.10 WIC-Collect Main Components•

3.2.10 WIC-Collect Main Components
• Distributed Crawler Units – The Crawler Units are the components that actually access the web and collect the data. One collection solution can include one or more Crawler Units based on the amount of collection requests and the expected amount of data. Each collection unit requests tasks from the Collection Manager. Once the task is received, each Collection Unit works independently, collecting data, normalizing it, running an antivirus check and passing it back to the central storage. Adding Crawler Units to an existing working solution is simple and does not require any system downtime. A Crawler Unit can access the web using four different methods: direct crawling, proxies, dedicated proxies, and TOR

Results (Vietnamese) 1:

3.2.10 WIC-thu thập các thành phần chính• Các đơn vị thu thập phân phối-đơn vị thu thập thông tin là các thành phần mà thực sự truy cập vào các trang web và thu thập dữ liệu. Một bộ sưu tập giải pháp có thể bao gồm một hoặc nhiều các đơn vị thu thập thông tin dựa trên số lượng yêu cầu bộ sưu tập và dự kiến số lượng dữ liệu. Mỗi đơn vị thu thập yêu cầu tác vụ từ trình quản lý bộ sưu tập. Sau khi nhận được nhiệm vụ, mỗi đơn vị bộ sưu tập hoạt động độc lập, thu thập dữ liệu, bình thường hóa nó, chạy một kiểm tra chống vi-rút và gởi nó quay lại Trung tâm lí. Thêm đơn vị thu thập thông tin cho một giải pháp làm việc hiện tại là đơn giản và không yêu cầu bất kỳ thời gian chết hệ thống. Một đơn vị thu thập thông tin có thể truy cập các trang web bằng cách sử dụng bốn phương pháp khác nhau: trực tiếp thu thập dữ liệu, proxy, proxy chuyên dụng và TOR

Results (Vietnamese) 2:

3.2.10 WIC-Thu thập phần chính
• Phân phối đơn vị Crawler - Các đơn vị Crawler là các thành phần thực sự truy cập web và thu thập dữ liệu. Một giải pháp thu thập có thể bao gồm một hoặc nhiều đơn vị Crawler dựa trên số tiền yêu cầu thu và số lượng dự kiến của dữ liệu. Mỗi đơn vị bộ sưu tập yêu cầu nhiệm vụ từ Bộ sưu tập Manager. Một khi nhiệm vụ được nhận, mỗi đơn vị Bộ sưu tập hoạt động độc lập, thu thập dữ liệu, bình thường hóa nó, chạy một kiểm tra chống virus và đi qua nó trở lại trung tâm lưu trữ. Thêm đơn vị Crawler đến một giải pháp làm việc hiện tại là đơn giản và không đòi hỏi bất kỳ thời gian chết của hệ thống. Một đơn vị Crawler có thể truy cập web bằng các phương pháp khác nhau: thu thập thông trực tiếp, proxy, proxy chuyên dụng, và TOR