3.5.1.1 Manage and Control Collecte

3.5.1.1 Manage and Control Collected Data Distribution
Data collected from the WIC-COLLECT can be distributed to WIC-ANALYTICS, as well as to any other external information system, after appropriate authentication.
The WIC-CONNECTIVITY LAYER distributes the collected data in CSV format. The typical distribution is performed by copying a zip file (CSV format) to the customer directory, but it also can be distributed using other methods, as agreed with the customer.

3.5.1.2 Security
The WIC-CONNECTIVITY LAYER functions as a security separation level between the external side of the system that is connected to the web, and the internal part that contains knowledge and insights.
The data is transferred into the system through secure FTP (SFTP) protocol, and all the incoming data is scanned by the WIC-CONNECTIVITY LAYER using antivirus applications.

3.5.1.3 Cleaning and Cleansing Data
In the process of moving the collected data into WIC-ANALYTICS, the WIC-CONNECTIVITY LAYER cleans up the data and runs Norton Antivirus over all incoming data files. A suspicious file will be blocked from entering the analytic system.
After the data is cleaned, the WIC-CONNECTIVITY LAYER checks the data and removes duplications in the new data, as well as between the new data and the existing data, and merges them together.
When collecting unstructured HTML data (by the “Unstructured Collection Engine”), the system analyzes the data to identify the main body of the page and remove advertising, “see also”, “More from…”, “Most popular…” etc. To help the analyst in focusing on the main subject of the page and to prevent false- positive results when searching for popular words and names, only the main content will be indexed.

Results (Vietnamese) 1:

3.5.1.1 quản lý và kiểm soát thu thập dữ liệu phân phốiDữ liệu thu thập từ chương trình WIC, thu thập có thể được phân phối chương trình WIC-phân tích, cũng như bên ngoài thông tin hệ thống nào khác, sau khi xác thực thích hợp.Các lớp chương trình WIC-kết nối phân phối dữ liệu thu thập được ở định dạng CSV. Phân phối tiêu biểu được thực hiện bằng cách sao chép một tập tin zip (định dạng CSV) vào thư mục khách hàng, nhưng nó cũng có thể được phân phối bằng cách sử dụng các phương pháp khác, theo thoả thuận với khách hàng.3.5.1.2 an ninhCác lớp chương trình WIC-kết nối có chức năng như một mức độ bảo mật tách giữa các mặt bên ngoài của hệ thống được kết nối với các trang web, và một phần nội bộ có kiến thức và hiểu biết.Dữ liệu được chuyển giao vào hệ thống thông qua giao thức FTP (SFTP) an toàn, và tất cả các dữ liệu được quét bởi lớp WIC – kết nối bằng cách sử dụng ứng dụng chống vi-rút.3.5.1.3 làm sạch và làm sạch dữ liệuTrong quá trình di chuyển thu thập dữ liệu vào chương trình WIC-phân tích, các lớp chương trình WIC-kết nối làm sạch lên các dữ liệu và chạy Norton Antivirus trên tất cả các tập tin dữ liệu đến. Một tập tin đáng ngờ sẽ bị xâm nhập vào hệ thống phân tích.Sau khi dữ liệu được làm sạch, các lớp chương trình WIC-kết nối kiểm tra dữ liệu loại bỏ đôi trong các dữ liệu mới, cũng như giữa các dữ liệu mới và các dữ liệu sẵn có và kết hợp chúng với nhau.Khi thu thập dữ liệu có cấu trúc của HTML (bởi "có cấu trúc bộ sưu tập động cơ"), các hệ thống phân tích dữ liệu để xác định các cơ quan chính của trang và loại bỏ các quảng cáo, "thấy cũng", "Thêm từ...", "phổ biến nhất..." vv.. Để giúp các nhà phân tích tại tập trung vào các chủ đề chính của trang và ngăn không cho kết quả dương tính giả khi tìm kiếm phổ biến từ và tên, chỉ có nội dung chính sẽ được lập chỉ mục.

Results (Vietnamese) 2:

3.5.1.1 Quản lý và kiểm soát thu phân phối dữ liệu
Dữ liệu thu thập từ WIC-thu thập có thể được phân phối cho WIC-ANALYTICS, cũng như bất kỳ hệ thống thông tin khác bên ngoài, sau khi xác thực thích hợp.
Các TẦNG WIC-KẾT NỐI phân phối các dữ liệu thu thập được ở định dạng CSV . Sự phân bố điển hình được thực hiện bằng cách sao chép một tập tin zip (định dạng CSV) vào thư mục khách hàng, nhưng nó cũng có thể được phân phối sử dụng các phương pháp khác, như đã thoả thuận với khách hàng. 3.5.1.2 An ninh năng TẦNG Các WIC-KẾT NỐI là một mức độ tách an ninh giữa phía bên ngoài của hệ thống được kết nối với các trang web, và phần nội chứa kiến thức và hiểu biết. các dữ liệu được chuyển vào hệ thống thông qua FTP an toàn giao thức (SFTP), và tất cả các dữ liệu đến được quét bởi WIC- KẾT NỐI tẦNG sử dụng các ứng dụng chống virus. 3.5.1.3 Làm sạch và Cleansing dữ liệu trong quá trình di chuyển dữ liệu thu thập vào WIC-ANALYTICS, các tẦNG WIC-KẾT NỐI dọn dẹp dữ liệu và chạy Norton Antivirus trên tất cả các file dữ liệu đến. Một tập tin đáng ngờ sẽ bị chặn xâm nhập vào hệ thống phân tích. Sau khi dữ liệu được làm sạch, TẦNG WIC-KẾT NỐI kiểm tra dữ liệu và loại bỏ sự trùng lặp trong các dữ liệu mới, cũng như giữa các dữ liệu mới và các dữ liệu hiện có, và kết hợp chúng lại với nhau . Khi thu thập dữ liệu HTML có cấu trúc (bởi "không có cấu trúc Collection Engine"), hệ thống phân tích dữ liệu để xác định các nội dung chính của trang và loại bỏ quảng cáo, "xem thêm", "Thêm từ ...", "phổ biến nhất ..." vv . để giúp các nhà phân tích trong việc tập trung vào chủ đề chính của trang và để ngăn chặn các kết quả tích cực false- khi tìm kiếm các từ phổ biến và tên, chỉ có các nội dung chính sẽ được lập chỉ mục.