3.5.1.3 Cleaning and Cleansing Data

3.5.1.3 Cleaning and Cleansing Data
In the process of moving the collected data into WIC-ANALYTICS, the WIC-CONNECTIVITY LAYER cleans up the data and runs Norton Antivirus over all incoming data files. A suspicious file will be blocked from entering the analytic system.
After the data is cleaned, the WIC-CONNECTIVITY LAYER checks the data and removes duplications in the new data, as well as between the new data and the existing data, and merges them together.
When collecting unstructured HTML data (by the “Unstructured Collection Engine”), the system analyzes the data to identify the main body of the page and remove advertising, “see also”, “More from…”, “Most popular…” etc. To help the analyst in focusing on the main subject of the page and to prevent false- positive results when searching for popular words and names, only the main content will be indexed.

Results (Vietnamese) 1:

3.5.1.3 làm sạch và làm sạch dữ liệuTrong quá trình di chuyển thu thập dữ liệu vào chương trình WIC-phân tích, các lớp chương trình WIC-kết nối làm sạch lên các dữ liệu và chạy Norton Antivirus trên tất cả các tập tin dữ liệu đến. Một tập tin đáng ngờ sẽ bị xâm nhập vào hệ thống phân tích.Sau khi dữ liệu được làm sạch, các lớp chương trình WIC-kết nối kiểm tra dữ liệu loại bỏ đôi trong các dữ liệu mới, cũng như giữa các dữ liệu mới và các dữ liệu sẵn có và kết hợp chúng với nhau.Khi thu thập dữ liệu có cấu trúc của HTML (bởi "có cấu trúc bộ sưu tập động cơ"), các hệ thống phân tích dữ liệu để xác định các cơ quan chính của trang và loại bỏ các quảng cáo, "thấy cũng", "Thêm từ...", "phổ biến nhất..." vv.. Để giúp các nhà phân tích tại tập trung vào các chủ đề chính của trang và ngăn không cho kết quả dương tính giả khi tìm kiếm phổ biến từ và tên, chỉ có nội dung chính sẽ được lập chỉ mục.

Results (Vietnamese) 2:

3.5.1.3 Làm sạch và dữ liệu Cleansing
Trong quá trình di chuyển dữ liệu thu thập vào WIC-ANALYTICS, các TẦNG WIC-KẾT NỐI dọn dẹp dữ liệu và chạy Norton Antivirus trên tất cả các file dữ liệu đến. Một tập tin đáng ngờ sẽ bị chặn xâm nhập vào hệ thống phân tích.
Sau khi dữ liệu được làm sạch, TẦNG WIC-KẾT NỐI kiểm tra dữ liệu và loại bỏ sự trùng lặp trong các dữ liệu mới, cũng như giữa các dữ liệu mới và các dữ liệu hiện có, và kết hợp chúng lại với nhau .
Khi thu thập dữ liệu HTML có cấu trúc (bởi "không có cấu trúc Collection Engine"), hệ thống phân tích dữ liệu để xác định các nội dung chính của trang và loại bỏ quảng cáo, "xem thêm", "Thêm từ ...", "phổ biến nhất ..." vv . để giúp các nhà phân tích trong việc tập trung vào chủ đề chính của trang và để ngăn chặn các kết quả tích cực false- khi tìm kiếm các từ phổ biến và tên, chỉ có các nội dung chính sẽ được lập chỉ mục.