When we have variable-length featur

When we have variable-length features from our substring tree, there are several options for choosing matching tokens. The most effective technique is to find the longest possible feature matches starting at each token. Although it appears this may lead longer features to carry more weight (e.g. “I returned this” will be counted again as “returned this”), this turns out to not be a problem since the total score is still linear in the number of tokens. When we tried disallowing nested matches or using dynamic programming to find the highest-confidence non-overlapping matches, the results were not as good. We also experimented with allowing wildcards in the middle of tokens.

Results (Vietnamese) 1:

Khi chúng tôi có tính năng chiều dài biến từ cây xâu con của chúng tôi, có một số tùy chọn cho việc lựa chọn phù hợp với thẻ. Các kỹ thuật hiệu quả nhất là tìm các tính năng có thể dài nhất phù hợp với bắt đầu từ mỗi mã thông báo. Mặc dù dường như điều này có thể dẫn các tính năng dài hơn để mang theo trọng lượng hơn (ví dụ như "Tôi trở về điều này" sẽ được tính một lần nữa như "trở lại đây"), Điều này hóa ra không phải là một vấn đề vì tổng số điểm là tuyến tính vẫn còn trong số thẻ. Khi chúng tôi đã cố gắng disallowing lồng nhau phù hợp với hoặc sử dụng lập trình năng động để tìm các trận đấu không chồng chéo cao nhất sự tự tin, kết quả là không tốt. Chúng tôi cũng đã thử nghiệm với cho phép ký tự đại diện ở giữa thẻ.

Results (Vietnamese) 2:

Khi chúng tôi có các tính năng độ dài thay đổi từ cây chuỗi con của chúng tôi, có một số tùy chọn cho việc lựa chọn thẻ phù hợp. Các kỹ thuật hiệu quả nhất là để tìm thấy những tính năng dài nhất có thể trận đấu bắt đầu từ mỗi thẻ. Mặc dù nó xuất hiện này có thể dẫn đến các tính năng còn có trọng lượng hơn (ví dụ: "Tôi trở lại này" sẽ được tính một lần nữa là "trở lại này"), điều này hóa ra không phải là một vấn đề kể từ khi tổng số điểm vẫn còn tuyến tính về số lượng thẻ . Khi chúng tôi đã cố gắng không cho phép trận đấu lồng nhau hoặc sử dụng lập trình năng động để tìm tin cao nhất trận đấu không chồng chéo, kết quả không được tốt. Chúng tôi cũng đã thử nghiệm với cho phép ký tự đại diện ở giữa của thẻ.