Although it appears this may lead l

Although it appears this may lead longer features to carry more weight (e.g. “I returned this” will be counted again as “returned this”), this turns out to not be a problem since the total score is still linear in the number of tokens. When we tried disallowing nested matches or using dynamic programming to find the highest-confidence non-overlapping matches, the results were not as good. We also experimented with allowing wildcards in the middle of tokens.

Results (Vietnamese) 1:

Mặc dù dường như điều này có thể dẫn còn các tính năng mang trọng lượng hơn (ví dụ như "tôi trở về điều này" sẽ được tính một lần nữa như "trở lại đây"), này lần lượt ra không phải là một vấn đề vì tổng số điểm là tuyến tính vẫn còn trong số thẻ. Khi chúng tôi đã cố gắng disallowing lồng nhau phù hợp với hoặc sử dụng lập trình năng động để tìm các trận đấu không chồng chéo cao nhất sự tự tin, kết quả là không tốt. Chúng tôi cũng đã thử nghiệm với cho phép ký tự đại diện ở giữa thẻ.

Results (Vietnamese) 2:

Mặc dù nó xuất hiện này có thể dẫn đến các tính năng còn có trọng lượng hơn (ví dụ: "Tôi trở lại này" sẽ được tính một lần nữa là "trở lại này"), điều này hóa ra không phải là một vấn đề kể từ khi tổng số điểm vẫn còn tuyến tính về số lượng thẻ . Khi chúng tôi đã cố gắng không cho phép trận đấu lồng nhau hoặc sử dụng lập trình năng động để tìm tin cao nhất trận đấu không chồng chéo, kết quả không được tốt. Chúng tôi cũng đã thử nghiệm với cho phép ký tự đại diện ở giữa của thẻ.