From these examples, tokenizing see

From these examples, tokenizing seems more complicated than it first appears.
The fact that these examples come from queries also emphasizes that the text processing for queries must be the same as that used for documents.
If different tokenizing processes are used for queries and documents, many of the index terms used for documents will simply not match the corresponding terms from queries.
Mistakes in tokenizing become obvious very quickly through retrieval failures.

Results (Thai) 1:

จากตัวอย่างเหล่านี้ tokenizing ดูเหมือนว่าซับซ้อนเกินกว่าที่ปรากฏเป็นครั้งแรก ความจริงที่ว่า ตัวอย่างเหล่านี้มาจากแบบสอบถามยังย้ำว่า ข้อความการประมวลผลสำหรับแบบสอบถามต้องเหมือนกับที่ใช้สำหรับเอกสาร ถ้ากระบวนการ tokenizing ที่แตกต่างกันจะใช้สำหรับแบบสอบถามและเอกสาร คำดัชนีที่ใช้สำหรับเอกสารมากมายจะเพียงแค่ไม่ตรงเงื่อนไขที่สอดคล้องกันจากการสอบถามกันความผิดพลาดใน tokenizing กลายเป็นชัดเจนอย่างรวดเร็วผ่านความล้มเหลวในการเรียก

Results (Thai) 2:

จากตัวอย่างเหล่านี้ tokenizing ดูเหมือนซับซ้อนกว่านั้นครั้งแรกที่ปรากฏ.
ความจริงที่ว่าตัวอย่างเหล่านี้มาจากคำสั่งนอกจากนี้ยังเน้นที่การประมวลผลข้อความสำหรับคำสั่งจะต้องเป็นเช่นเดียวกับที่ใช้สำหรับเอกสาร.
หากกระบวนการ tokenizing ที่แตกต่างกันจะใช้สำหรับการค้นหาและเอกสาร หลายคำดัชนีที่ใช้สำหรับเอกสารก็จะไม่ตรงกับเงื่อนไขที่สอดคล้องกันจากคำสั่ง.
ผิดพลาดในการ tokenizing กลายเป็นที่ชัดเจนมากได้อย่างรวดเร็วผ่านความล้มเหลวในการดึง

Results (Thai) 3:

จากตัวอย่างเหล่านี้ tokenizing ดูเหมือนว่าซับซ้อนมากขึ้นกว่าที่แรกปรากฏที่ว่าตัวอย่างเหล่านี้มาจากแบบสอบถามนี้ยังเน้นที่การประมวลผลข้อความต่างๆ ต้องเป็นเช่นเดียวกับที่ใช้สำหรับเอกสารถ้ากระบวนการที่แตกต่างกัน tokenizing ใช้แบบสอบถาม และเอกสารหลายคำที่ใช้ดัชนีสำหรับเอกสารก็จะไม่ตรงกับเงื่อนไขที่สอดคล้องกันจากแบบสอบถามความผิดพลาดใน tokenizing กลายเป็นที่เห็นได้ชัดอย่างรวดเร็วผ่านการล้มเหลว