N documents 800,000 Lave avg. # tok

N documents 800,000 Lave avg. # tokens per document 200 M terms 400,000 avg. # bytes per token (incl. spaces/punct.) 6 avg. # bytes per token (without spaces/punct.) 4.5 avg. # bytes per term 7.5 T tokens 100,000,000

Results (Thai) 1:

N เอกสาร 800000 สัญญาณ#เฉลี่ย Lave ต่อเอกสาร 200 M เงื่อนไข 400000 เฉลี่ย#ไบต์ต่อโทเค็น (รวมช่องว่าง / punct.) ไบต์#เฉลี่ย 6 ต่อโทเค็น (โดยไม่เว้นวรรค / punct.) สัญญาณไบต์#เฉลี่ย 4.5 ต่อระยะ 7.5 T 100,000,000

Results (Thai) 2:

ไม่มีเอกสาร 800,000 ชำระล้างเฉลี่ย # สัญญาณต่อเอกสาร 200 M แง่ 400,000 เฉลี่ย # ไบต์ต่อโทเค็น (พื้นที่รวม / punct) 6. เฉลี่ย # ไบต์ต่อโทเค็น (ไม่มีช่องว่าง / punct.) 4.5 เฉลี่ย # ไบต์ต่อระยะ 7.5 T สัญญาณ 100,000,000

Results (Thai) 3:

- เอกสารต่างๆ 800000 เฉลี่ย#สัญญาณต่อเอกสารข้อตกลง 400000 เฉลี่ย 200 เมตร #ไบต์ต่อโทเค็น ( รวมเป็น 6 / punct ) เฉลี่ย#ไบต์ต่อโทเค็น ( โดยไม่ต้องเป็น / punct ) 4.5 #ไบต์ต่อระยะเฉลี่ย 7.5 T
100000000 โทเค็น