18.4.3 EvaluationThe current proxy-

18.4.3 Evaluation
The current proxy-based architecture has been used as the basis of a long-term trial of the CWS approach in a corporate search scenario. In this section we will describe some recent results drawn from this trial, which speak to the value of the community-based promotions offered by CWS. The trial participants included the 70+ employees of a local Dublin software company where the CWS architecture was configured to work with the standard Google search engine so that all Google requests were redirected through the CWS system. The search experience was based on the standard Google interface with a maximum of 3 results promoted (and annotated with explanations) in any session;

if more than 3 promotions were available then non-promoted results were annotated with explanation icons, but left in their default Google position. The results presented here are drawn from just over 10 weeks of usage and cover a total of 12,621 individual search sessions. One of the challenges in evaluating new search technologies in a natural setting is how to evaluate the quality of individual search sessions. Ideally we would like to capture direct relevance feedback from users as they search. While it would be relatively straightforward to ask users to provide such feedback during each session, or as they selected specific results, this was not feasible in the current trial because participants were eager to ensure that their search experience did not deviate from the norm, and were unwilling to accept pop-ups, form-filling or any other type of additional feedback. As an alternative, in this evaluation, we used a less direct measure of relevance based on the concept of a successful session (see also [92, 91]). We define a successful session to be one where at least one search result has been selected, indicating that the searcher has found at least one (partially) relevant result. In contrast, search sessions where the user does not select any results are considered to be unsuccessful, in the sense that the searcher has found no relevant results. While this is a relatively crude measure of overall search performance, it at least allows us to compare search sessions in a systematic way.

Results (Thai) 1:

18.4.3 ประเมินสถาปัตยกรรมใช้พร็อกซีที่ปัจจุบันมีการใช้เป็นพื้นฐานของการทดลองระยะยาววิธี CWS ในสถานการณ์ค้นหาบริษัท ในส่วนนี้เราจะอธิบายผลลัพธ์บางอย่างล่าสุดที่นำออกมาทดลอง ซึ่งพูดเป็นค่าโปรโมชั่นตามชุมชนที่ถูกเสนอ โดย CWS ผู้เข้าร่วมทดลองรวมพนักงาน 70 + ของดับลินซอฟต์แวร์บริษัทที่สถาปัตยกรรม CWS ถูกกำหนดค่าให้ทำงานกับเครื่องมือค้นหา Google มาตรฐานให้คำขอของ Google ทั้งหมดถูกเปลี่ยนเส้นทางผ่านระบบ CWS ประสบการณ์ค้นหาขึ้นอยู่บนอินเทอร์เฟซ Google มาตรฐานมากที่สุดของผล 3 การส่งเสริม (และใส่คำอธิบายประกอบพร้อมคำอธิบาย) ในเซสชันใด ๆ มีการส่งเสริมการขายมากกว่า 3 ถ้าผลลัพธ์ไม่ได้เลื่อนขั้นได้ใส่คำอธิบายประกอบ ด้วยคำอธิบายไอคอน ซ้ายแต่ในตำแหน่งของ Google เริ่มต้น ผลลัพธ์ที่แสดงออกมากกว่า 10 สัปดาห์ของการใช้งาน และครอบคลุมรวม 12,621 ค้นหาแต่ละครั้ง หนึ่งในความท้าทายในการประเมินเทคโนโลยีการค้นหาใหม่ในธรรมชาติเป็นวิธีการประเมินคุณภาพของการค้นหาแต่ละเซสชัน เชิญเราอยากจะจับผลป้อนกลับเกี่ยวข้องโดยตรงจากผู้ใช้ทำการค้นหา ใน ขณะที่มันจะค่อนข้างตรงไปตรงมาเพื่อให้ผู้ใช้แสดงความคิดเห็นดังกล่าวในแต่ละเซสชัน หรือพวกเขาเลือกเฉพาะผล นี้ไม่เป็นไปได้ในการทดลองปัจจุบันเนื่องจากผู้เข้าร่วมได้อยากว่า ประสบการณ์ค้นหาได้ไม่ผิดเพี้ยนจากปกติ และไม่ยอมรับป๊อปอัพ กรอกแบบฟอร์ม หรือชนิดอื่น ๆ ของคำติชมเพิ่มเติม เป็นทางเลือก ประเมินผล เราใช้วัดน้อยตรงความเกี่ยวข้องตามแนวคิดของเซสชันที่ประสบความสำเร็จ (ดู [92, 91]) เรากำหนดเซสชันที่ประสบความสำเร็จเป็นหนึ่งที่ผลการค้นหาที่เลือกไว้ แสดงให้ ผู้ค้นหาจะพบผลที่เกี่ยวข้อง (บางส่วน) ในทางตรงกันข้าม รอบเวลาค้นหาที่ผู้ใช้เลือกผลลัพธ์ใด ๆ จะถือว่าจะประสบความสำเร็จ ในแง่ที่ว่า ผู้ที่ค้นหาพบผลไม่เกี่ยวข้อง ขณะนี้การวัดประสิทธิภาพการค้นหาโดยรวมค่อนข้างดิบ น้อยให้เราเปรียบเทียบค้นหาเซสชันในอย่างเป็นระบบ

Results (Thai) 2:

18.4.3 การประเมิน
สถาปัตยกรรมพร็อกซี่ที่ใช้ในปัจจุบันได้ถูกนำมาใช้เป็นพื้นฐานของการทดลองในระยะยาวของวิธีการ CWS ในสถานการณ์การค้นหาขององค์กร ในส่วนนี้เราจะอธิบายผลการค้นหาที่ผ่านมาจากการพิจารณาคดีนี้ซึ่งพูดกับค่าของโปรโมชั่นชุมชนตามที่นำเสนอโดย CWS ผู้เข้าร่วมการพิจารณาคดีรวม 70 + พนักงานของ บริษัท ซอฟต์แวร์ดับลินท้องถิ่นที่สถาปัตยกรรม CWS ได้รับการกำหนดค่าให้ทำงานกับมาตรฐานเครื่องมือค้นหาของ Google เพื่อให้ทุกการร้องขอของ Google ถูกเปลี่ยนเส้นทางผ่านระบบ CWS ประสบการณ์การค้นหาที่อยู่บนพื้นฐานของมาตรฐานอินเตอร์เฟซของ Google ที่มีสูงสุด 3 ผลการส่งเสริมการลงทุน (และข้อเขียนที่มีคำอธิบาย) ในเซสชั่นใด ๆถ้ามากกว่า 3 โปรโมชั่นที่มีอยู่แล้วผลที่ไม่ได้รับการส่งเสริมการลงทุนข้อเขียนที่มีไอคอนคำอธิบาย แต่ที่เหลืออยู่ในการเริ่มต้นของพวกเขา ตำแหน่งของ Google ผลการนำเสนอที่นี่มาจากเพียงกว่า 10 สัปดาห์ของการใช้งานและครอบคลุมทั้งหมด 12,621 เซสชันการค้นหาของแต่ละบุคคล หนึ่งในความท้าทายในการประเมินเทคโนโลยีการค้นหาใหม่ในบรรยากาศที่เป็นธรรมชาติคือวิธีการประเมินคุณภาพของการประชุมการค้นหาของแต่ละบุคคล จะเป็นการดีที่เราต้องการที่จะจับข้อเสนอแนะความเกี่ยวข้องโดยตรงจากผู้ใช้ที่พวกเขาค้นหา ขณะที่มันจะค่อนข้างตรงไปตรงมาขอให้ผู้ใช้ให้ข้อเสนอแนะดังกล่าวในแต่ละเซสชั่นหรือที่พวกเขาเลือกผลที่เฉพาะเจาะจงนี้ไม่ได้เป็นไปได้ในการทดลองในปัจจุบันเพราะผู้เข้าร่วมมีความกระตือรือร้นเพื่อให้แน่ใจว่าประสบการณ์การค้นหาของพวกเขาไม่ได้เบี่ยงเบนไปจากบรรทัดฐานและ ไม่เต็มใจที่จะยอมรับป๊อปอัพแบบฟอร์มการกรอกข้อมูลหรือชนิดอื่น ๆ ของข้อเสนอแนะเพิ่มเติม ในฐานะที่เป็นทางเลือกในการประเมินผลนี้เราใช้วัดโดยตรงของความเกี่ยวข้องน้อยขึ้นอยู่กับแนวคิดของเซสชั่นที่ประสบความสำเร็จ (เห็น [92 91]) เรากำหนดเซสชั่นที่ประสบความสำเร็จที่จะเป็นหนึ่งที่อย่างน้อยหนึ่งในผลการค้นหาได้รับเลือกให้แสดงให้เห็นว่าผู้ค้นหาได้พบอย่างน้อยหนึ่ง (บางส่วน) ผลที่เกี่ยวข้อง ในทางตรงกันข้ามการประชุมการค้นหาที่ผู้ใช้ไม่ได้เลือกผลใด ๆ จะถือว่าเป็นประสบความสำเร็จในแง่ที่ว่าผู้ค้นหาไม่พบผลลัพธ์ที่เกี่ยวข้อง ขณะนี้เป็นวัดที่ค่อนข้างดิบของประสิทธิภาพการค้นหาโดยรวมอย่างน้อยช่วยให้เราสามารถค้นหาเปรียบเทียบการประชุมอย่างเป็นระบบ

Results (Thai) 3:

18.4.3 การประเมิน
สถาปัตยกรรมพร็อกซีปัจจุบันถูกใช้เป็นฐานของการทดลองระยะยาวของ CWS วิธีการในการค้นหาของสถานการณ์ ในส่วนนี้เราจะอธิบายบางส่วนล่าสุดผลจากการทดลองนี้ซึ่งพูดกับคุณค่าของการโปรโมชั่นที่นำเสนอโดย CWSผู้เข้าร่วมการทดลองรวม 70 พนักงานของ บริษัท ซอฟต์แวร์ท้องถิ่นดับลินที่ CWS สถาปัตยกรรมเป็นกำหนดค่าให้ทำงานกับมาตรฐานเครื่องมือค้นหา Google เพื่อให้ Google เปลี่ยนเส้นทางการร้องขอทั้งหมดผ่าน CWS ระบบ ประสบการณ์การใช้ Google อินเตอร์เฟซมาตรฐานสูงสุดของ 3 การส่งเสริม ( และบันทึกย่อกับคำอธิบาย ) ในเซสชั่นใด ๆ

;ถ้ามากกว่า 3 โปรโมชั่นที่มีอยู่แล้วไม่เลื่อน ผลลัพธ์ที่ได้แสดงด้วยไอคอนคำอธิบาย แต่ด้านซ้ายในตำแหน่ง Google เริ่มต้นของพวกเขา ผลลัพธ์ที่แสดงที่นี่จะถูกดึงจากเพียง 10 สัปดาห์ของการใช้งาน และครอบคลุมทั้งหมดของ 12621 บุคคลค้นหาครั้งหนึ่งในความท้าทายในการประเมินเทคโนโลยีการค้นหาใหม่ในการตั้งค่าธรรมชาติเป็นวิธีการประเมินคุณภาพของการค้นหาแต่ละครั้ง ซึ่งเราต้องการจับภาพความคิดเห็นความเกี่ยวข้องโดยตรงจากผู้ใช้ที่พวกเขาค้นหา ในขณะที่มันอาจจะค่อนข้างตรงไปตรงมาเพื่อให้ผู้ใช้เพื่อให้ตอบรับดังกล่าวในระหว่างแต่ละเซสชันหรือที่พวกเขาเลือกผลที่เฉพาะเจาะจงนี้ไม่ได้เป็นไปได้ในคดีปัจจุบัน เพราะผู้เข้าร่วมมีความกระตือรือร้นที่จะให้มั่นใจว่าประสบการณ์การค้นหาของพวกเขาไม่ได้เบี่ยงเบนจากบรรทัดฐาน และไม่เต็มใจที่จะรับ ups pop , กรอกแบบฟอร์มหรือชนิดอื่น ๆของข้อมูลเพิ่มเติม เป็นทางเลือกในการประเมินนี้ เราใช้มาตรการโดยตรงน้อยลงสอดคล้องตามแนวคิดของเซสชันที่ประสบความสำเร็จ ( ดู 92 [ 91 ] )เรากำหนดระยะเวลาที่ประสบความสำเร็จเป็นหนึ่งที่ผลการค้นหาอย่างน้อยหนึ่งที่ถูกคัดเลือก ให้ค้นหาได้พบอย่างน้อยหนึ่ง ( บางส่วน ) ผลลัพธ์ที่เกี่ยวข้อง ในทางตรงกันข้าม , การค้นหาเซสชันที่ผู้ใช้ไม่ได้เลือกผลลัพธ์ใด ๆ ถือว่าไม่ประสบความสำเร็จ ในความรู้สึกที่ค้นหาได้ไม่พบผลลัพธ์ที่เกี่ยวข้องส่วนนี้เป็นมาตรการที่ค่อนข้างดิบ ของผลการค้นหาโดยรวม อย่างน้อยก็ช่วยให้เราสามารถเปรียบเทียบค้นหาการประชุมอย่างเป็นระบบ