Assessing the performance of expert

Assessing the performance of expert finding tools should take a multidimensional tact. Of
course it is important that the system actually be able to find experts. Accordingly
technical performance measures such as those described in the previous section (e.g., the
precision and recall of a returned expert list) are important. One key to comparing and
contrasting systems is a common data set – lists of experts and sources from which that
expertise can be inferred. Unfortunately very few organizations assess the performance of
their expert finders much less benchmark them against a standard data set or expert
finding task. Fortunately, the Text Retrieval and Evaluation Conference (TREC)
Enterprise track evaluated both email search and expert search (Craswell et al. 2005). In
the latter task, 9 groups participated in the first expertise search task which sought to find
experts from 331,037 documents retrieved from the World Wide Web Consortia (W3C)
(*.w3.org) site in June 2004. Given 50 topical queries, find the list of W3C people who
are experts in that topic area given a list of 1092 candidate experts. Ten training queries
were provided. The Mean Average Precision (MAP) of the best system was .275 MAP.
MAP is the mean of the average precisions over a set of queries after each document is
retrieved. This measure gives better scores to techniques that return more relevant
documents earlier. US, European and Chinese organizations participated. Results from
TREC are displayed in Figure 4. Unfortunately the commercial solutions described in the
next section have not yet been assessed against this benchmark.

Results (Thai) 2:

การประเมินประสิทธิภาพการทำงานของเครื่องมือการค้นหาผู้เชี่ยวชาญควรใช้ชั้นเชิงหลายมิติ ของแน่นอนมันเป็นสิ่งสำคัญที่ระบบจริงจะสามารถที่จะหาผู้เชี่ยวชาญ
ดังนั้นมาตรการประสิทธิภาพทางเทคนิคเช่นที่ระบุไว้ในส่วนก่อนหน้า(เช่นความแม่นยำและการเรียกคืนของผู้เชี่ยวชาญกลับรายการ) ที่มีความสำคัญ หนึ่งที่สำคัญในการเปรียบเทียบและระบบตัดกันเป็นชุดข้อมูลที่พบบ่อย - รายชื่อของผู้เชี่ยวชาญและแหล่งที่มาจากการที่ที่ความเชี่ยวชาญสามารถสรุป แต่น่าเสียดายที่องค์กรน้อยมากในการประเมินประสิทธิภาพการทำงานของแงผู้เชี่ยวชาญมาตรฐานมากน้อยพวกเขากับชุดข้อมูลมาตรฐานหรือผู้เชี่ยวชาญในการหางาน โชคดีที่การดึงและการประชุมการประเมินผลข้อความ (TREC) การติดตามประเมินผลการค้นหาองค์กรทั้งอีเมลและผู้เชี่ยวชาญด้านการค้นหา (Craswell et al. 2005) ในงานหลัง 9 กลุ่มมีส่วนร่วมในความเชี่ยวชาญงานค้นหาแรกซึ่งพยายามที่จะหาผู้เชี่ยวชาญจาก 331,037 เอกสารที่ดึงมาจากเวิลด์ไวด์เว็บ Consortia (W3C) (* .w3.org) เว็บไซต์ในเดือนมิถุนายนปี 2004 ได้รับ 50 คำสั่งเฉพาะที่พบ รายชื่อของคนที่ W3C ที่เป็นผู้เชี่ยวชาญในหัวข้อที่ได้รับรายชื่อของ1092 ผู้เชี่ยวชาญผู้สมัคร คำสั่งการฝึกอบรมสิบมีให้ พรีซิชั่เฉลี่ยเฉลี่ย (MAP) ของระบบที่ดีที่สุดคือ 0.275 แผนที่. แผนที่เป็นค่าเฉลี่ยของแม่นยำเฉลี่ยมากกว่าชุดของคำสั่งหลังจากที่แต่ละเอกสารที่ดึงมา มาตรการนี้จะช่วยให้คะแนนดีกว่าที่จะกลับเทคนิคที่เกี่ยวข้องมากขึ้นเอกสารก่อนหน้านี้ สหรัฐองค์กรยุโรปและจีนเข้าร่วม ผลลัพธ์ที่ได้จากTREC จะแสดงในรูปที่ 4 แต่น่าเสียดายที่ในเชิงพาณิชย์แก้ปัญหาที่อธิบายไว้ในส่วนถัดไปยังไม่ได้รับการประเมินเทียบกับมาตรฐานนี้

Results (Thai) 3:

การประเมินประสิทธิภาพของผู้เชี่ยวชาญด้านการหาเครื่องมือควรใช้ประสาทสัมผัสหลายมิติ ของ
แน่นอนมันเป็นสิ่งสำคัญที่ระบบจริงสามารถค้นหาผู้เชี่ยวชาญ ตามนั้น
มาตรการประสิทธิภาพทางเทคนิคเช่นที่อธิบายไว้ในส่วนก่อนหน้านี้ ( เช่น ความแม่นยํา และเรียกของคืน
รายชื่อผู้เชี่ยวชาญ ) เป็นสำคัญ คีย์หนึ่งเพื่อเปรียบเทียบ
ตัดระบบเป็นข้อมูลทั่วไปการตั้งค่ารายการ–ผู้เชี่ยวชาญและแหล่งที่มาจากการที่
ความเชี่ยวชาญสามารถคิดได้เอง แต่น่าเสียดายที่น้อยมากที่องค์กรประเมินผลงานของผู้เชี่ยวชาญของพวกเขามากน้อย
Finders มาตรฐานให้กับชุดข้อมูลมาตรฐานหรือผู้เชี่ยวชาญ
การหางาน โชคดี , การค้นคืนข้อความและการประชุมประเมินผล ( trec )
องค์กรที่ติดตามประเมินผลทั้งอีเมล์ค้นหาและผู้เชี่ยวชาญค้นหา ( craswell et al . 2005 ) ใน
งานหลัง 9 กลุ่มมีส่วนร่วมในแรกความเชี่ยวชาญการค้นหางานที่พยายามหา
ผู้เชี่ยวชาญจาก 331037 เอกสารที่ได้รับจากเวิลด์ไวด์เว็บ ( W3C )
( consortia * W3 . org ) เว็บไซต์ในเดือนมิถุนายน 2004 ได้รับ 50 แบบสอบถามหัวข้อ ค้นหารายชื่อคนที่
W3Cเป็นผู้เชี่ยวชาญในพื้นที่หัวข้อได้รับรายชื่อของผู้สมัคร 1011 ผู้เชี่ยวชาญ 10 อบรมสอบถาม
มีให้ ค่าเฉลี่ยความแม่นยำ ( แผนที่ ) ของระบบที่ดีที่สุดคือ ถ้าแผนที่ .
แผนที่เป็นค่าเฉลี่ยของความถูกต้องเฉลี่ยกว่าชุดของแบบสอบถามตามเอกสารแต่ละ
เรียก วัดนี้ให้คะแนนดีขึ้น เทคนิคที่ส่งคืนเอกสารที่เกี่ยวข้อง
มากขึ้นกว่านี้ เราองค์กรของยุโรปและจีนเข้าร่วมด้วย ผลลัพธ์จาก
trec จะแสดงในรูปที่ 4 แต่น่าเสียดายที่ธุรกิจโซลูชั่นที่อธิบายไว้ใน
ต่อไปยังประเมินเทียบกับเกณฑ์มาตรฐานนี้