Staks are inevitably noisy, in the

Staks are inevitably noisy, in the sense that they will frequently contain pages that are not on topic. For example, searchers will often forget to set an appropriate stak at the start of a new search session and, although HeyStaks includes a number of automatic stak-selection techniques to ensure that the right stak is active for a given search, these techniques are not perfect, and misclassifications do inevitably occur; see also [18, 95]. As a result, the retrieval and ranking stage may select pages that are not strictly relevant to the current query context. To avoid making spurious recommendations HeyStaks employs an evidence filter, which uses a variety of threshold models to evaluate the relevance of a particular result, in terms of its usage evidence; tagging evidence is considered more important than voting, which in turn is more important than implicit selection evidence. For example, pages that have only been selected once, by a single stak member, are not automatically considered for recommendation and, all other things being equal, will be filtered out at this stage. In turn, pages that have received a high proportion of negative votes will also be eliminated. The precise details of this model are beyond the scope of this paper but suffice it to say that any results which do not meet the necessary evidence thresholds are eliminated from further consideration.

After evidence pruning we are left with revised primary and secondary promotions and the final task is to add these qualified recommendations to the Google result-list. HeyStaks uses a number of different recommendation rules to determine how and where a promotion should be added. Once again, space restrictions prevent a detailed account of this component but, for example, the top 3 primary promotions are always added to the top of the Google result-list and labelled using the HeyStaks promotion icon. If a remaining primary promotion is also in the default Google result-list then this is labeled in place. If there are still remaining primary promotions then these are added to the secondary promotion list, which is sorted according to TF.IDF scores. These recommendations are then added to the Google result-list as an optional, expandable list of recommendations; for further details see [93, 94]

18.5.3 Evaluation
In this section we examine a subset of 95 HeyStaks users who have remained active during the course of the early beta release of the toolbar and service. These users registered with HeyStaks during the period October-December 2008 and the results below represent a summary of their usage during the period October 2008 - January 2009. Our aim is to gain an understanding of both how users are using HeyStaks, and whether they seem to be benefiting from its search promotions. Because this is a study of live-users in the wild there are certain limitations about what we have been able to measure. There is no control group, for example, and it was not feasible, mainly for data privacy reasons, to analyse the relative click-through behaviour of users, by comparing their selections of default Google results to their selections of HeyStaks promotions. However, for the interested reader, our earlier work does report on this type of analysis in more conventional control-group laboratory studies [10, 25, 92].

Key to the HeyStaks proposition is that searchers need a better way to organise and share their search experiences. HeyStaks provides these features but do users actually take the time to create staks? Do they share them with others or join those created by others?
During the course of the initial deployment of HeyStaks users did engage in a reasonable degree of stak creation and sharing activity. For example, as per Fig. 18.11, on average, beta users created just over 3.2 new staks and joined a further 1.4. Perhaps this is not surprising: most users create a few staks and share them with a small network of colleagues or friends, at least initially.

In total there were over 300 staks created on a wide range of topics, from broad topics such as travel, research, music and movies, to more niche interests including archaeology, black and white photography, and mountain biking. A few users were prolific stak creators and joiners: one user created 13 staks and joined another 11, to create a search network of 47 other searchers (users who co-shared the same staks).

Results (Thai) 1:

Staks ย่อมเสียงดัง ในแง่ที่ว่า พวกเขาจะมักจะประกอบด้วยหน้าที่ไม่ได้อยู่ในหัวข้อได้ เช่น มักจะลืมผู้ตั้ง stak ที่เหมาะสมในการเริ่มต้นของช่วงการค้นหาใหม่ และ แม้ HeyStaks รวมจำนวนเทคนิค stak เลือกอัตโนมัติเพื่อให้แน่ใจว่า อยู่หากำหนด stak ขวา เทคนิคเหล่านี้ไม่เหมาะสม และ misclassifications ย่อม เกิด ดู [18, 95] ดัง เรียกและจัดลำดับขั้นอาจเลือกหน้าเว็บที่ไม่เกี่ยวข้องอย่างเคร่งครัดเพื่อสอบถามบริบท เพื่อหลีกเลี่ยงการทำเก๊แนะนำ HeyStaks ใช้ตัวกรองหลักฐาน ที่ใช้หลากหลายรูปแบบขีดจำกัดในการประเมินความสำคัญของผลลัพธ์เฉพาะ ในหลักฐานของการใช้งาน ติดป้ายหลักฐานถือว่าสำคัญกว่าการลงคะแนนเสียง ซึ่งเป็นสำคัญกว่าหลักฐานเลือกนัย ตัวอย่าง หน้าที่เลือกไว้เท่านั้นเมื่อ โดยสมาชิก stak เดียว โดยอัตโนมัติเป็นการแนะนำ สิ่งอื่น ๆ กำลังเท่า จะถูกกรองออกในขั้นตอนนี้ กลับ เพจที่ได้รับสัดส่วนที่สูงของโหวดลบจะยังถูกตัดออกไป รายละเอียดชัดเจนของรุ่นนี้อยู่นอกเหนือขอบเขตของเอกสารนี้ แต่ suffice มันพูดที่ผลลัพธ์ใด ๆ ที่ไม่ตรงกับขีดจำกัดหลักฐานที่จำเป็นตัดออกจากการพิจารณาเพิ่มเติมหลังจากตัดหลักฐานเราจะเหลือไว้กับโปรโมชันหลัก และรองที่ปรับปรุงและงานสุดท้ายคือการ เพิ่มคำแนะนำเหล่านี้มีคุณสมบัติใน Google ผลลัพธ์รายการ HeyStaks ใช้จำนวนกฎคำแนะนำต่าง ๆ เพื่อกำหนดวิธีการ และที่ควรจะเพิ่มโปรโมชั่น ครั้ง ข้อจำกัดพื้นที่ป้องกันของคอมโพเนนต์นี้ ได้ เช่น โปรโมชั่นหลัก 3 ด้านเสมอเพิ่มด้านบนของผลคะแนน-รายชื่อจาก Google และใช้คอนโปรโมชั่น HeyStaks มัน ถ้าโปรโมชันหลักที่เหลือยังอยู่ในรายการเริ่มต้น Google ผลแล้วนี้เป็นชื่อที่ ถ้ามีจะยังคงโปรโมชั่นหลัก แล้วเหล่านี้จะเพิ่มไปยังรายการโปรโมชั่นรอง ซึ่งเรียงลำดับตามรหัส IDF คะแนน คำแนะนำเหล่านี้จะเพิ่มใน Google ผลลัพธ์รายการเป็นรายการเพิ่มเติม ขยายได้ของคำแนะนำ เพื่อเพิ่มเติมรายละเอียดดู [93, 94]18.5.3 ประเมินในส่วนนี้ เราตรวจสอบย่อยของผู้ใช้ HeyStaks 95 ที่ยังคงมีใช้งานอยู่ระหว่างช่วงเบต้าของแถบเครื่องมือและบริการ ผู้ใช้เหล่านี้ลงทะเบียนกับ HeyStaks ช่วงเดือนตุลาคม 2008 ธันวาคม และผลลัพธ์ด้านล่างแสดงสรุปการใช้งานของพวกเขาในระหว่างช่วงเดือน 2551 ตุลาคม - 2552 มกราคม เป้าหมายของเราคือการ ได้รับความเข้าใจว่าผู้ใช้กำลังใช้ HeyStaks และว่าพวกเขาดูเหมือนจะเป็นเกียรติยศจากการค้นหาโปรโมชั่น เนื่องจากเป็นการศึกษาชีวิตผู้ที่ในป่ามีข้อจำกัดบางอย่างเกี่ยวกับสิ่งที่เราได้สามารถวัด มีกลุ่มควบคุมไม่มี เช่น และไม่เป็นไปได้ ส่วนใหญ่เหตุผลข้อมูลความเป็นส่วนตัว การวิเคราะห์ความต้องการสัมพันธ์คลิกผ่านพฤติกรรมของผู้ใช้ โดยการเปรียบเทียบการเลือกของเริ่มต้น Google ผลลัพธ์ตัวเลือกของ HeyStaks อย่างไรก็ตาม สำหรับผู้อ่านที่สนใจ งานก่อนหน้ารายงานวิเคราะห์ในการศึกษากลุ่มควบคุมห้องปฏิบัติการทั่วไปมากขึ้น [10, 25, 92] ชนิดนี้คีย์จะเสนอ HeyStaks เป็นต้องผู้ที่ประสบการณ์การจัด และร่วมค้นหาของพวกเขา HeyStaks ให้คุณลักษณะเหล่านี้ แต่ผู้ใช้จริงใช้เวลาสร้าง staks พวกเขาเหล่านี้ร่วมกับผู้อื่น หรือเข้าร่วมสร้าง โดยผู้อื่นในระหว่างการใช้งานเบื้องต้นของ HeyStaks ผู้ใช้ได้มีส่วนร่วมในระดับสมเหตุสมผลสร้าง stak และร่วมกิจกรรม ตัวอย่าง ตาม Fig. 18.11 โดยเฉลี่ย เบต้าผู้สร้าง staks ใหม่เพียง 3.2 กร่วม 1.4 เพิ่มเติม ทีนี้ไม่น่าแปลกใจ: ผู้ใช้ส่วนใหญ่สร้างกี่ staks และแบ่งปันให้กับเครือข่ายเพื่อนร่วมงานหรือเพื่อน เล็กน้อยเริ่มต้น ทั้งหมด มี 300 staks สร้างในหลากหลายหัวข้อ หัวข้อกว้างเช่นท่องเที่ยว วิจัย เพลง และ ภาพยนตร์ จากการสนใจเฉพาะเพิ่มเติมรวม ทั้งโบราณคดี ถ่ายภาพขาวดำ จักรยานเสือภูเขา ผู้ใช้บางคนผู้สร้าง stak ลูกเพิ่ม: ผู้หนึ่งสร้าง 13 staks และร่วมอื่น 11 การสร้างเครือข่ายค้นหา 47 อื่น ๆ ผู้ (ผู้ร่วมใช้ร่วม staks เดียวกัน)

Results (Thai) 2:

Staks จะมีเสียงดังหลีกเลี่ยงไม่ได้ในแง่ที่ว่าพวกเขามักจะมีหน้าเว็บที่ไม่ได้อยู่ในหัวข้อ ตัวอย่างเช่นผู้ค้นหามักจะลืมที่จะตั้ง stak ที่เหมาะสมในการเริ่มต้นของเซสชั่นการค้นหาใหม่และแม้ว่า HeyStaks รวมถึงจำนวนของเทคนิค stak เลือกโดยอัตโนมัติเพื่อให้แน่ใจว่า stak มีการใช้งานที่ถูกต้องสำหรับการค้นหาที่กำหนดเทคนิคเหล่านี้ไม่ได้ ที่สมบูรณ์แบบและ misclassifications จะหลีกเลี่ยงไม่ได้เกิดขึ้น; ดู [18 95] เป็นผลให้การดึงและขั้นตอนการจัดอันดับอาจเลือกหน้าเว็บที่ไม่เคร่งครัดเกี่ยวข้องกับแบบสอบถามบริบทปัจจุบัน เพื่อหลีกเลี่ยงการให้คำแนะนำปลอม HeyStaks พนักงานกรองหลักฐานที่ใช้หลากหลายของรูปแบบเกณฑ์ในการประเมินความเกี่ยวข้องของผลโดยเฉพาะอย่างยิ่งในแง่ของการใช้หลักฐานของตน หลักฐานการติดแท็กถือว่าเป็นสิ่งที่สำคัญกว่าการออกเสียงลงคะแนนซึ่งจะมีความสำคัญมากกว่าหลักฐานที่เลือกโดยปริยาย ตัวอย่างเช่นหน้าเว็บที่ได้รับเลือกเพียงครั้งเดียวโดยสมาชิก stak เดียวไม่ถือว่าเป็นข้อเสนอแนะโดยอัตโนมัติและทุกสิ่งอื่น ๆ เหมือนกันจะถูกกรองออกในขั้นตอนนี้ ในทางกลับกันหน้าเว็บที่ได้รับในสัดส่วนที่สูงของการลงมติในเชิงลบก็จะถูกตัดออก รายละเอียดที่แม่นยำของรุ่นนี้อยู่นอกเหนือขอบเขตของบทความนี้ แต่พอจะพูดได้ว่าผลการใด ๆ ที่ไม่เป็นไปตามเกณฑ์หลักฐานที่จำเป็นจะถูกตัดออกจากการพิจารณาต่อไป. หลังจากตัดแต่งกิ่งหลักฐานที่เราจะทิ้งให้อยู่กับโปรโมชั่นหลักและรองแก้ไขและครั้งสุดท้าย งานคือการเพิ่มคำแนะนำที่มีคุณภาพเหล่านี้เพื่อผลรายชื่อของ Google HeyStaks ใช้จำนวนของกฎข้อเสนอแนะที่แตกต่างกันเพื่อกำหนดวิธีการและสถานที่ที่ควรจะได้รับโปรโมชั่นเพิ่ม อีกครั้งหนึ่งที่มีข้อ จำกัด พื้นที่ป้องกันไม่ให้รายละเอียดเกี่ยวกับส่วนนี้ แต่สำหรับตัวอย่างเช่นด้านบน 3 โปรโมชั่นหลักที่มีการเพิ่มเสมอไปด้านบนของผลรายชื่อของ Google และติดป้ายใช้โปรโมชั่นไอคอน HeyStaks ถ้าโปรโมชั่นหลักที่เหลือยังอยู่ในค่าเริ่มต้น Google ผลรายการแล้วนี้จะมีป้ายในสถานที่ หากยังคงมีโปรโมชั่นหลักที่เหลืออยู่แล้วเหล่านี้จะถูกเพิ่มลงในรายการโปรโมชั่นที่สองซึ่งจะเรียงลำดับตามคะแนน TF.IDF คำแนะนำเหล่านี้จะถูกเพิ่มแล้วผลรายชื่อ Google เป็นตัวเลือกขยายรายการของคำแนะนำ; สำหรับรายละเอียดเพิ่มเติมดู [93 94] 18.5.3 การประเมินผลในส่วนนี้เราตรวจสอบส่วนหนึ่งของผู้ใช้ 95 คน HeyStaks ที่ได้ยังคงทำงานอยู่ในช่วงของการรุ่นเบต้ารุ่นแรกของแถบเครื่องมือและการบริการ ผู้ใช้เหล่านี้ลงทะเบียนกับ HeyStaks ในช่วงระยะเวลาเดือนตุลาคมถึงธันวาคม 2008 และผลการดังต่อไปนี้เป็นตัวแทนของบทสรุปของการใช้งานของพวกเขาในช่วงระยะเวลาเดือนตุลาคม 2008 - มกราคม 2009 จุดมุ่งหมายของเราคือการได้รับความเข้าใจของทั้งสองวิธีที่ผู้ใช้กำลังใช้ HeyStaks และไม่ว่าพวกเขาดูเหมือน ที่จะได้รับประโยชน์จากโปรโมชั่นการค้นหา เพราะนี่คือการศึกษาของผู้ใช้ชีวิตอยู่ในป่ามีข้อ จำกัด บางอย่างเกี่ยวกับสิ่งที่เราได้รับสามารถที่จะวัด มีกลุ่มควบคุมไม่เป็นเช่นและมันเป็นไปไม่ได้ส่วนใหญ่เป็นข้อมูลความเป็นส่วนตัวในการวิเคราะห์พฤติกรรมการคลิกผ่านญาติของผู้ใช้งานโดยการเปรียบเทียบพวกเขาเลือกของการเริ่มต้นผลของ Google เพื่อที่พวกเขาเลือกของโปรโมชั่ HeyStaks แต่สำหรับผู้อ่านที่สนใจในการทำงานก่อนหน้านี้ของเราจะรายงานเกี่ยวกับประเภทของการวิเคราะห์ในห้องปฏิบัติการการศึกษากลุ่มควบคุมการชุมนุมนี้ [10, 25, 92]. กุญแจสำคัญในเรื่อง HeyStaks คือต้องค้นหาวิธีที่ดีกว่าในการจัดระเบียบและแบ่งปันของพวกเขา ประสบการณ์การค้นหา HeyStaks มีคุณสมบัติเหล่านี้ แต่ไม่ผู้ใช้จริงใช้เวลาในการสร้าง Staks? พวกเขาแบ่งปันให้กับคนอื่น ๆ หรือเข้าร่วมที่สร้างขึ้นโดยคนอื่น ๆ ? ในระหว่างการใช้งานครั้งแรกของผู้ใช้ HeyStaks ไม่มีส่วนร่วมในระดับที่เหมาะสมของการสร้าง stak และกิจกรรมการใช้งานร่วมกัน ตัวอย่างเช่นตามรูป 18.11 โดยเฉลี่ยผู้ใช้เบต้าสร้างขึ้นเพียง 3.2 ​​Staks ใหม่และเข้าร่วมอีก 1.4 บางทีนี่อาจเป็นไม่น่าแปลกใจ:. ผู้ใช้ส่วนใหญ่สร้าง Staks ไม่กี่และแบ่งปันให้กับเครือข่ายขนาดเล็กของเพื่อนร่วมงานหรือเพื่อนอย่างน้อยในขั้นต้นโดยรวมมีกว่า 300 Staks สร้างขึ้นบนหลากหลายหัวข้อจากหัวข้อในวงกว้างเช่นการเดินทาง วิจัยเพลงและภาพยนตร์ให้มากขึ้นรวมทั้งผลประโยชน์เฉพาะกลุ่มโบราณคดีถ่ายภาพขาวดำและปั่นจักรยานเสือภูเขา ผู้ใช้งานไม่กี่คนผู้สร้าง stak อุดมสมบูรณ์และเข้าร่วมอยู่: ผู้ใช้คนหนึ่งที่สร้างขึ้น 13 Staks และเข้าร่วมอีก 11 เพื่อสร้างเครือข่ายการค้นหา 47 ผู้ค้นหาอื่น ๆ (ผู้ใช้ที่ใช้ร่วมกันร่วม Staks เดียวกัน)

Results (Thai) 3:

staks จะมีเสียงดังอย่างหลีกเลี่ยงไม่ในความรู้สึกที่พวกเขามักจะประกอบด้วยหน้าเว็บที่ไม่ได้อยู่ในหัวข้อ ตัวอย่างเช่น ค้นหามักจะลืมที่จะตั้ง stak เหมาะสมที่จุดเริ่มต้นของเซสชันการค้นหาใหม่และแม้ว่า heystaks รวมถึงจำนวนของเทคนิคการคัดเลือก stak อัตโนมัติเพื่อให้แน่ใจว่า stak สิทธิการใช้งานสำหรับการค้นหา เทคนิคเหล่านี้จะไม่สมบูรณ์ย่อมเกิดขึ้น และ misclassifications ทำ 18 ; ดูยัง [ 95 ] ผล การจัดอันดับและเวทีอาจเลือกหน้าเว็บที่ไม่เกี่ยวข้องอย่างเคร่งครัดในบริบทแบบปัจจุบัน เพื่อหลีกเลี่ยงการใช้หลักฐานปลอม แนะนำ heystaks กรองซึ่งใช้รูปแบบเกณฑ์ประเมินความเกี่ยวข้องของผลโดยเฉพาะในแง่ของการใช้หลักฐานติดตามหลักฐานถือว่าสำคัญกว่าโหวต ซึ่งจะสำคัญกว่าการแยกหลักฐาน . ตัวอย่างเช่นหน้าเว็บที่มีเพียงได้รับเลือกอีกครั้ง โดยสมาชิก stak เดียวไม่ได้โดยอัตโนมัติถือว่าคำแนะนำและทุกสิ่งเป็นเท่ากับ , จะถูกกรองออกในขั้นตอนนี้ ในการเปิดหน้าเว็บที่ได้รับสัดส่วนของคะแนนเป็นลบก็จะถูกคัดออก รายละเอียดที่ชัดเจนของรุ่นนี้อยู่นอกเหนือขอบเขตของบทความนี้แต่พอจะพูดได้ว่าผลลัพธ์ใด ๆที่ไม่เป็นไปตามเกณฑ์ หลักฐานที่จำเป็นจะถูกตัดออกจากการพิจารณาต่อไป

หลังจากการตัดหลักฐานเราเหลือแก้ไขหลักและโปรโมชั่นรอง และงานสุดท้ายคือการเพิ่มเหล่านี้มีคุณสมบัติข้อเสนอแนะกับ Google ผลรายการ heystaks ใช้หมายเลขของกฎคำแนะนำและวิธีที่แตกต่างกันเพื่อตรวจสอบโปรโมชั่นควรจะเพิ่ม อีกครั้ง , ข้อ จำกัด พื้นที่ป้องกันบัญชีรายละเอียดของส่วนนี้ แต่ ตัวอย่างด้านบน 3 หลักโปรโมชั่นมักจะเพิ่มไปด้านบนของรายการที่มีผลและการส่งเสริม heystaks ไอคอน ถ้าเหลือหลักส่งเสริมในค่าเริ่มต้น Google ผลรายการแล้วนี้ติดป้ายสถานที่ ถ้ายังคงมีเหลือหลักโปรโมชั่นแล้วเหล่านี้จะเพิ่มรายการส่งเสริมการมัธยมศึกษา ซึ่งจะเรียงตาม tf.idf คะแนนข้อเสนอแนะเหล่านี้จะเพิ่มรายชื่อ Google ผลเป็นตัวเลือกขยายรายการของข้อเสนอแนะ สำหรับรายละเอียดเพิ่มเติมดู [ 93 , 94 ]


18.5.3 การประเมินในส่วนนี้เราตรวจสอบบางส่วนของ 95 heystaks ผู้ใช้ที่ยังคงใช้งานอยู่ในระหว่างช่วงต้นรุ่นเบต้าของแถบเครื่องมือและบริการผู้ใช้เหล่านี้ลงทะเบียนกับ heystaks ในช่วงเดือนตุลาคม ธันวาคม 2551 และผลด้านล่างแสดงสรุปการใช้ในช่วงตุลาคม 2551 - มกราคม 2552 เป้าหมายของเราคือการได้รับความเข้าใจของทั้งสองวิธีที่ผู้ใช้มีการใช้ heystaks และไม่ว่าพวกเขาดูเหมือนจะได้รับประโยชน์จากโปรโมชั่นการค้นหาเพราะนี่คือการศึกษาของผู้ใช้อยู่ในป่า มีข้อ จำกัด บางอย่างเกี่ยวกับสิ่งที่เราได้รับสามารถที่จะวัด ไม่มีกลุ่มควบคุม ตัวอย่างเช่น มันไม่ได้เป็นไปได้ ส่วนใหญ่เหตุผลความเป็นส่วนตัวของข้อมูล วิเคราะห์เปรียบเทียบพฤติกรรมของผู้ใช้คลิกผ่านโดยเปรียบเทียบการเลือกของ Google ผลลัพธ์ของค่าเริ่มต้นของการเลือกของ heystaks โปรโมชั่น อย่างไรก็ตามสำหรับผู้อ่านที่สนใจงานเราก่อนหน้านี้มีรายงานการวิเคราะห์ประเภทนี้ในการศึกษาในห้องปฏิบัติการ กลุ่มควบคุมที่มากกว่าปกติ [ 10 , 25 , 92 ] .

กุญแจ heystaks ข้อเสนอที่ผู้ค้นหาต้องการวิธีที่ดีกว่าการจัดระเบียบและแบ่งปันการค้นหาประสบการณ์ heystaks มีคุณสมบัติเหล่านี้ แต่ผู้ใช้จริง ใช้เวลาในการสร้าง staks ?พวกเขาแบ่งปันให้กับคนอื่น หรือกับผู้ที่สร้างขึ้นโดยคนอื่น ๆ ?
ในระหว่างการใช้งานเริ่มต้นของ heystaks ผู้ใช้มีส่วนร่วมในระดับที่เหมาะสมของการสร้าง stak และแบ่งปันกิจกรรม ตัวอย่างเช่น ตามรูป 18.11 โดยเฉลี่ยผู้ใช้เบต้า สร้างเพียง 3.2 staks ใหม่และเข้าร่วมอีก 1.4 . บางทีนี่อาจจะไม่น่าแปลกใจ :