21.3.3 Which Strategy Performs Best

21.3.3 Which Strategy Performs Best We conducted a series of experiments to investigate which strategy from Table 21.3 is best (see [10] for details).

In Experiment 1 (see Figure 21.1), we investigated how people would solve this problem, using the User as Wizard evaluation method [13]. Participants were given individual ratings identical to those in Table 21.1. These ratings were chosen to be able to distinguish between strategies. Participants were asked which items the group should watch, if there was time for one, two, .., seven items. We compared participants’ decisions and rationale with those of the aggregation strategies. We found that participants cared about fairness, and about preventing misery and starvation (”this one is for Mary, as she has had nothing she liked so far”). Participants’ behaviour reflected that of several of the strategies (e.g. the Average, Least Misery, and Average Without Misery were used), while other strategies (e.g. Borda count, Copeland rule) were clearly not used.

In Experiment 2 (see Figure 21.2), participants were given item sequences chosen by the aggregation strategies as well as the individual ratings in Table 21.1. They rated how satisfied they thought the group members would be with those sequences, and explained their ratings. We found that the Multiplicative Strategy (which multiplies the individual ratings) performed best, in the sense that it was the only strategy for which all participants thought its sequence would keep all members of the group satisfied. Borda count, Average, Average without Misery and Most Pleasure also performed quite well. Several strategies (such as Copeland rule, Plurality voting, Least misery) could be discarded as they clearly were judged to result in misery for group members.

We also compared the participants’ judgements with predictions by simple satisfaction modelling functions. Amongst other, we found that more accurate predictions resulted from using: • quadratic ratings, which e.g. makes the difference between a rating of 9 and 10 bigger than that between a rating of 5 and 6 • normalization, which takes into account that people rate in different ways, e.g., some always use the extremes of a scale, while others only use the middle of the scale.

21.4 Impact of Sequence Order
As mentioned in Section 21.2, we are particularly interested in recommending a sequence of items. For example, for a personalised news program on TV, a recommender may select seven news items to be shown to the group. To select the items, it can use an aggregation strategy (such as the Multiplicative Strategy) to combine individual preferences, and then select the seven items with the highest group ratings. Once the items have been selected, the question arises in what order to show them in the news program. For example, it could show the items in descending order of group rating, starting with the highest rated item and ending with the lowest rated one. Or, it could mix up the items, showing them in a random order.

However, the problem is actually far more complicated than that. Firstly, in responsive environments, the group membership changes continuously, so deciding on the next seven items to show based on the current members seems not a sensible

21.3.3 Which Strategy Performs Best We conducted a series of experiments to investigate which strategy from Table 21.3 is best (see [10] for details).

In Experiment 1 (see Figure 21.1), we investigated how people would solve this problem, using the User as Wizard evaluation method [13]. Participants were given individual ratings identical to those in Table 21.1. These ratings were chosen to be able to distinguish between strategies. Participants were asked which items the group should watch, if there was time for one, two, .., seven items. We compared participants’ decisions and rationale with those of the aggregation strategies. We found that participants cared about fairness, and about preventing misery and starvation (”this one is for Mary, as she has had nothing she liked so far”). Participants’ behaviour reflected that of several of the strategies (e.g. the Average, Least Misery, and Average Without Misery were used), while other strategies (e.g. Borda count, Copeland rule) were clearly not used.

In Experiment 2 (see Figure 21.2), participants were given item sequences chosen by the aggregation strategies as well as the individual ratings in Table 21.1. They rated how satisfied they thought the group members would be with those sequences, and explained their ratings. We found that the Multiplicative Strategy (which multiplies the individual ratings) performed best, in the sense that it was the only strategy for which all participants thought its sequence would keep all members of the group satisfied. Borda count, Average, Average without Misery and Most Pleasure also performed quite well. Several strategies (such as Copeland rule, Plurality voting, Least misery) could be discarded as they clearly were judged to result in misery for group members.

We also compared the participants’ judgements with predictions by simple satisfaction modelling functions. Amongst other, we found that more accurate predictions resulted from using: • quadratic ratings, which e.g. makes the difference between a rating of 9 and 10 bigger than that between a rating of 5 and 6 • normalization, which takes into account that people rate in different ways, e.g., some always use the extremes of a scale, while others only use the middle of the scale.

21.4 Impact of Sequence Order
As mentioned in Section 21.2, we are particularly interested in recommending a sequence of items. For example, for a personalised news program on TV, a recommender may select seven news items to be shown to the group. To select the items, it can use an aggregation strategy (such as the Multiplicative Strategy) to combine individual preferences, and then select the seven items with the highest group ratings. Once the items have been selected, the question arises in what order to show them in the news program. For example, it could show the items in descending order of group rating, starting with the highest rated item and ending with the lowest rated one. Or, it could mix up the items, showing them in a random order.

However, the problem is actually far more complicated than that. Firstly, in responsive environments, the group membership changes continuously, so deciding on the next seven items to show based on the current members seems not a sensible

0/5000

From: -

To: -

Results (Thai) 1: [Copy]

Copied!

21.3.3 Which Strategy Performs Best We conducted a series of experiments to investigate which strategy from Table 21.3 is best (see [10] for details). In Experiment 1 (see Figure 21.1), we investigated how people would solve this problem, using the User as Wizard evaluation method [13]. Participants were given individual ratings identical to those in Table 21.1. These ratings were chosen to be able to distinguish between strategies. Participants were asked which items the group should watch, if there was time for one, two, .., seven items. We compared participants’ decisions and rationale with those of the aggregation strategies. We found that participants cared about fairness, and about preventing misery and starvation (”this one is for Mary, as she has had nothing she liked so far”). Participants’ behaviour reflected that of several of the strategies (e.g. the Average, Least Misery, and Average Without Misery were used), while other strategies (e.g. Borda count, Copeland rule) were clearly not used. In Experiment 2 (see Figure 21.2), participants were given item sequences chosen by the aggregation strategies as well as the individual ratings in Table 21.1. They rated how satisfied they thought the group members would be with those sequences, and explained their ratings. We found that the Multiplicative Strategy (which multiplies the individual ratings) performed best, in the sense that it was the only strategy for which all participants thought its sequence would keep all members of the group satisfied. Borda count, Average, Average without Misery and Most Pleasure also performed quite well. Several strategies (such as Copeland rule, Plurality voting, Least misery) could be discarded as they clearly were judged to result in misery for group members. We also compared the participants’ judgements with predictions by simple satisfaction modelling functions. Amongst other, we found that more accurate predictions resulted from using: • quadratic ratings, which e.g. makes the difference between a rating of 9 and 10 bigger than that between a rating of 5 and 6 • normalization, which takes into account that people rate in different ways, e.g., some always use the extremes of a scale, while others only use the middle of the scale. 21.4 Impact of Sequence OrderAs mentioned in Section 21.2, we are particularly interested in recommending a sequence of items. For example, for a personalised news program on TV, a recommender may select seven news items to be shown to the group. To select the items, it can use an aggregation strategy (such as the Multiplicative Strategy) to combine individual preferences, and then select the seven items with the highest group ratings. Once the items have been selected, the question arises in what order to show them in the news program. For example, it could show the items in descending order of group rating, starting with the highest rated item and ending with the lowest rated one. Or, it could mix up the items, showing them in a random order.However, the problem is actually far more complicated than that. Firstly, in responsive environments, the group membership changes continuously, so deciding on the next seven items to show based on the current members seems not a sensible

Being translated, please wait..

Results (Thai) 2:[Copy]

Copied!

21.3.3 ซึ่งกลยุทธ์การดำเนินการที่ดีที่สุดเราดำเนินการชุดของการทดลองเพื่อตรวจสอบซึ่งกลยุทธ์จากตารางที่ 21.3 จะดีที่สุด (ดู [10] สำหรับรายละเอียด). ในการทดลองที่ 1 (ดูรูปที่ 21.1) เราตรวจสอบว่าคนที่จะแก้ปัญหานี้โดยใช้ ผู้ใช้เป็นวิธีการประเมินผลตัวช่วยสร้าง [13] ผู้เข้าร่วมกิจกรรมจะได้รับการจัดอันดับบุคคลที่เหมือนกันกับผู้ที่อยู่ในตารางที่ 21.1 การจัดอันดับเหล่านี้ได้รับการแต่งตั้งเพื่อให้สามารถแยกแยะความแตกต่างระหว่างกลยุทธ์ เข้าร่วมถูกถามว่ากลุ่มรายการที่ควรจะดูถ้ามีเวลาสำหรับหนึ่งสอง .. เจ็ดรายการ เราเมื่อเทียบกับการตัดสินใจของผู้เข้าร่วมและเหตุผลกับบรรดากลยุทธ์การรวมตัว เราพบว่าผู้เข้าร่วมได้รับการดูแลเกี่ยวกับความเป็นธรรมและเกี่ยวกับการป้องกันความทุกข์ยากและความอดอยาก ("คนนี้เป็นแมรี่ขณะที่เธอได้มีอะไรที่เธอชอบเพื่อให้ห่างไกล") พฤติกรรมของผู้เข้าร่วมสะท้อนให้เห็นว่าหลายกลยุทธ์ (เช่นเฉลี่ยเดือดร้อนน้อยที่สุดและเฉลี่ยโดยไม่ต้องเดือดร้อนถูกนำมาใช้) ในขณะที่กลยุทธ์อื่น ๆ (เช่นนับ Borda กฎโคป) ได้รับอย่างชัดเจนไม่ได้ใช้. ในการทดลองที่ 2 (ดูรูปที่ 21.2) ผู้เข้าร่วมจะได้รับลำดับรายการที่เลือกโดยกลยุทธ์การรวมตัวเช่นเดียวกับการให้คะแนนของแต่ละบุคคลในตารางที่ 21.1 พวกเขาจัดอันดับว่ามีความพึงพอใจที่พวกเขาคิดว่าสมาชิกในกลุ่มจะมีลำดับเหล่านั้นและอธิบายการจัดอันดับของ เราพบว่ากลยุทธ์คูณ (ซึ่งคูณการจัดอันดับของแต่ละบุคคล) ดำเนินการที่ดีที่สุดในความรู้สึกว่ามันเป็นกลยุทธ์เฉพาะที่ผู้เข้าร่วมทุกคนคิดว่าลำดับของมันจะทำให้สมาชิกทุกคนในกลุ่มมีความพึงพอใจ Borda นับเฉลี่ยเฉลี่ยโดยไม่ต้องเดือดร้อนและความสุขส่วนใหญ่ยังดำเนินการได้ค่อนข้างดี หลายกลยุทธ์ (เช่นกฎโคปคะแนนโหวตความทุกข์ยากน้อย) จะถูกยกเลิกขณะที่พวกเขาถูกตัดสินอย่างชัดเจนที่จะส่งผลให้เกิดความทุกข์ยากให้กับสมาชิกกลุ่ม. นอกจากนี้เรายังเทียบคำตัดสินของผู้เข้าร่วมกับการคาดการณ์โดยฟังก์ชั่นการสร้างแบบจำลองความพึงพอใจที่เรียบง่าย ในหมู่อื่น ๆ ที่เราพบว่าการคาดการณ์ที่ถูกต้องมากขึ้นเป็นผลมาจากการใช้: •การจัดอันดับเป็นกำลังสองซึ่งเช่นทำให้ความแตกต่างระหว่างการจัดอันดับของ 9 และ 10 มีขนาดใหญ่กว่าว่าระหว่างการจัดอันดับของ 5 และ 6 •การฟื้นฟูซึ่งจะนำเข้าบัญชีที่ผู้คนในอัตรา วิธีการที่แตกต่างกันเช่นบางคนมักจะใช้ขั้วต่อขนาดในขณะที่คนอื่น ๆ จะใช้กลางขนาด. 21.4 ผลกระทบของการสั่งซื้อลำดับตามที่ระบุไว้ในมาตรา 21.2 เรามีความสนใจโดยเฉพาะอย่างยิ่งในการแนะนำลำดับของรายการ ตัวอย่างเช่นสำหรับรายการข่าวส่วนบุคคลในทีวี recommender อาจเลือกรายการข่าวเจ็ดที่จะแสดงให้เห็นว่ากลุ่ม เพื่อเลือกรายการที่จะสามารถใช้กลยุทธ์การรวมตัว (เช่นคูณกลยุทธ์) ที่จะรวมความชอบของแต่ละบุคคลแล้วเลือกเจ็ดรายการที่มีเรตติ้งที่สูงที่สุดในกลุ่ม เมื่อรายการที่ได้รับการคัดเลือกคำถามที่เกิดขึ้นในสิ่งที่เพื่อที่จะแสดงให้พวกเขาในรายการข่าว ยกตัวอย่างเช่นมันจะแสดงรายการในลำดับถัดลงคะแนนของกลุ่มที่เริ่มต้นด้วยรายการจัดอันดับที่สูงที่สุดและลงท้ายด้วยการจัดอันดับต่ำสุดหนึ่ง หรือมันอาจจะผสมขึ้นรายการที่แสดงให้เห็นพวกเขาในการสุ่ม. แต่ปัญหาที่เป็นจริงไกลซับซ้อนกว่านั้น ประการแรกในสภาพแวดล้อมที่ตอบสนองต่อการเปลี่ยนแปลงสมาชิกกลุ่มอย่างต่อเนื่องเพื่อที่จะตัดสินใจในอีกเจ็ดรายการที่จะแสดงขึ้นอยู่กับสมาชิกในปัจจุบันดูเหมือนจะไม่เหมาะสม

Being translated, please wait..

Results (Thai) 3:[Copy]

Copied!

21.3.3 ซึ่งกลยุทธ์มีประสิทธิภาพที่ดีที่สุด เราได้ดำเนินการชุดของการทดลองเพื่อศึกษากลยุทธ์ ซึ่งจากตารางและจะดีที่สุด ( ดู [ 10 ] สำหรับรายละเอียด )

ในการทดลองที่ 1 ( ดูรูป 21.1 ) เราพบว่าคนที่จะแก้ปัญหานี้ได้ โดยผู้ใช้เป็นวิธีการประเมินผลพ่อมด [ 13 ] ได้รับการจัดอันดับที่ผู้เข้าร่วมแต่ละที่โต๊ะเช่นกัน .การจัดอันดับเหล่านี้ถูกเลือกเพื่อให้สามารถแยกความแตกต่างระหว่างกลยุทธ์ ผู้ถูกถามซึ่งรายการกลุ่มควรดู ถ้ามีเวลา 1 , 2 , . . . , 7 รายการ เราเทียบกิจกรรมการตัดสินใจและเหตุผลกับบรรดาของการรวมกลยุทธ์ เราพบว่าผู้เข้าร่วมสนใจเรื่องความยุติธรรม และเกี่ยวกับการป้องกันความทุกข์ยากและความอดอยาก ( " อันนี้ของแมรี่เธอมีอะไรที่เธอชอบ จน " ) พฤติกรรมของผู้เข้าร่วมสะท้อนว่าหลายของกลยุทธ์ ( เช่นเฉลี่ยอย่างน้อยความทุกข์ และความทุกข์เฉลี่ยโดยไม่ใช้ ) ในขณะที่กลยุทธ์อื่น ๆ ( เช่นตระกูลนับ โคปแลนด์กฎ ) ก็ไม่ได้ใช้

ในการทดลองที่ 2 ( ดูรูป 21.2 )ผู้เข้าร่วมได้รับรายการลำดับเลือกโดยรวมกลยุทธ์เช่นเดียวกับเรตติ้งในแต่ละตารางขนาด . คะแนนพอใจวิธีที่พวกเขาคิดว่า สมาชิกกลุ่มจะต้องมีลำดับ และอธิบายการจัดอันดับ เราพบว่ากลยุทธ์ ( ซึ่งคูณคูณคะแนนรายบุคคล ) การปฏิบัติที่ดีที่สุดในความรู้สึกว่ามันเป็นกลยุทธ์เดียวที่เข้าร่วมทั้งหมดคิดว่าลำดับของมันจะให้สมาชิกทุกคนในกลุ่มที่พอใจ นับโดยเฉลี่ยส่วนใหญ่ไม่มีตระกูล ความทุกข์และความสุขยังแสดงได้ดีเลยทีเดียว กลยุทธ์ต่าง ๆ ( เช่น กฎ โคปแลนด์คะแนนโหวต ทุกข์น้อย ) อาจจะทิ้งพวกเขาอย่างชัดเจนถูกตัดสินผลในความทุกข์ยากสำหรับสมาชิกในกลุ่ม

เรายังเทียบกับการคาดการณ์ โดยการตัดสินใจเข้าร่วมการง่ายในการทำงาน ในหมู่อื่น ๆ เราพบว่า การคาดคะเน ถูกต้องมากขึ้น เป็นผลจากการใช้บริการ เช่น บริษัท : กำลังสองซึ่งทำให้ความแตกต่างระหว่างอันดับที่ 9 และ 10 ที่ใหญ่กว่านั้น ระหว่างอันดับ 5 และ 6 - การฟื้นฟู ซึ่งจะพิจารณาว่าคนเท่ากันในรูปแบบที่แตกต่างกันเช่นบางคนมักจะใช้ extremes ของมาตราส่วน , ขณะที่คนอื่นใช้แต่ตรงกลางของมาตราส่วน

รับผลกระทบของลำดับคำสั่ง
ดังกล่าวในส่วนลบ เราสนใจโดยเฉพาะอย่างยิ่งในเรื่องลำดับของรายการ ตัวอย่างเช่น บุคคล รายการข่าวทีวี , แนะนำอาจเลือกเจ็ดรายการข่าวที่จะแสดงให้กลุ่ม เพื่อเลือกรายการมันสามารถใช้กลยุทธ์การรวมกัน ( เช่นกลยุทธ์การคูณ ) เพื่อรวมการตั้งค่าของแต่ละบุคคลและจากนั้นเลือกเจ็ดรายการที่มีการจัดอันดับสูงสุดในกลุ่ม เมื่อรายการถูกเลือก คำถามที่เกิดขึ้นในสิ่งที่สั่งให้แสดงในรายการข่าว ตัวอย่างเช่นมันสามารถแสดงรายการตามลำดับของคะแนนกลุ่มเริ่มต้นด้วยรายการและจบด้วยอันดับสูงสุดต่ำสุดอันดับหนึ่ง หรือมันอาจผสมขึ้นรายการที่พวกเขาแสดงในลำดับแบบสุ่ม .

แต่ปัญหาจะซับซ้อนมากกว่านั้น ประการแรก ในสภาพแวดล้อมที่ตอบสนอง , สมาชิกกลุ่มการเปลี่ยนแปลงอย่างต่อเนื่อง ดังนั้นการตัดสินใจในอีกเจ็ดรายการที่แสดงโดยสมาชิกปัจจุบันดูเหมือนไม่สมเหตุสมผล

Being translated, please wait..

Other languages

The translation tool support: Afrikaans, Albanian, Amharic, Arabic, Armenian, Azerbaijani, Basque, Belarusian, Bengali, Bosnian, Bulgarian, Catalan, Cebuano, Chichewa, Chinese, Chinese Traditional, Corsican, Croatian, Czech, Danish, Detect language, Dutch, English, Esperanto, Estonian, Filipino, Finnish, French, Frisian, Galician, Georgian, German, Greek, Gujarati, Haitian Creole, Hausa, Hawaiian, Hebrew, Hindi, Hmong, Hungarian, Icelandic, Igbo, Indonesian, Irish, Italian, Japanese, Javanese, Kannada, Kazakh, Khmer, Kinyarwanda, Klingon, Korean, Kurdish (Kurmanji), Kyrgyz, Lao, Latin, Latvian, Lithuanian, Luxembourgish, Macedonian, Malagasy, Malay, Malayalam, Maltese, Maori, Marathi, Mongolian, Myanmar (Burmese), Nepali, Norwegian, Odia (Oriya), Pashto, Persian, Polish, Portuguese, Punjabi, Romanian, Russian, Samoan, Scots Gaelic, Serbian, Sesotho, Shona, Sindhi, Sinhala, Slovak, Slovenian, Somali, Spanish, Sundanese, Swahili, Swedish, Tajik, Tamil, Tatar, Telugu, Thai, Turkish, Turkmen, Ukrainian, Urdu, Uyghur, Uzbek, Vietnamese, Welsh, Xhosa, Yiddish, Yoruba, Zulu, Language translation.