引用
Ho Cheung Brian Lee, Sulin Ba, Xinxin Li, Jan Stallaert. "Salience bias in crowdsourcing contests." Information Systems Research 29.2 (2018): 401-418.
摘要
眾包依賴於在線平臺來連接用戶社區並執行特定的任務。然而，如果沒有適當的控制，在線社區用戶的行為可能會偏離平臺的設計目標，這可能導致平臺績效水平低下。因此，本文研究了眾包平臺上的反饋信息和目標偏離的用戶行為如何影響眾包平臺的績效，以及眾包平臺是否能夠避免個體偏差，即顯著性偏差。具體來說，本文使用來自 Kaggle 平臺(一個預測建模的眾包競賽平臺)的檔案數據集，結合對 Kaggle 平臺中參賽者進行的調查結果，運用行為經濟學和社會學的理論，分析了比賽過程中反饋信息可能導致的顯著性偏差，主要解決了以下三個問題：(1)顯著性偏差是否影響了參賽者在眾包平臺上的表現和比賽結果?(2)眾包文獻表明，競爭效應可能會放大顯著性偏差對競賽結果的影響，而平行路徑效應可能會降低顯著性偏差的影響。那麼，哪種效應產生顯著性偏差對比賽結果的影響更大，淨效應是什麼?(3)是否有其他因素可以緩解眾包平臺的顯著性偏見?研究結果表明，顯著性偏差會影響參賽者的表現，包括比賽的獲勝者。此外，參賽選手的數量可能會減弱或放大比賽結果的真實性偏差，這取決於完成任務所需的努力程度。
關鍵詞:行為經濟學 眾包 開放創新 顯著性偏差 平行路徑效應 競爭效應
介紹
由於眾包平臺對網絡用戶的開放性和靈活性，通過眾包平臺舉辦在線公開競賽，眾包競賽被許多公司和政府機構，如通用電氣、美國宇航局和寶潔公司，用作產生創意和解決問題的手段，作為其研發過程的一部分。但是，如果平臺所有者沒有有效管理好競賽工人，這種靈活性可能會導致工人行為偏離平臺的目標。心理學家們已經表明，人們往往對那些可以輕易獲得或突出的信息過於自信。換句話說，人們傾向於依賴向他們明確顯示的信息，而不是更含蓄的信息，我們把這種偏見稱為顯著性偏差。在眾包平臺上，參加眾包比賽的參賽選手會收到不同的信息來源，有些信息來源可能比其他的更突出。例如，一些眾包平臺為選手提供進展反饋，這通常比選手擁有的其他信息更突出，比如他們自己對解決方案的評估或其他重要信息，但這種類型的反饋可能並不完全符合參賽者的目標，儘管它是客觀衡量的（比如為了改進預測模型，平臺利用部分數據對用戶提出模型的性能進行反饋，可能導致用戶過度擬合，最終導致預測性能下降）。這種系統性偏差會影響到平臺上每個用戶的績效，從而不利於眾包平臺的運作。目前尚不清楚在這種情況下眾包平臺會受到怎樣的影響，以及它們是否仍能有效地運作。本文運用行為經濟學和社會學的理論，以 Kaggle 平臺為研究背景，分析了比賽過程中反饋信息（公共分數和私人分數，如圖 1 和圖 2 所示）可能導致的顯著性偏差，並提出相應的假設。
圖 1 參賽選手公共分數排行榜（訓練階段）
圖 2 參賽選手私人分數排行榜（提交階段）
假設 1：由於存在顯著性偏差，公共分數要比私人分數要高，而且分數差異會隨著參賽選手在學習階段得到更多的反饋信息而增加。
假設 2：由於顯著性偏差，在提交階段，公共分數高的解決方案比私有分數高的解決方案更有可能被選為最終解決方案
因為顯著性偏見可能會系統地影響到每一個參賽者，包括最終獲勝的人，所以完全消除顯著性偏見的負面影響不一定能夠實現。因此，我們進一步提出假設 1 和假設 2 是否也適用於獲勝者，即顯著性偏見是否也影響獲勝者。由此得到
假設 3：在學習和提交階段，眾包競賽的獲勝者都存在明顯的偏見。
平行路徑效應(Parallel Path Effect)和競爭效應（Competition Effect）對眾包績效有顯著影響，我們探究平行路徑效應和競爭效應如何調節顯著性偏差對獲勝者的影響。由於預測建模問題是典型的高不確定性問題，並且可以受益於擁有多樣化的勞動力來尋找解決方案的最佳方法或路徑，所以會產生整體努力動機減少效應，在眾包文獻中，這也被稱為平行路徑效應，即隨著參賽選手的增多，在以平行路徑效應為主導時，更有可能得到一個較少受到顯著性偏差影響的高水平選手作為獲勝者。
假設 4A(平行路徑效應占主導)：在學習階段，隨著參賽人數的增加，顯著性偏見對獲勝方案的影響減小。
但另一方面，當高水平的選手面對更多的競爭對手時，他們會更加努力，以確保獲勝的機會，這種現象被稱為競爭效應。在眾包競賽中，更多參賽者的參與會激發高能力的參賽者發揮更大的努力來改善和評估他們的解決方案(例如，根據公眾評分或他們的內部評估)。然而，在存在顯著性偏差時，這些參賽者更有可能為更高的公共分數而付出努力（假設 1）. 因此，比起競爭力小的比賽，在競爭力大的競賽中獲勝者可能會有更強烈的偏見。
假設 4B(競爭效應占主導)：在學習階段，隨著參賽人數的增加，顯著性偏見對獲勝解決方案的影響被進一步放大。
在預測建模競賽中有兩個主要任務:創建新解決方案和評估現有解決方案。在學習階段，工人已經努力改進和評估他們的解決方案。因此，在提交階段，與學習階段所需的努力相比，參賽者在選擇解決方案時所付出的努力要少得多。因此，平行路徑效應應該在提交階段主導。因此，我們提出以下假設:
假設 5：在提交階段，隨著參賽人數的增加，顯著性偏見對獲勝者方案的影響減弱。
儘管對 Kaggle 平臺上工人的調查結果表明，工人可以認識到在競賽中提供的反饋信息的侷限性，並且有能力反覆檢查所提供信息的有用性，但我們的研究結果證明參賽者的顯著性偏差仍然存在，對眾包結果有實質性的影響。此外，進一步證明了當競爭效應占優勢時，顯著性偏差的影響被放大，而平行路徑效應占優勢時，顯著性偏差的影響被減弱。然而，我們的結果表明，無論平行路徑效應是否佔優勢，在競賽獲勝者中，顯著性偏差仍然持續存在。我們還研究了與顯著性偏差影響相關的兩個參數:選手經驗和比賽獎勵大小，我們的研究結果表明，經驗越豐富的用戶越不可能表現出顯著性偏見，而過度激勵會導致較差的眾包績效，這些結論可以幫助平臺所有者和公司設計更高效的機制，並得到高質量的眾包產出。
模型
本文基於兩個基礎模型（學習階段模型和提交階段模型）來解決所提出的假設，主要變量的定義見表 1。
數據與實證分析
在這項研究中，我們使用 Kaggle 平臺的檔案數據集，包含 2015 年 9 月 1 日前完成的 239 場比賽信息，對數據進行預處理（競賽需實施公共分數排行榜，競賽是關於模型預測，競賽的獎勵保持一致性等），最終，我們的樣本包括 44,827 支隊伍，總共 258 個獲勝者，總的來說，在解決方案層面上包含了 695622 個觀察值。主要變量的描述性統計見表 2.
表 2 主要變量的描述性統計
然後，我們為參賽選手存在顯著性偏差的模型假設提供了一些非模態證據，1）通過 Wilcoxon 符號秩次檢驗，測試結果顯示，所有解決方案，包括獲獎者上傳的解決方案，在 1%的顯著性水平下，公共得分在統計上都大於私人得分。2）我們根據反饋分數數量的多少，將解決方案分成 50 個大小相等的組，探討分數差異與反饋分數數量之間的關係，結果表明，隨著接收到的反饋信息的增多，分數差距也會增大。3）我們考察了公共分數排名和私人分數排名是否一致，即在公共排行榜上排名較好的解決方案在私人排行榜上的排名是否也較好，測試結果顯示（如圖 3），隨著公眾分數排名的提高，公眾排行榜排名對最終排名的代表性也降低了。
圖 3 公共分數排名和私人分數排名相關性
接著，我們展示了來自 Kaggle 數據的實證結果（如圖 4，圖 5），並基於 Kaggle 參賽者的調查結果討論了顯著性偏差的識別問題，即排除其他因素的影響；最後，因為提交答案的數量和分數的差異都可能受到未觀察到的個體特徵的影響，我們進行了魯棒性測試，測試結果與我們的主要結果一致。
圖 4 學習階段模型迴歸結果 圖 5 提交階段模型迴歸結果
結論
具體來說，本文首次研究瞭如何在眾包平臺上消除或減弱顯著性偏差的負面影響，闡明瞭個人偏差如何改變眾包競賽的結果。企業和平臺所有者應該意識到由於系統性偏差而產生較差結果的可能性。一個可行的補救辦法是為參賽者提供培訓，以提高他們對這種行為異常的認識。另外，競賽的組織者應該意識到過度激勵參賽者的負面影響，因為如果選手的目標受到系統性偏差的影響，競爭效應實際上可能對整體結果有害。因此，我們的發現可以應用於其他舉辦預測建模競賽的平臺。雖然我們的結果可能不會直接適用於其他沒有類似公眾評分功能的眾包網站，但我們的研究結果表明，對於平臺和競賽的組織者來說，意識到正在進行的反饋可能會導致潛在的認知偏差是很重要的，特別是當這種反饋與競賽的目標並不完全一致的時候。
致謝
本文由南京大學工程管理學院 2019 級碩士高尚翻譯轉述。
感謝國家重點研發計劃（2018YFB1403400）和國家自然科學基金（71732003，61772014）支持！
閱讀更多 慕測科技 的文章
