引用
Lian Jian, Sha Yang, Sulin Ba, Li Lu, Li Crystal Jiang. "Managing the Crowds: The Effect of Prize Guarantees and In-Process Feedback on Participation in Crowdsourcing Contests." Management Information Systems Quarterly 43.1 (2019): 97-112.
摘要
眾包競賽是指組織通過將任務外包給互聯網上的一大群人來挖掘群眾智慧的競賽。在一個往往以匿名和缺乏信任為特徵的網絡環境中，此類競賽的參與者存在固有的不確定性。本研究以“贏者通吃”的眾包競賽為研究對象。在這些比賽中，參賽作品是按順序提交的，比賽主持人可以在收到作品後立即向公眾提供進程內的反饋。
本文研究如何使用獎金擔保(保證一個贏家將被挑選和付費),進程內反饋(對提交作品進行評分和在比賽中對提交作品進行文本評論)可以幫助減少選手所面臨的各種不確定性,從而吸引更多的提交。發現保證獲獎會增加提交的作品，過程中反饋的數量(包括作品評分和文本評論)對提交的數量有積極的影響，這種影響在沒有獎品保證的比賽中更大。此外，提供高度正面或極端負面的反饋會阻礙未來的整體提交，而高度正面反饋的負面影響會在有保證的競賽中得到緩解。
關鍵字：眾包競賽、反饋、獎品保障、不確定性、參與
介紹
雖然傳統上競賽是政府和大型組織的特權，但信息技術的進步降低了舉辦競賽的成本，這樣規模相對較小的競賽可以在眾包平臺上舉辦，只需點擊幾下鼠標。當競賽主辦方的知名度相對降低，匿名、缺乏信任和缺乏重複互動可能會限制眾包的成功程度。有時，眾包競賽的獎項，雖然一開始就明確宣佈了，但可能並不總是被授予。顯然，有一種觀點認為，一些競賽主辦方是搭便車者。
除了搭便車的競賽主辦方(主辦方行為的不確定性)，眾包競賽的參與者也面臨著任務的不確定性(獲得一套清晰的評估解決方案質量的標準是困難的)，同時，選手也面臨著競爭的不確定性(評估自己擊敗其他選手的可能性的困難)。本研究著重於這三個不確定性來源，並研究如何使用獎金擔保(保證一個贏家將被挑選和付費),進程內反饋(對提交的作品進行評分和在比賽中對提交作品進行文本評論)可以幫助減少選手所面臨的各種不確定性,從而吸引更多的提交。
研究假設
我們關注每一階段提交的參賽作品數量，這是我們衡量參賽人數的主要標準。由於每一次提交都需要花費時間和精力，因此也會使參與者面臨風險和不確定性，因此每一階段的提交量是對競賽主辦方的選擇的實時響應，包括競賽的靜態特性及其與參與者在競賽過程中的交互。之前的研究已經將提交的數量確定為眾包競賽的一個重要績效指標，因為它能夠有力地預測最佳解決方案的質量。
假設 1，有保證的比賽將比沒有保證的比賽收到更多的提交。
假設 2a，作品評分累積數量越多會導致更多的每一期提交。
假設 2b，文本評論的累積數量越多，每段時間提交的作品數量就越多。
假設 3a，負面的作品評分的累積數量越多，每段時間提交的作品數量就越少。
假設 3b，負面的文本評論的累積數量越高，每段時間提交的作品數量就越少。
假設 4a，高的作品評分的累積數量越多，每段時間提交的就越少。
假設 4b，高積極的文本評論的累積數量越多，每段時間提交的就越少。
假設 5a，在有保證的比賽中，作品評分量對吸引提交的積極影響要弱於無保證的比賽。
假設 5b，在有保證的比賽中，文本評論量對吸引提交的積極影響要弱於無保證的比賽。
假設 6a，在有保證的比賽中，負面作品評分的累積數量對吸引提交的負面影響比在無保證的比賽中要弱。
假設 6b，在有保證的比賽中，負面文本評論的累積數量對吸引提交的負面影響比在無保證的比賽中要弱。
假設 7a，在有保證的比賽中，高評分的參賽作品的累積數量對每一時段所吸引的參賽作品數量的負面影響比在無保證的比賽中要弱。
假設 7b，在有保證的比賽中，高積極評論的累積數量對每一階段提交作品數量的負面影響要比在無保證的比賽中弱。
研究環境和數據集
本文研究的網站成立於 2008 年，是一個領先的眾包平臺，專門從事標識和網頁等平面設計。競賽啟動前，競賽主辦方指定競賽任務、獎品金額、持續時間(一般為 7 天)、是否保證獎品，若保證獎金，將不可退還的全部獎金存入代管賬戶。在比賽中，主辦方與參賽者的互動主要有兩種方式。首先，主辦方可以對現有的提交進行評分（從 1 到 5），還可以將提交的內容標記為“已被淘汰”，從而對它們進行負面評價。第二，競賽主辦方可以發表公開的文字評論，而不是附在個人參賽作品上。
在網站的許可下，收集了 2011 年 6 月 23 日至 7 月 5 日期間發佈的所有標誌設計競賽的數據，共 1031 個競賽。322 個競賽(31%)得到獎金保證，剩下的 709 個競賽中有 242 個(34%)沒有支付。大部分的主辦方(75%)都是第一次擔任主辦方。對於每一項比賽，我們每隔 12 小時記錄一次參賽作品的數量、評分和評論。還記錄了靜態競賽的特點，即，獎品和保證。對於每個競賽的主辦方，我們記錄了他們舉辦和支付的競賽的次數，以及他們在過去對參賽作品進行評分的平均百分比。
模型簡介
實證分析包括兩個部分。首先,測試 H1(擔保的主要作用),採用橫截面模型估計擔保對此大賽收到的參賽作品總數的影響。由於競賽主持人在保證獎品的選擇上存在潛在的選擇偏差，我們採用以下五種方法來評估保證的使用效果:傾向評分匹配(PSM)、最近鄰匹配(NNM)、迴歸調整(RA)、反概率加權(IPW)、IPW 迴歸調整(IPWRA)。其次，為了檢驗進程內反饋的效果，採用面板分析法來預測因變量，即新一期的提交給特定競賽的作品數量，由於它是一個具有離散性的計數變量，採用負二項模型。模型 1 與模型 2 如圖 1 和圖 2 所示，各變量的含義如圖 3 所示，是一個固定效應的競賽級虛擬變量，用於說明比賽主持人和比賽的特殊性。
主要結論
1、進行保證的效果
使用擔保的效果的 logistic 迴歸結果報告結果顯示。估計係數是合理的，表明發獎率和獎金都具有顯著的正效應。在兩種匹配方法(PSM 和 NNM)中，比例為 1:1，處理和控制的四個協變量之間達到了很好的平衡。同時估計結果支持假設 1，而且對於那些有獎品保證的比賽，獎品保證本身平均增加了大約 50 個參賽者。
2、競賽中進行進程內反饋的效果
進程內反饋（假設 2-7）的最終評估結果見圖 4，除了假設 H6a 和 H6b 是不被支持的，其他假設均被支持。
3、魯棒性測試和備選模型說明
進行的第一個魯棒性測試是將累積的自變量替換為每個週期的度量，結果在質量上與上述研究的主要結果相似。還通過一個滯後的因變量，新的參與者，探討了口碑效應的可能性。為了解決由於包含滯後因變量而引入的自相關和內生性問題，我們使用了 Arellano-Bond 線性估計器和 log 轉換後的因變量。結果表明，我們的主要結果再次對這個替代模型規範具有魯棒性。
另外還探討了兩種可供選擇的模式。首先，我們進行了個體競爭者水平的分析，以驗證在比賽水平上獲得的結果。結果顯示我們的大多數主要結果是穩健的。第二，我們重新分析了我們的模型，將因變量替換為 t 時期新加入特定競賽的參賽者數量。結果再次表明，我們的主要結果再次在很大程度上對這種替代因變量是穩健的。
討論與啟示
本文研究了擔保和進程中反饋對參與眾包競賽的影響。我們發現，保證獲獎，從而消除了競賽主辦方的行為不確定性，有助於吸引更多的提交。進行進程內反饋，通過作品評分或文本評論的形式，增加了提交的數量。在沒有獎金保證的比賽中，這種效應要明顯得多。我們將這些結果解釋為，進程內的反饋可以減少任務不確定性和競賽主辦方的行為不確定性，並有助於吸引提交。
有趣的是，本文的發現表明，進程中反饋的內容也會影響參與。確定了高度正反饋的總體負面影響，最有可能的原因是參與者試圖避免競爭，此外，我們發現這種負面影響在有保證的比賽中較弱。本研究通過強調反饋內容對競賽參與的影響，為眾包競賽文獻做出貢獻。雖然之前的研究已經確定了高正反饋的負面影響，但本研究發現，它們的負面影響取決於獎金是否得到保證。同樣，反饋量的效果也因獎品的不同而不同。
在實際意義上，我們關於進程中反饋的數量和內容的研究結果表明，競賽主辦方需要與參與者保持定期的溝通。比賽主辦方在提供高度肯定或高度批評的反饋時也應該謹慎，特別是在他們的獎品沒有得到保證的情況下。建議眾包平臺與大賽主辦方再次確認何時會發送此類反饋。
本文研究有一些侷限性。首先，努力是不可觀察的，但在研究選手選擇下的不確定性時，可能是一個相關的變量。第二，提交和反饋的時間在網站上是不可用的，所以我們必須每 12 小時記錄一次，該測量方法的精度有待於進一步提高。此外，在未來的工作中，本文的研究結果還需要在其他具有不同類型任務的眾包平臺上進行驗證(例如，編程)，或表現出不同的 web 界面特性或社區特性。
致謝
本文由南京大學工程管理學院 2019 級碩士韓哲翻譯轉述。
感謝國家重點研發計劃（2018YFB1403400）和國家自然科學基金（71732003，61772014）支持！
閱讀更多 慕測科技 的文章
