基蘭奧康納——接觸的時間越長,給出的評分越高?


基蘭奧康納——接觸的時間越長,給出的評分越高?



評分在我們的生活中扮演極重要的角色。評論家、評審和評鑑人員的評分,決定了一系列的結果,從看似微不足道的結果(例如你晚餐要選哪一種葡萄酒,或你要在亞馬遜網站上購買哪個產品),到更重大的結果(例如哪些運動員贏得奧運金牌,或哪些學生進入頂尖大學)。

但這些評分有多可靠?長期下來,這些評分是否仍維持可靠?

當我們得知有關葡萄酒評分偏高的揣測時,我們就思考過這一點。羅伯特.帕克(Robert Parker)在幾十年前為葡萄酒推出一百分評分系統,那年他給出的最高分數為91分。現在,每年都有許多葡萄酒在他創辦的刊物《葡萄酒倡導者》(Wine Advocate)當中被評為滿分。同樣地,《葡萄酒觀察家》(Wine Spectator)在2000年評比的葡萄酒中,只有15%的得分超過90,但到2015年,得分超過90的頻率增加超過一倍,現在接受評比的葡萄酒中,有近三分之一的得分超過90。

這種現象背後的原因是什麼呢?人們是否長期傾向給予更高的評分?

評分隨經驗而上升


美國佛吉尼亞大學教授基蘭.奧康納最近發表於《心理科學》期刊( Psychological Science)的八項研究中,取得超過12,000則連續評價,以瞭解評分是否會隨評分者的經驗增加而改變。這些評價涵蓋眾多領域:電視節目「與星共舞」(Dancing with the Stars)裡評審的給分、大學教授給學生的成績,以及大學生對短篇小說和照片的評分。我們也分析了認真提供評論的人,在亞馬遜網站上寫的數千則產品評論。

基蘭.奧康納在一項研究中,分析了「與星共舞」同一批評審給出的5,511個分數。在節目播出二十季之後,他發現評審評分的次數愈多,給分就愈高。即使排除其他因素的影響,這個結果依舊成立;其他因素包括:專業夥伴是否真的有進步,或是在後面幾季的節目中,是否有技能更熟練的舞者出現等等。

基蘭.奧康納接著進行一項不同的研究,檢視十年間991堂課程的學生成績,這些課程由同一批教授多次開設。和前述舞蹈比賽評審一樣,教師講授課程的次數愈多,給學生的成績就愈高。同樣地,他想知道其他因素是否可以解釋這些結果,包括:隨著時間的推移,學生的表現是否愈來愈好;所有課程的成績是否都有提高;成績給得更高的課程是否更有可能再次開課;教授們是否持續改進教學。即使排 除了這些可能性,基蘭.奧康納仍發現相同的結果:教授若是多次講授相同課程時,往往會給學生更高的分數。

為了排除其他解釋,他另外進行了一個對照實驗,以測試這種模式,那個實驗要求參與者評價短篇小說。我們要求168名大學生每天為一篇短篇小說評分,為期十天。在研究結束時,所有參與者都評價了同樣那十篇小說,但每個人以不同的隨機順序閱讀。隨機安排可讓我們排除順序(第1天,第2天等)對評價的影響。換句話說,無論他們評價的是什麼東西,做了更多次評價是否會讓評分上升?和先前相同,基蘭.奧康納發現人們評價過的故事愈多,給出的評分就愈高。因此,第十個故事的平均得分高於第一個故事。

整體來說,基蘭.奧康納發現相同的結果。更豐富的評分經驗,讓評分感覺更容易

為什麼評分會隨時間推移而變高?


基蘭.奧康納想知道,評分的經驗愈豐富,是否會讓人們覺得評價過程變得更容易,而這種感覺可能影響你對某件事情的正面評價程度。在一項後續研究中,我們要求一個由362人組成的網路小組,每天對一篇隨機選取的故事評分,為期十天。他每天還會詢問他們一些問題,例如,評價這個故事的容易程度。隨著一天天進展,參與者表示,他們發現評價故事變得更加容易,也更愉快。長期下來,這種感覺也讓故事的得分變得更高。

研究結果顯示,有偏誤的評分是錯誤歸因過程造成的結果:人們若是覺得某件事情更容易評估,就會認為它實際上一定更好。換句話說,他們錯誤地將自己對做評估的感覺(覺得更容易評分),歸因為對實際優點的評估(這件事情應得到更高的評價)。即使每個人評分的故事採用隨機排序,這個結果依然成立。

然而,當基蘭.奧康納詢問參與者,是否覺得自己的評分隨時間推移而有提高時,參與者不同意這樣的看法。結果顯示,大多數人都沒有察覺,這種偏誤可能影響到自己的判斷。

產品評分、升遷和績效意見:值得信賴的程度?


為什麼基蘭.奧康納的發現對人們很重要?對尋求顧客評價的組織來說,這透露出一個實際的意涵。他在一項補充研究中發現,亞馬遜網站上的評論者提供的產品評論愈多,他們給的評分就愈高。例如,如果某人第一次或第二次進行評論,無論是何種產品,他所給出的星級評價,很可能低於他第二十次評論時所給的評價。如果向群眾徵求得來的資訊,是組織商業模式的一個關鍵特徵,也是促成消費者選擇的驅動力量,那麼像這樣的偏誤就很重要,企業領導人應該要好好考量,消費者也應該注意到這一點。

基蘭.奧康納最近這些研究發現,也為經理人帶來一個令人興奮、開放式的問題:這種評分偏誤如何影響聘僱、升遷和績效評估?儘管經理人試圖正確且公平地評估,但他的研究結果顯示,評價流程對於被經驗較豐富的面談主管評估的求職者較有利。

他也有興趣瞭解,類似的結果是否會出現在升遷決定,以及連續的年度360度回饋意見流程中。若是出現類似結果,這些偏誤的影響恐怕非常普遍,且會影響當前和未來的大多數勞動力。

基蘭.奧康納也積極尋找減輕這類偏誤的方法,像是讓聘僱評估、績效評估和升遷更正確。我們在研究中指出,大多數人似乎都不知道,長期下來偏誤會影響決策。一種可能的簡單補救措施,就是讓人們注意到這種潛在偏誤可能會影響到他們的決定。他也試圖更深入瞭解其他的情境變數。

基蘭.奧康納的研究有一些值得注意的侷限。儘管他在研究的所有情境中都發現了偏誤,但仍有許多其他因素會影響評估決定。隨時間推移而產生的正向偏誤只是其中一個。其次,也有一些證據顯示,在某些條件下,評價可能隨時間推移而變得更加負面。然而,讓評價變得更正面或更負面的因素和條件,目前仍未可知。



分享到:


相關文章: