眾包質(zhì)量控制算法及評價框架研究.pdf

1、眾包技術(shù)通過招募未知工作者群體，利用群體的智慧來解決機器難以解決的問題。雖然眾包近年來已經(jīng)得到了廣泛應(yīng)用，但是眾包解決問題時需要從未知工作者收集答案，使得質(zhì)量控制問題成為在線眾包平臺面臨的最大挑戰(zhàn)。平臺的工作者們可能缺乏必要的專業(yè)知識、存在偏見或者被惡意因素所驅(qū)使，因而會造成低質(zhì)量甚至完全錯誤的眾包結(jié)果。
　　為了解決這個問題，本文提出了一種兩階段基于工作者過濾和期望最大化的質(zhì)量控制算法。在第一階段，算法利用工作者應(yīng)答時間和答案沖

2、突作為反饋，對工作者進行評價并過濾惡意工作者。在第二階段，算法通過采樣算法設(shè)定初始值，并通過期望最大化算法，估計用戶質(zhì)量和任務(wù)的答案，得到高質(zhì)量的聚合答案。該算法解決了傳統(tǒng)算法中隱式反饋未得到有效利用、惡意工作者影響答案質(zhì)量以及期望最大化算法初始值設(shè)定等問題。
　　盡管相關(guān)研究已經(jīng)提出多種質(zhì)量控制算法，但研究中缺乏統(tǒng)一的評價標(biāo)準(zhǔn)和評價指標(biāo)。本文針對這個問題，提出了眾包質(zhì)量控制算法的通用評價框架，并提出了任務(wù)分配、惡意工作者比例、答