关于伦敦政治经济学院
伦敦政治经济学院 (LSE) 成立于 1895 年,长期以来在全球大学中处于社会科学领域的领导者。该大学的研究部门之一,数据科学研究所 (DSI) 致力于研究与社会、政治和经济问题有关的数据科学,开展的试验涵盖一系列人类问题,并常常涉及需要由人工进行标注的数据标注项目。挑战
方法论系的研究人员在肯尼斯·贝努瓦 (Kenneth Benoit) 的领导下着手研究与政治文本的内容和复杂程度有关的政治科学。在第一个项目中,他们的关注点是收集政治行为者发送给他人的消息内容,并基于此进一步预测政党的立场。他们发现,依靠专业研究人员查看这些消息非常耗时、昂贵,并且不具有扩展性。另外,仅使用某一领域的专家,提供的视角会比较单一,使数据更可能引入偏见,且可靠性较低。 团队需要更为敏捷、可重复的数据标注流程,以取代当前的方法。 在第二个项目中,研究人员着手确定可以衡量政治文本的复杂程度(或者说易读性)的指标。为此,他们需要大量各种规模的文本样例,并且需要众多人工标注员将文本进行比较。他们还希望使用多种语言重现该实验,这需要标注员精通所使用的语言。这又是一项挑战,因为要找到这些语言中每一种语言专家非常困难、昂贵且耗时。他们当时的合作伙伴能支持的语言有限,无法将这些政治文本翻译成他们所需的所有语言。他们也无法通过提供商获得该研究项目所需的报告,因此不得不自己计算有效性检查——这对于研究论文至关重要。解决方案
“通过澳鹏的报表分析,可以了解完成的时间、响应的情况和众包资源的可靠性得分。” ——LSE 数据科学研究所所长 Kenneth Benoit 2015 年的一次会议后,该研究小组聘请了我们(当时的名称为 CrowdFlower)。我们的平台具有所需的以下几项功能:- 包含重要验证指标(如置信度检查)的仪表板
- 便于使用,可以快速完成任务设置
- 可以不受限制地访问全球众包资源
在第一个项目中,标注员需要收听政治领袖的对话记录,并提出几个问题,例如“这句话是关于移民吗?如果是,那么它对移民的态度是积极的、中性的还是消极的?”使用统计模型汇总这些问题的答案,得出的总体得分表明政党在该政策上的立场。这些指标随后被用于输入其他模型,因此标注的准确性是关键。只要众包资源的准确性评分不低于 70%,他们就可以继续进行该项目。
在第二个项目中,我们的众包资源将对数万个简短的政治文本进行成对比较,回答“哪个文本更难于阅读和理解?”这一问题。然后,研究小组使用众包资源的对比结果拟合用于衡量文本复杂程度的统计模型。通过从文本中构建的 24 个量化指标(例如句子长度、单词音节数量、从句数量等),确定最能预测特定政治文章理解难度的指标。