澳鹏助力伦敦政治经济学院LSE采用敏捷方法进行数据标注

澳鹏的人工智能辅助数据标注平台和全球众包资源帮助 LSE 的研究人员取代了依靠专业研究人员标注数据的传统方法,快速并同时减少偏见。
Kenneth Benoit
LSE 数据科学研究所所长

关于伦敦政治经济学院

伦敦政治经济学院 (LSE) 成立于 1895 年,长期以来在全球大学中处于社会科学领域的领导者。该大学的研究部门之一,数据科学研究所 (DSI) 致力于研究与社会、政治和经济问题有关的数据科学,开展的试验涵盖一系列人类问题,并常常涉及需要由人工进行标注的数据标注项目。  

挑战

方法论系的研究人员在肯尼斯·贝努瓦 (Kenneth Benoit) 的领导下着手研究与政治文本的内容和复杂程度有关的政治科学。在第一个项目中,他们的关注点是收集政治行为者发送给他人的消息内容,并基于此进一步预测政党的立场。他们发现,依靠专业研究人员查看这些消息非常耗时、昂贵,并且不具有扩展性。另外,仅使用某一领域的专家,提供的视角会比较单一,使数据更可能引入偏见,且可靠性较低。 团队需要更为敏捷、可重复的数据标注流程,以取代当前的方法。 在第二个项目中,研究人员着手确定可以衡量政治文本的复杂程度(或者说易读性)的指标。为此,他们需要大量各种规模的文本样例,并且需要众多人工标注员将文本进行比较。他们还希望使用多种语言重现该实验,这需要标注员精通所使用的语言。这又是一项挑战,因为要找到这些语言中每一种语言专家非常困难、昂贵且耗时。他们当时的合作伙伴能支持的语言有限,无法将这些政治文本翻译成他们所需的所有语言。他们也无法通过提供商获得该研究项目所需的报告,因此不得不自己计算有效性检查——这对于研究论文至关重要。  

解决方案

“通过澳鹏的报表分析,可以了解完成的时间、响应的情况和众包资源的可靠性得分。” ——LSE 数据科学研究所所长 Kenneth Benoit 2015 年的一次会议后,该研究小组聘请了我们(当时的名称为 CrowdFlower)。我们的平台具有所需的以下几项功能:
  • 包含重要验证指标(如置信度检查)的仪表板
  • 便于使用,可以快速完成任务设置
  • 可以不受限制地访问全球众包资源

在第一个项目中,标注员需要收听政治领袖的对话记录,并提出几个问题,例如这句话是关于移民吗?如果是,那么它对移民的态度是积极的、中性的还是消极的?使用统计模型汇总这些问题的答案,得出的总体得分表明政党在该政策上的立场。这些指标随后被用于输入其他模型,因此标注的准确性是关键。只要众包资源的准确性评分不低于 70%,他们就可以继续进行该项目。

在第二个项目中,我们的众包资源将对数万个简短的政治文本进行成对比较,回答“哪个文本更难于阅读和理解?”这一问题。然后,研究小组使用众包资源的对比结果拟合用于衡量文本复杂程度的统计模型。通过从文本中构建的 24 个量化指标(例如句子长度、单词音节数量、从句数量等),确定最能预测特定政治文章理解难度的指标。  

成果

这两个项目都是成功使用澳鹏的技术平台和全球众包资源的案例——以快速、低成本和可扩展的方式完成数据标注,同时保证数据质量。在第一个项目中,专家需要数周时间才能完成的标注任务,我们的众包资源只需四五个小时即可完成,并且由于视角多样而减少了有偏见的输出。实验结束时,标注员标注了六个政党的 2 万个句子,每个句子标注 5 至 20 次。借助澳鹏的数据平台,LSE 的研究人员还能用其他几种语言来重现研究,以进一步验证生成的数据。如需了解有关该研究的更多信息,可查阅他们的文章(发表在顶级政治学期刊《美国政治学评论》上)。 第二项试验发表在另一个顶级政治学期刊《美国政治学期刊》上。通过我们的众包资源开展该实验,伦敦政治经济学院的 LSE 方法论系研究团队得以收集海量数据来进行进一步分析。他们能够识别出最能预测政治文本易读性的前四个指标,然后用这些指标来建立机器学习模型,以预测任何给定政治文本的复杂程度。该模型可以更准确地比较和分析未来的政治言论。 了解更多如何使用澳鹏的数据标注功能扩展和增强您的 AI 计划和数据标注项目。 *展望未来,肯尼斯·贝努瓦 (Kenneth Benoit) 将继续领导类似的研究项目,不过是作为伦敦政治经济学院新近设立的研究部门——数据科学研究所 (DSI) 的所长。
Language