eBay在人工智能道路上的成败得失:衡量标准是关键

以下内容改编自《现实世界的AI》一书。

 

我是2006年加入eBay的。2009年,这家公司的运营状况非常糟糕,其股价创历史新低(远低于近24美元的历史高位),还出现削减各项成本、负增长、市场占有率降低、技术团队缺乏创新能力等情况。

简而言之,eBay公司处境艰难。

转机在于公司对于技术的投资。尤其是,eBay公司开始利用技术、数据和人工智能推动业务发展。我有幸参与组建搜索科学团队,我们的团队是最早利用机器学习优化买家体验并帮助买家在eBay网站上更轻松搜索到心仪商品的少数几支团队之一。

我们着手构建一个能够提升客户体验和公司收益的人工智能模型,但首次尝试并不尽善尽美。部署人工智能的前景一片光明,但道路布满荆棘。无论是企业主、决策者、工程师还是数据科学家,了解AI模型可能无法按预期工作的原因很重要,因为这样才可以对模型进行修复,提高模型有效性。

 

构建首个模型

因为目标是创造收益,所以我们的团队在开始构建AI模型时,着眼于提升每次会话的购买量,即购买者在一次用户会话中购买的商品平均数量。

我们的AI模型关注销售率(即商品销售次数)而不是展示次数(即商品浏览次数),价格较低的商品的销售率要远远高于昂贵的商品,因此往往会出现在搜索结果页前列。

我们尝试了不同的机器学习模型,用于重新构建买家查询的模型,生成特征用于排序的模型,以及对最终搜索结果进行排序的模型,等等。接着,我们进行了一系列AB测试来评估模型结果,并取得了巨大成功。许多模型证明买家转化率有所增加。其他团队也因此备受鼓舞,开始努力提高每次会话的购买量。

一切看似美好。直至财务团队发现,AB测试虽然取得了成功,但事实上并没有转化为收益的增加。

 

有效模型不一定是盈利模型

我们一定在某些地方出了差错,需要尽快采取新的解决方案。在公司运营举步维艰的时候,我们却没有对公司的收益做出贡献。

在深入研究不同的搜索结果后,我们发现一个有趣的现象:我们通常将配件排在搜索结果页前列。例如,当买家搜索“iPhone”时,多款iPhone手机壳便会出现在搜索结果页前列。虽然这些配件在网站上很受欢迎,但并非是当前用户想要搜索的商品,这就造成我们所说的“配件污染”,从而导致糟糕的用户体验。

原来如此!我们得出了营业额下滑的原因:10美元手机壳的利润要远远少于300美元iPhone手机的利润。在应该推荐价格较高的手机时,

我们的模型却推荐了价格较低的配件。

我们构建的模型成功地按照预期运作,但方向却是错误的。

 

选择正确的衡量标准

很多时候,成功取决于衡量标准。

自构建模型以来,技术团队将不同目标统一为一个目标,即提高销售额。将提高销售额作为唯一目标,以客户为中心,是卖家和买家所共同希望的,也是我们最终想要实现的。

因此,经过多轮讨论后,我们开始通过每次会话的购买量来衡量成功。最初,我们的AI模型实现了预期目标,但却导致了糟糕的用户体验,也未能实现业务增长。我们需要构建不同的AI模型,找到新的解决方案。更重要的是,要确定衡量AI模型成功的新方法。显而易见,“每次会话购买量”这一标准导致我们的团队及AI模型偏离了正确轨道。

我们要引以为戒:衡量标准指引着AI模型的构建方向,要谨慎地做出正确的选择。

后来,我们将价格相关标准引入模型,解决了“配件污染”的问题。更重要的是,我们改变了衡量标准,从每次会话购买量变为每次会话商品交易总额(GMV)。在作出上述调整后,我们成功构建了一个有效且可盈利的模型。

 

人工智能工程浩大,但值得一试

自从我们的团队向整个公司展示了机器学习和数据的强大力量后,越来越多的团队开始利用人工智能来推动业务增长。最终,人工智能对公司收益产生巨大影响,并帮助公司实现了惊人转机。

截至2012年,eBay公司股价上涨了65%,在商业领域实现了约1750亿美元的盈利。该盈利额约占全球电子商务市场的19%,约占全球零售市场的2%。

如果eBay公司没有采用AI策略,其目前境况可能会大相径庭。如今,错失AI这一良机就意味着失去行业竞争优势。

部署AI可能让人感到不知所措且充满技术挑战,但请记住这是一个过程。首战告捷的几率并不高,但若您能从错误中吸取教训,并确定正确的衡量标准,便可以构建具有真正影响力的强大工具。

 

如需获得有关构建更有效、以业务为中心的AI的更多建议,可在亚马逊搜索《现实世界的AI》一书。

Alyssa Rochwerger是一位以客户为导向的产品负责人,致力于构建能够在现实世界为人们解决难题的产品。她一直致力于向市场推出能够对客户产生积极影响的产品。将产品从概念发展到高投资回报阶段,她的经验在初创企业和大型企业中都已得到证明。Alyssa曾在机器学习领域的企业中担任过多个产品领导者职务。她曾担任Figure Eight(已被澳鹏收购)的产品副总裁、澳鹏AI与数据副总裁以及IBM Watson的产品总监。最近,她离开这个领域,追求通过技术改善医疗行业的梦想。目前,她在加利福尼亚Blue Shield公司担任产品总监,潜心致力于应对大量有关数据的挑战、面对各种棘手的问题,把握和发现各种产生积极影响的机会。Alyssa很高兴能够承担为我们的家人和朋友提供高质量、低成本的医疗服务的使命。Alyssa在加利福尼亚州的旧金山出生和长大,拥有剑桥大学三一学院的美国研究学士学位。除了致力于研究数据和技术外,Alyssa还喜欢徒步、烹饪、与家人在小众餐馆享受美食。

Wilson Pang于2018年11月加入澳鹏担任首席技术官,全面负责公司的产品和技术工作。他在软件工程和数据科学领域拥有超过19年的经验。加入澳鹏之前,Wilson曾担任世界第二大在线旅行社中国携程旅行网的首席数据官。在此期间,他带领数据工程师、分析师、数据产品经理和科学家改善用户体验并提高运营效率。此前,Wilson还曾担任加州eBay公司技术部高级总监,负责多个领域的领导工作,包括数据服务和解决方案、搜索科学、营销技术和计费系统。加入eBay之前,他曾在IBM担任架构师,为各类企业客户构建技术解决方案。Wilson在中国的浙江大学获得电子工程学学士和硕士学位。

Language