兴发娱乐官网

打击偏见,外部审计正成高风险AI决策的必需品

  猎云网昨天我要分享

  

[狩猎云网] 7月25日报道(编译:油人)

今天的人工智能系统在贷款,医疗诊断和假释方面的决策中发挥着重要作用。而且因为它们也是不透明的系统,所以它们容易产生偏差。在缺乏透明度的情况下,我们永远不会知道为什么一名41岁的白人男性和一名18岁的黑人女性犯下类似的罪行,并被人工智能软件评为“低风险”和“高风险”。

出于商业和技术原因,目前不会自动生成对大多数人工智能决策的高保真解释。这就是为什么我们应该促进负责高风险决策的AI系统的外部审计。大规模自动化审计可以系统地检测AI系统并检测偏差或其他不良行为模式。

最臭名昭着的黑匣子AI偏见的例子是美国司法系统中使用的软件,用于推荐量刑和罚款。 ProPublica对用于假释决策的最广泛使用的再犯算法之一的分析揭示了潜在的重大偏见和不准确性。在探索更多信息时,创建者拒绝共享其专有算法的细节。这种保密使被告难以在法庭上质疑这些决定。

事实上,媒体还报道了许多其他情况下的人工智能偏见,例如一个可怕的机器人,告诉亚洲人在通过护照时“睁开眼睛”;例如,面部识别系统不识别黑色皮肤和女性面部。太准确了;例如,人工智能招聘工具歧视妇女。

作为回应,监管机构试图通过所谓的“可解释的人工智能”来实施透明度。例如,在美国,拒绝个人贷款申请的贷方必须提供不利决策的“具体原因”。在欧盟,GDPR要求“解释”所有高风险自动化决策的权利。

不幸的是,解释AI的挑战是艰巨的。首先,解释可以揭示专有数据和商业秘密。解释在大数据集上训练的复杂非线性神经网络模型的行为也很困难。我们如何解释从数千个输入的加权非线性组合得出的结论,每个输入为整体判断提供微观的百分点?因此,我们通常在自动解释AI决策时权衡保真度和准确性。

例如,Netflix尝试根据您之前观看过的节目来解释其推荐算法。事实上,它的建议基于众多因素和复杂的算法。虽然Netflix建议背后的简化描述是无害的,但这种过度简化在高风险情况下可能是危险的。

即使是简单的预测模型也可能表现出违反直觉的行为。 AI模型容易受到称为辛普森悖论的一般现象的影响,其中行为是由潜在的未观察到的变量驱动的。在最近的一个案例中,研究人员发现哮喘病史可以降低患者肺炎死亡的风险。这种天真的解释可能会误导医疗保健从业者和哮喘患者。事实上,这一发现归功于那些有更多可能得到即时护理的哮喘病史者。

这不是一个孤立的事件,这些错误的结论不能用更多的数据轻易解决。虽然我们已尽最大努力,但人工智能的解释仍难以理解。

为了提高透明度,我们提倡可审计的人工智能,这是一种可以通过假设案例进行外部查询的人工智能系统。这些假设可以是合成的或真实的允许对模型进行自动,立即,细粒度的查询。这是一种监控AI系统偏见或漏洞迹象的简便方法:如果我们改变被告的性别怎么办?如果贷款申请人生活在历史上的少数族裔社区,会发生什么?

与可解释的AI相比,可审计AI具有多个优势。让中立的第三方调查这些问题比用算法控制的解释检查偏差更好。其次,这意味着软件的生产者不必暴露其专有系统和数据集的商业秘密。因此,人工智能审核可能面临较小的阻力。

审计是对解释的补充。事实上,审计可以帮助调查和验证(或无效)AI解释。例如,Netflix推荐《阴阳魔界》因为我看过《怪奇物语》。它还会推荐其他科幻小说恐怖节目吗?它是否向看过《怪奇物语》的人推荐《阴阳魔界》?

可审计人工智能的早期使用案例产生了积极影响。 ACLU最近透露,亚马逊的可审计面部识别算法几乎是错误识别的两倍。越来越多的证据表明,公共审计可以提高代表性不足群体模型的准确性。

在未来,我们可以设想一个强大的审计生态系统,提供人工智能的见解。我们甚至可以想象“AI Guardian”,一种基于审计的外部模型来构建AI系统。监管机构可以坚持认为,用于高风险决策的AI系统提供审计接口,而不是要求AI系统提供低保真度解释。

可审计的AI不是灵丹妙药。如果AI系统正在进行癌症诊断,患者仍需要准确且易于理解的解释,而不仅仅是审核。这些解释是正在进行的研究课题,预计在不久的将来可以用于商业用途。但与此同时,可审计的人工智能可以提高透明度并消除偏见。

收集报告投诉

[狩猎云网] 7月25日报道(编译:油人)

今天的人工智能系统在贷款,医疗诊断和假释方面的决策中发挥着重要作用。而且因为它们也是不透明的系统,所以它们容易产生偏差。在缺乏透明度的情况下,我们永远不会知道为什么一名41岁的白人男性和一名18岁的黑人女性犯下类似的罪行,并被人工智能软件评为“低风险”和“高风险”。

出于商业和技术原因,目前不会自动生成对大多数人工智能决策的高保真解释。这就是为什么我们应该促进负责高风险决策的AI系统的外部审计。大规模自动化审计可以系统地检测AI系统并检测偏差或其他不良行为模式。

最臭名昭着的黑匣子AI偏见的例子是美国司法系统中使用的软件,用于推荐量刑和罚款。 ProPublica对用于假释决策的最广泛使用的再犯算法之一的分析揭示了潜在的重大偏见和不准确性。在探索更多信息时,创建者拒绝共享其专有算法的细节。这种保密使被告难以在法庭上质疑这些决定。

事实上,媒体还报道了许多其他情况下的人工智能偏见,例如一个可怕的机器人,告诉亚洲人在通过护照时“睁开眼睛”;例如,面部识别系统不识别黑色皮肤和女性面部。太准确了;例如,人工智能招聘工具歧视妇女。

作为回应,监管机构试图通过所谓的“可解释的人工智能”来实施透明度。例如,在美国,拒绝个人贷款申请的贷方必须提供不利决策的“具体原因”。在欧盟,GDPR要求“解释”所有高风险自动化决策的权利。

不幸的是,解释AI的挑战是艰巨的。首先,解释可以揭示专有数据和商业秘密。解释在大数据集上训练的复杂非线性神经网络模型的行为也很困难。我们如何解释从数千个输入的加权非线性组合得出的结论,每个输入为整体判断提供微观的百分点?因此,我们通常在自动解释AI决策时权衡保真度和准确性。

例如,Netflix尝试根据您之前观看过的节目来解释其推荐算法。事实上,它的建议基于众多因素和复杂的算法。虽然Netflix建议背后的简化描述是无害的,但这种过度简化在高风险情况下可能是危险的。

即使是简单的预测模型也可能表现出违反直觉的行为。 AI模型容易受到称为辛普森悖论的一般现象的影响,其中行为是由潜在的未观察到的变量驱动的。在最近的一个案例中,研究人员发现哮喘病史可以降低患者肺炎死亡的风险。这种天真的解释可能会误导医疗保健从业者和哮喘患者。事实上,这一发现归功于那些有更多可能得到即时护理的哮喘病史者。

这不是一个孤立的事件,这些错误的结论不能用更多的数据轻易解决。虽然我们已尽最大努力,但人工智能的解释仍难以理解。

为了提高透明度,我们提倡可审计的人工智能,这是一种可以通过假设案例进行外部查询的人工智能系统。这些假设可以是合成的或真实的允许对模型进行自动,立即,细粒度的查询。这是一种监控AI系统偏见或漏洞迹象的简便方法:如果我们改变被告的性别怎么办?如果贷款申请人生活在历史上的少数族裔社区,会发生什么?

与可解释的AI相比,可审计AI具有多个优势。让中立的第三方调查这些问题比用算法控制的解释检查偏差更好。其次,这意味着软件的生产者不必暴露其专有系统和数据集的商业秘密。因此,人工智能审核可能面临较小的阻力。

审计是对解释的补充。事实上,审计可以帮助调查和验证(或无效)AI解释。例如,Netflix推荐《阴阳魔界》因为我看过《怪奇物语》。它还会推荐其他科幻小说恐怖节目吗?它是否向看过《怪奇物语》的人推荐《阴阳魔界》?

可审计人工智能的早期使用案例产生了积极影响。 ACLU最近透露,亚马逊的可审计面部识别算法几乎是错误识别的两倍。越来越多的证据表明,公共审计可以提高代表性不足群体模型的准确性。

在未来,我们可以设想一个强大的审计生态系统,提供人工智能的见解。我们甚至可以想象“AI Guardian”,一种基于审计的外部模型来构建AI系统。监管机构可以坚持认为,用于高风险决策的AI系统提供审计接口,而不是要求AI系统提供低保真度解释。

可审计的AI不是灵丹妙药。如果AI系统正在进行癌症诊断,患者仍需要准确且易于理解的解释,而不仅仅是审核。这些解释是正在进行的研究课题,预计在不久的将来可以用于商业用途。但与此同时,可审计的人工智能可以提高透明度并消除偏见。