原文始发于微信公众号（瑞中法协）：歧视：不仅仅是人类专属

  大流行将使我们对人工智能（AI）决策的好处有了新的认识。全世界的人们都在承认，这项技术每天都在他们不知情的情况下使用。但是他们也意识到，实施该计划已成为公共利益的必要条件。

因此，政府和企业已经部署了不同类型的AI来对抗这种流行病。他们改善了诊断或开发了治疗方法。但是，如果由于AI预测模型将某人标记为潜在感染源而导致某人被禁止公共交通工具怎么办？如果某人因Covid-19感染而被拒绝健康保险或抵押贷款怎么办？人工智能获得的结果足以证明限制个人自由吗？

从法律角度来看，当AI技术参与决策时，“歧视”或“客观”等概念将受到挑战。人工智能辅助的决策基于算法或数学。可以说，这给了他们一定程度的客观性。但是他们的结果仍然可能是歧视性的。

什么是人工智能决策？

牛津英语词典将人工智能定义为“能够执行通常需要人类智力的任务的计算机系统的理论发展，例如视觉感知，语音识别，决策和语言之间的翻译”。

人工智能使用算法来分类，分析，创建配置文件或做出预测，以执行通常需要人类智能的任务。这包括选择雇员或学生，做广告，评估保险风险，进行图像搜索分析以及防止大流行的蔓延。

反过来，荷兰拉德布德大学计算与信息科学研究所法学教授Frederik Zuiderveen Borgesius则将算法描述为“记录在案的一系列步骤，这些步骤导致了某些数据的转换”。他称它们为“计算过程的抽象形式化描述”。它们是指导逐步制定决策过程以获取特定结果或解决方案的指令。

因此，AI和算法是紧密相关的概念。算法是内部编码的指令，允许AI工作并实现其目的。

由于算法和AI可以轻松，准确地组织大量数据，因此该技术可以改善任何政府，组织或个人的决策过程。实际上，任何涉及人与人工智能系统结合的社会，经济或政治决策都可以被视为部分或完全自动化。

算法的本质

但是，这些算法是否完全没有偏见和歧视？我们真的可以依靠算法或AI做出客观决策吗？他们不仅是用逻辑和数学处理数据的机器吗？

事实是，世界各地的许多案例已经证明算法和AI并非中立的，并且没有偏见和歧视。已经有一些算法将某些人识别为“大猩猩”。其他人则表现出比男人更好的薪水工作，甚至比女人甚至在工作申请中都丢弃妇女的简历。在另一种情况下，居住在危险地区的人们无法支付快递服务费用。这些只是由于性别或表型而被不同对待的人的几个例子。

如果社会希望依靠这项技术来改善决策过程，则必须理解这些偏见如何转移到算法和AI或由算法和AI采用。

算法和AI区分

用巴塞罗那人工智慧CSIC研究研究所所长拉蒙•洛佩斯•德曼塔拉斯（RamónLópezdeMántaras）的话说：“如果您从中学到的数据有偏见（有意或无意），该算法将决定有偏见”。

算法只是计算机过程的指令。它作为输入接收的数据可能会复制甚至放大人的偏见或偏见。因此，人工智能可以使歧视性数据分析过程和进一步的预测永存，这可能会使社会上各种现有的陈规定型观念恶化。

如果是这样，如果仔细而正确地进行数据收集过程，是否可以减少或减轻通过全自动或部分自动决策过程进行歧视的风险？

麻省理工学院技术评论作家凯伦•郝（Karen Hao）等专家表示，这还不够。如果对算法进行编程以“不正确”或“有偏”的方式分析数据，则算法本身可能会导致偏见。郝认为，“歧视的历史模式”已经由AI设计师讨论，因为这项技术可以学习像人类一样思考的方式。这包括模仿我们的偏见或成见。

另一方面，我们应该考虑到目前还没有任何人工智能系统具有自己的意图。因此，在部分或全自动决策过程中做出的任何导致偏见的偏见都归因于估算数据或处理程序中的偏见。无论哪种方式，意图或恶意都必须与程序员或AI系统所有者相关。

考虑到这一点，在评估AI系统或算法时，必须从法律角度分析其决策以识别歧视案例。

我们如何保护自己免受AI驱动的歧视？

众所周知，全世界许多条约和宪法都禁止歧视。但这是否足以在AI系统做出决策时保护和确保平等待遇？

联合国《世界人权宣言》第7条规定：

“所有人在法律面前一律平等，并有权不受任何歧视地享有法律的平等保护。人人有权享受平等的保护，免受违反本《宣言》的任何歧视和煽动这种歧视的侵害。”

因此，所有人均无权因AI驱动的歧视性系统或算法而遭受任何侵犯其人权的行为。但是，这取决于各国法律或法规的效率。有许多方法可以实现非歧视性自动算法或AI增强的决策过程。

一方面，在欧洲联盟，《欧洲人权公约》（EHRC）第14条禁止歧视，说：

“应保障本公约规定的权利和自由，不受任何歧视，例如性别，种族，肤色，语言，宗教，政治或其他见解，民族或社会出身，与少数民族有联系，财产，出生或其他身份”。

此外，EHRC区分直接歧视和间接歧视。直接歧视针对的是具有特定特征的人，例如禁止某种宗教信仰的人。如果歧视是由于表面上中立的做法而发生的，例如针对所有头饰的法规，默认情况下会阻止虔诚的宗教人士申请工作，那么这可能被认为是间接的。

两种类型的区分都可能由算法或AI驱动的系统引起，尤其是间接类型。通过看似中立的标准，实践或选择，算法和AI系统可能会无意中损害特定表型，文化或性别的特定人群。关于最近的一个案例，请参见欧洲人权法院ECtHR案，Biao诉丹麦（大审判庭），38590年10月24日第2016/91号，第92和XNUMX段。

因此，当前的欧洲法规要求对基于算法或AI系统的一般政策，措施或实践进行分析，并在使用前予以批准，因为尚不清楚它们是否违反了歧视禁令。

美国方式

另一方面，考虑到欧洲监管的重点不是目的，而是是否在没有客观或合理理由的情况下做出歧视性决定，缺乏对“黑匣子”监管的问题将很重要。“黑匣子”是指AI系统的内部编程。这些程序通常由IT公司保密，但是需要透明化，以使法官能够分析如何做出潜在的歧视性决定。

拉丁美洲，阿根廷，玻利维亚，智利，厄瓜多尔，墨西哥，秘鲁和乌拉圭等拉美国家也会发生与欧盟类似的情况。他们的大多数宪法和法规都要求平等的权利，禁止歧视。但是有必要发现不平等待遇是“任意”还是“不合理”，以发现决定或行为是否具有歧视性。因此，在该地区，如何使AI系统的黑匣子过程透明以证明算法辅助的行为或决策的问题将很重要。因此，如何防止处理有偏见的数据的问题也将随之而来。

最后，在美国找到了另一种有趣的方法，《巴伦法律词典》中的“歧视”定义为：

“对处境相似的当事方的不平等待遇。联邦法律禁止在就业，住房，教育，投票权和使用公共设施等方面歧视种族，性别，国籍，宗教和年龄。此外，各州或任何政府机构不得采取任何导致基于种族，性别，国籍，宗教或年龄的歧视的行为。”

根据这一定义，应重视可能参与歧视的任何行动。从这个意义上讲，如果任何州或政府机构参与或使用具有歧视性的人工智能驱动技术，即使它不会导致不平等待遇，也是非法的。但是，如果任何私有组织使用AI驱动的技术，则仅在结果是歧视的情况下才会发生非法行为。

总结

由算法或AI系统辅助的部分或全自动决策过程可能导致甚至放大，偏见和歧视。决策中越来越多地使用这种技术将挑战世界各地的法规。

必须讨论和改进诸如偏差数据处理，黑匣子透明性，故意歧视性程序或监督算法或AI技术的策略和措施等主题。尤其如此，因为紧急情况（例如世界范围的大流行）推动了越来越智能，准确和更快的技术的使用。

但是，目前，使用该技术简化其决策流程的机构不得不设计措施以提供透明的算法运行方式或合理证明结果的合理性。