算法偏见侦探

对于某些人来说，ProPublica 的案例凸显了这样一个事实，即许多机构缺乏资源来寻求并正确评估算法工具。芝加哥大学的数据科学与公共政策中心的主任Rayid Ghani 表示：「如果有的话，这样的情况告诉我们的是：雇佣Northpointe 的政府机构没有给出明确的衡量算法公平性的定义。我认为，各国政府需要学习并接受培训，学习如何寻求这些系统，如何定义算法应该被衡量的指标，以及如何确保供应商、咨询师和研究人员提供的系统实际上是公平的」。

Allegheny 郡的经验表明要解决这些问题是多么困难。Chouldchova 受邀在2017 年初开始研究Allegheny 的数据，她发现这个工具也存在类似统计上的失衡现象。她说，该模型有一些「非常不理想的特性」。在不同的种族之间的错误率的差异远远高于预期。而且，由于尚不清楚的原因，被认为受虐待风险最高的白人儿童被从家中带走的可能性小于被认为受虐待风险最高的黑人儿童。Allegheny 和Vaithianathan 的团队目前正在考虑转而使用另一种模型。「这可能有助于减少不公正的现象」，Chouldchova 说。

尽管统计失衡是一个有待解决的问题，但算法中潜藏着更深层次的不公平性（它们可能会加剧社会的不公正现象）。例如，像COMPAS 这样的算法可能原本是旨在预测未来犯罪活动的可能性，但它只能依赖于可测量的模式：例如被逮捕。警务实践的差异可能意味着一些社会团体成为被逮捕几率更高的目标，他们可能因为会在其他社会团体中被忽视的罪行而被捕。David Robinson是Upturn 的执行董事（Upturn 是一个位于华盛顿特区的非营利性社会司法组织），他说：「即使我们准确地预测了一些案件，但我们在准确地预测案件的同时可能也对一些人群采取了不公正的对待」。这在很大程度上将取决于法官在多大程度上依赖此类算法来做出裁决，而我们对此知之甚少。

新泽西州卡姆登市的警察使用自动化工具来帮助确定哪些地区需要巡逻。

Allegheny 的工具也受到了类似的批评。作家、政治学家Virginia Eubanks 认为，不管这个算法是否准确，它都是基于有偏见的输入工作的，因为黑人和混血家庭更有可能被热线电话所提到。此外，由于该模型依赖于Allegheny 体系中的公共服务信息，而且使用此类服务的家庭普遍贫穷，该算法会对较贫穷家庭进行更严格的审查，从而对这些家庭更加不公平。Dalton承认，现有的数据是一个我们不得不面对的限制，但她认为人们仍然需要这个工具。 Allegheny 郡今年早些时候在AFST 网站上回应Eubanks 时表示：「贫困这一不幸的社会问题并不能否认我们具有『为那些需要我们关怀的儿童提高我们的决策能力』的责任！」

透明度及其限制

（编辑：网站开发网_安阳站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!