算法决策、消费者权益与自动化评分

欧盟 SCHUFA 评分案

信用机构自动生成评分并交由银行等客户使用。欧盟法院判断，当评分对第三方决定发挥决定性作用时，该活动可构成受《通用数据保护条例》第二十二条约束的自动化个体决策。

终局解释判决

• 法院确认，评分对第三方决定具有决定性作用时可落入自动化个体决策规则。
• 相关处理需要具备法律依据并提供相应的权利保障。

美国 COMPAS 量刑案

刑事量刑材料使用了商业化 COMPAS 再犯风险评分。法院允许在限定范围内参考评分，同时要求提示工具局限，并禁止用评分决定刑罚轻重或是否监禁。

州最高法院判决

• 州最高法院维持原裁定。
• 法院允许法官在遵守明确限制和警示的前提下参考 COMPAS。

欧盟自动化决策解释案

欧盟法院明确，数据主体有权获得能够理解和质疑自动化决定的解释。说明应交代实际采用的程序和原则，并说明个人数据变化会怎样影响结果。

终局解释判决

• 解释应以简明易懂的方式说明自动化决定采用的程序和原则。
• 说明需要让数据主体理解哪些个人数据以何种方式影响决定，并能够有效提出质疑。

英国警方实时人脸识别案

南威尔士警方在公共场所部署实时人脸识别系统。上诉法院认为，观察名单和部署地点的选择缺乏足够明确的法律约束，数据保护影响评估与平等义务落实也存在问题。

上诉判决

• 上诉法院认定相关部署在三个方面违法。
• 现有框架对观察名单和部署地点给予的裁量过宽。

加拿大 Ewert 风险评估案

加拿大惩教部门使用在非原住民群体上开发和验证的再犯风险工具评估一名梅蒂人。最高法院认定惩教部门没有采取合理措施确认工具对原住民的有效性。

最高法院判决

• 加拿大最高法院部分支持上诉，并作出惩教部门违反《矫正及有条件释放法》第24(1)条义务的宣告。
• 惩教部门长期知悉工具可能存在文化偏差，却没有采取合理措施确认其适用于原住民服刑人员。

AI 与数据合规

审查人工智能项目中的数据来源、处理目的、流转路径、参与主体及安全保护措施。

AI 产品合规

将法律审查嵌入产品设计、开发、采购、测试、上线、运营及版本更新全过程。

模型、算法及平台治理

审查模型、算法和平台的准入、风险分级、内容安全、持续监测、审计及责任机制。