无论是在公共部门还是私人部门，算法系统在决策过程中的应用都日趋深入，其对于个人、组织和整个社会的潜在影响是巨大的。
姚前 中国证监会科技监管局局长
随着计算机、移动互联网、智能终端、大数据分析、云计算、人工智能、物联网等数字技术的发展，算法已经无处不在。搜索引擎、新闻推送、精准广告、人脸识别、行车导航、自动驾驶……技术核心都是算法。最近由中国金融出版社出版的译著《算法治理：法律与道德挑战》（Algorithmic Governance and Governance of Algorithms：Legal and Ethical Challenges. Martin Ebers，Marta Cantero Gamito主编），着重从法学和伦理学的角度探讨了算法公平、算法自动化决策的透明性和正当程序、责任、数据隐私保护、消费者权益保护、算法产品法律保护等广泛议题。每篇文章的分析逻辑严谨、细致入微、见解深刻，是难得的佳作，可为算法治理研究者和政策制定者提供有益的参考。
诚如该书英文序言所说：“无论是在公共部门还是私人部门，算法系统在决策过程中的应用都日趋深入，其对于个人、组织和整个社会的潜在影响是巨大的。”算法让我们的世界变得更加智能、更加高效。人们甚至可以在未来创造出一个完全由算法构造的虚拟世界--元宇宙（Metaverse）。算法对人类社会的渗透力和影响力将只增不减。伴随而来的问题是，我们应如何处理算法与人的关系。机器大生产时代，机器与人的关系吸引了马克思等思想巨擘的关注与研究。如今，算法与人的关系这一全新时代命题，同样值得我们思考与探索。
防止算法可能对人造成的侵犯、伤害和异化，是算法治理的首要内容。比如，要防止算法滥用。算法规则的背后是商业利益。为追求利益最大化，算法有可能违背社会公平、道德和人性。比如，算法利用大数据“杀熟”，同样的商品或服务，老客户的价格反而比新客户要贵；只推荐能带来潜在商业利益的产品，而不是最适合、最恰当的东西；可能滥用人性弱点，过度激发、劝服、诱导客户，使人习惯于“被喂养”，不自觉地对算法投放的产品沉迷上瘾。算法逻辑被运用到极致，人有可能被“异化”为纯粹的数据、商品和工具。算法的具体原理和参数只有运营企业的少部分人才能知道，难免产生利益侵占问题。甚至，企业可能利用算法作恶，比如为了扩大流量，推送耸人听闻的虚假信息或推荐虚假产品。
我们还要防止算法偏见。算法的数据可能不一定全面，碎片化的数据得到的结果极易导致偏见。算法的设计者是人，算法设计师乃至企业管理者、价值观的偏见可能被嵌入算法。算法的“技术光环”容易让人盲从所谓的“科学”，但实质上有些算法却存在很大程度的不可解释性，如类似“黑箱”的机器学习算法。机器学习算法侧重于相关性分析，而不是因果分析，可能产生错误的勾连与判断；基于历史数据的机器学习算法隐含着“过去决定未来”的逻辑，以历史宿命论定义和标签每个人，某种程度上也是一种偏见。
面对算法滥用与算法偏见，要着重强调对个体隐私权、非歧视权、公平待遇权等基本权利的保护。《算法治理：法律与道德挑战》第一章指出“基本权利十分重要……通常国家，特别是立法者，有义务积极推进基本权利保护，即便私人间的关系也一样”。鉴此，该书不仅详细探讨了客户行为画像时不同基本权利的定义与边界，还探讨了如何平衡基本权利保护与大数据分析应用创新，建议对客户行为画像所影响的基本权利进行有限解读，以便充分利用机器学习算法的潜在优势。
数据主体权利保护已成为各国算法治理的重点。欧盟《通用数据保护条例》（GDPR）和我国《个人信息保护法》对数据主体权利进行了详细规定，包括知情同意权、持续控制权、拒绝权、可携权、更正权、删除权等权利。实质上，除了数据主体权利，法学家们还从不同角度拎出了数据相关的各种“权利”，包括数据财产权、商业秘密权、知识产权等不同权利，甚至从公共利益和国家安全的角度提出数据主权的概念。这些数据权利与数据主体权利构成了一个数据权利谱系。在这套权利谱系中，存在个人、企业、监管机构、政府部门等多个数据权利主张者。对此，需要在法理学指导下，结合司法实践，进一步明确个人隐私保护权利、数据财产权、数据主权等各类数据权利的确权规定，以及相应的冲突解决规则和路径。这里头依然有一个对权利的有限解读和无限放大的问题。
当有偏见的算法被用于司法审判时，将可能导致不公正判决，损害社会公平正义。《算法治理：法律与道德挑战》第二章以英国警方用于辅助拘留决定、评估被捕人未来犯罪风险过程中所使用的危害评估风险工具（HART）为案例，探讨了软件算法缺乏透明性而导致不当拘留的问题。该书指出，代码错误将影响公正审判权和正当程序，比如对决策的可争辩性造成损害，为此，在刑事诉讼中使用算法时，应辅以程序规范性要求，否则可能导致刑事司法制度混乱、公民基本权利被侵害。
在司法抗辩过程中，算法鸿沟值得重视。算法通常是隐秘的，或是专利，或是商业秘密。即便公开，也因技术门槛的存在，导致并非人人都能看懂。这就形成新的数字鸿沟。不懂算法的人群在利益受损时有可能并不知情，即便知情，也可能无力举证和对抗。为此，我们需要针对算法可抗辩性建立适当的司法机制和程序，以保障司法公平正义。
谈到欧盟《通用数据保护条例》（GDPR），《算法治理：法律与道德挑战》第三章详细研究了在GDPR背景下芯片植入皮肤对员工隐私的影响。该书认为，企业通过芯片植入收集员工信息的行为应适用于GDPR相关条款，即便有员工同意，也难以构成个人数据处理的充足法律依据，因此用人单位应在具有合法利益的情况下才能开展相关行为。不仅如此，该书还指出光有这些仍然不够，建议制定保护被植入芯片员工的专项国家法规，特别是要禁止强制植入芯片，并强调芯片植入应只限于应用在员工行为监测对于履职至关重要的岗位上。在第五章，该书还分析了GDPR和《不正当商业行为指令》（UCPD）能否有效应对行为广告所带来的问题（比如行为操纵等）。结论认为，UCPD是应对行为广告有关问题的最佳工具，但建议对UCPD中的消费者政策相关内容进行复审，并调整21世纪“一般消费者”标准定义。
算法存在风险和缺陷，可能引发伤害，那么谁应该为算法的伤害负责？有一个经常被提到的案例：2018年3月18日，伊莱恩·赫茨伯格（Elaine Herzberg）在美国亚利桑那州坦佩市骑车横穿马路，被一辆自动驾驶汽车撞倒，不幸身亡。虽然车上有安全驾驶员，但当时汽车完全由自动驾驶系统控制。这起事故提出了一系列的道德和法律问题：谁应该为赫茨伯格的死负责？是测试那辆汽车的公司？是该人工智能系统的设计者？是车载感应设备的制造商？还是坐在驾驶位上的安全驾驶员？回答这些问题，需要清晰合理地界定人工智能各方的责任边界，这其实并不容易。甚至有人提出，如果未来人工智能有了公民身份，它是否需要承担法律责任以及如何界定？是否因此而减轻相关方的法律责任，以及这样做是否合理？这些问题均值得我们认真研究。
针对人工智能的公民身份问题，《算法治理：法律与道德挑战》第四章以外科手术机器人为例，探讨了为自主产品赋予电子人格所带来的多重影响，认为欧盟现行的产品安全框架已经可以覆盖自主设备所产生的部分风险，但为了提升法律的确定性，仍需要制定具体规则才能对新情况进行有效治理。但该书认为，欧洲议会决议所提出的为自主设备赋予人格的建议缺乏必要性和充分性，建议应健全现有其他措施（如机器人生产商的强制保险制度），以对受到自主设备损害的群体更有效地进行赔偿。
加强算法治理的目标并不是打击或抑制算法的创新应用，而是为了规范，并在规范中进一步促进算法技术和产业发展。从这个意义来说，加强算法技术本身及相关产品的法律保护，如知识产权、著作权、专利权保护，也是算法治理的应有之义。
《算法治理：法律与道德挑战》第六章研究了知识产权（IP）相关法律措施在保护人工神经网络（ANN）方面的适用性。目前，著作权和专利保护一般以人类为中心，不足以对ANN智力创作形成保护，该书建议将商业秘密保护规则作为保护ANN工作成果的一种手段，但商业秘密保护规则需要做进一步完善后才能适用于ANN。第七章则分析了在中国著作权框架下计算机生成作品（CGWs）的可著作权和署名权问题。结论认为，和其他国家类似，中国在立法中并没有纳入CGWs这一最新概念，但目前中国的著作权法设置了“职务作品”和“法人或非法人组织作品”的概念，可以在现行规则下将保护拓展至CGWs。
应该说，算法治理的涵义和内容非常广泛。有些方面，《算法治理：法律与道德挑战》还未涉及。
比如，人机对立的科技伦理问题。处理算法与人的关系，核心原则是以人为本。我们应防止算法与人的对立。例如，人工智能可以极大地提高社会生产率，但对人也产生了替代。如果说人工智能完全替代人类，有些危言耸听，但取代一些规律性、重复性的人力工作，却是正在发生的事实。未来随着人工智能在各个领域的发展与蔓延，其对人类的替代有可能是全方位的。在此情况下，社会失业人群将可能迅速增加，引发贫困等社会性问题。对于个体而言，自我价值实现是最高的社会需求。人工智能的替代不仅带来个人经济收入的减少，还可能造成个体的精神损害，影响人的心理健康。此外，以超越人类能力为导向、追求更快更强的技术唯上论，某种意义上也会引致紧张的人机对立关系。应该说，战胜人类并不是发展人工智能的终极目标，更好地服务人类才是其终极使命。如何在人工智能应用的过程中，避免人机对立，使科技不因技术创新的深度而失去本该有的人文温度，正成为当下算法治理的重要命题。
再如，特定领域的算法风险。在金融领域，智能算法给出的资产配置建议有可能是推荐与金融机构自身利益高度攸关的产品，涉嫌利益侵占；智能算法形成“信息茧房”，强化投资者偏见，容易掩盖金融风险的复杂性，引诱过度消费和负债，甚至误导投资者；智能算法若存在歧视投资者现象，则有违市场公平与公正；智能算法趋同导致“羊群效应”，加大金融顺周期风险等等。针对这些特定领域的算法风险，我们要有应对举措。
总之，随着各类先进数字技术的发展与应用，我们正迎来以数据为基础、以算法为核心、以算力为支撑的数字经济时代，算法治理已成为重要的社会治理命题，有许多问题值得我们研究和探索。研究这些问题，不仅需要计算机、经济学、社会学，还需要法学和伦理学等各个学科的智慧与洞见。
值得一提的是，本书原名意涵丰富，既包含“基于算法的治理”（Algorithmic Governance），又包含“针对算法的治理”（Governance of Algorithms）。考虑到中文“算法治理”在不同语境中的含义变化，因此译者化繁为简，直截了当将“算法治理”作为中文书名。
在2021年10月18日举行的中央政治局第三十四次集体学习中，习近平总书记指出：“要完善数字经济治理体系，健全法律法规和政策制度，完善体制机制，提高我国数字经济治理体系和治理能力现代化水平。”数字经济治理涵义丰富，既包括大科技公司（Bigtech）监管、反垄断、反不正当竞争、网络安全、数据安全、数据跨境流动、数字税等，也包括算法治理。《算法治理：法律与道德挑战》这本著作的前瞻性和洞察力，值得我们认真研读。
作者/姚前
