-
黑匣子
隐藏在人工智能AI招聘工具背后的问题，值得我们HR思考！
编者注：这个主要是聊到AI招聘工具可以帮助消除偏见，但这背后并不是一蹴而就的，需要不断努力，举了两个小栗子：AI面部识别会把黑人的犯罪倾向增加，而白人就会低。还有就是高质量的程序员喜欢看漫画。。。当然这个关联性是否真的，都是AI带来的问题。
推荐阅读下，蛮有意思的。
作者：Ben Whitford
土耳其语没有性别代词:“o”这个词在英语中是由“他”、“她”或“它”完成的。这种语言怪癖对机器翻译工具提出了挑战:将土耳其语翻译成英语，像谷歌翻译这样的工具必须猜测其主体的性别——在这个过程中，往往会暴露出其固有的偏见。
例如，谷歌将土耳其语“o bir doktor”翻译成“他是一名医生”和“o bir hem?”她是个护士。谷歌的算法同样认为，总统或企业家是男性，但保姆、教师或妓女是女性。即使是性格特征也会与假定的性别一致:一个努力工作的人被认为是男性，而懒惰的人被认为是女性。
谷歌的程序员没有对这些刻板印象进行编程;该软件利用人工智能研究真实世界的文本，并创造出反映人们实际使用语言的方式的翻译。换句话说，谷歌翻译的偏见是我们自己的。“机器学习算法会发现有偏见的模式，并学会像现实世界一样有偏见，”微软研究公司的Rich Caruana说。
这应该会让人力资源经理们踌躇不前，他们认为，算法是为了消除招聘过程中的偏见。2016年，CIO在一篇文章中预测，人工智能将把招聘转变为“对任何人类偏见免疫的过程”。“一个袖珍计算器不能是种族主义的，理论上是这样的，一个自动分类简历的系统应该是公正的:”简单地使用这样一个自动化的、客观的过程，就有可能大大减少人类偏见的范围。
很容易明白为什么管理人员渴望解决偏差问题。自从美国的“民权法案”和英国的“种族关系法案”禁止明显的歧视以来，已有数十年的时间了，但较不明显的偏见仍然是一个主要问题。研究表明，平均而言，具有刻板印象的非洲裔美国人姓名的简历比用同样的白名单提交的简历要少36％，而且自20世纪70年代以来没有改变，社会学家林肯奎利安说。
奎里安说，并不是说管理者有意识地歧视别人，他去年发表了30项涉及55,842份申请的招聘偏见研究的分析报告。相反，决策者受到无意识偏见的影响，这些偏见基于他们可能不知道的根深蒂固的偏见。“定型是一种缓慢而难以改变的弹性事物，”奎利安说。“这是令人沮丧的现实 - 超过35年，它没有改变。”
在'黑盒子'里面
越来越多的无意识偏见意识促使人们对自动化招聘系统产生兴趣，但这种偏见的普遍性意味着，使用真实世界的数据进行培训的人工智能工具不是公正的。
谷歌翻译的性别问题不是一个孤立的案例。在许多行业中，有无数的例子都是机器学习工具复制了他们的血肉之躯的偏见。
考虑到研究人员发现该面部识别工具是准确的白人99％，但准确的黑人女性只有65％。并且Google的在线广告算法被发现更有可能向与名声不佳的人展开有关逮捕的广告。而且一名被法官广泛使用的人工智能工具被发现错误地将黑人被告标记为重新犯罪的高风险，几乎是白人被告的错误率的两倍。
很容易看出这样的偏见会如何污染与申请人职位空缺相匹配的工具或者通知与奖金和晋升有关的决策。审查编程职位申请的人工授精工具可能会注意到，公司目前的程序员大多是男性，并且会对男性候选人产生相应的推动作用。Caruana说：“你最终不会招聘女性积极参与编程职位，因为来源方面的偏见是，女性总的来说不是程序员。
尽管AI工具可以被命令忽略性别，种族和其他受保护特征，但消除AI系统的偏见比看起来更难。由于它们的性质，人工智能工具发现模式，许多因素 - 邮政编码，教育程度，爱好 - 可能会无意中成为诸如种族或性别等特征的代理。
在最近的一个案例中，招聘服务机构Gild吹嘘自己的AI系统已经发现了如何发现高潜力的计算机工程师：事实证明，这样的候选人可能是日本漫画网站的粉丝。喜欢漫画的候选人，Gild的团队推理，将有助于识别高质量的工程师。
正如数据科学家凯茜奥尼尔指出的那样，问题在于爱漫画和成为一名成功的工程师之间没有因果关系。相反，吉尔已经确定了一个与种族和性别相关的特征，有效地使用了后门的方法来清除那些不符合其成功候选人应该是什么样子的先入之见的人。奥尼尔说：“我很惊讶他们没有想到那个热爱漫画的候选人更有可能成为亚洲人。” “你通过关联和代理获得性别。”
更糟糕的是，O'Neil说，许多AI系统在“黑匣子”内执行这样的计算，使得无法弄清楚结果是如何得出的。如果你正在教计算机玩下象棋或处理图像，这可能无关紧要，但是当你做出关于人们事业的决定时，这是一件大事。“算法不仅仅是帮助自动化一个过程; 他们增加了一层不透明度，所以很难看到和解决失败，“O'Neil说。“面部识别很容易看出它是否可行; 雇用软件更棘手。“
一个潜在问题 - 和一个监管风险
消除这种偏见是一项艰巨的任务，但如果人工智能系统要演变成可信赖的招聘渠道，这一点至关重要，Pocket Recruiter的首席数据科学家Vineet Vashishta说。“在招聘和人力资源领域，你必须是透明的，”他说。“我们必须能够解释'这是我们做出我们做出的决定的确切方式'，我们必须能够证明这些数据没有一些阴险的偏见。”
不幸的是，Vashishta说，从事人工智能招聘工具的人很少愿意面对他们系统的潜在偏见。他表示，即使在学术和行业聚会上，研究人员也不愿意将注意力放在关于偏见的谈话上。“在人们开始谈论这件事之前，这是三杯酒和一些沉重的叹息，”他说。“至少公开谈论此事的人非常少，因为这真的很可怕。当涉及到机器学习时，这是可能杀死该领域的领域之一。“
Vashishta说，监管机构很可能会开始在某些司法辖区禁止机器学习工具。纽约市成立了一个工作小组来监督政府使用人工智能系统，而欧洲监管机构正在实施框架，这将大大遏制公司在未经明确许可的情况下使用个人数据的能力。“你可能会看到一些政府在未来五年内禁止机器学习，这将是因为这个问题，”他说。“这将是因为它无法解释，缺乏透明度和问责制，以及机器的偏见会让人们感到恐慌。”
但是Vashishta说，有真正的方法可以减少偏见的可能性。Pocket Recruiter使用AI来识别具有特定技能的申请人，而不仅仅是那些与当前员工相似的申请人。尽管如此，人才招聘决策最终还是由谁来提供Pocket Recruiter用来改进算法的反馈。Vashishta说：“Pocket Recruiter可以向你展示你可能因为无意识偏见而未看过的候选人。“但是当谈到人们告诉我们他们想要的候选人时，那些无意识的偏见又回来了。”
最终，为了消除AI系统的偏见，设计师必须在事情的方式和他们应该的方式之间驾驭危险的无人地带。为了消除真实世界的偏见，设计者必须要么倾斜他们的数据，要么按照他们的系统处理数据的方式，以便最终的结果反映出更理想的替代现实。
但以这种或那种方式推动申请人的数据是一个充满挑战的过程。“我们一直这样做，”Vashishta说。“但这些钟形曲线的修正令我们非常惊讶。我们不知道我们是否正在受伤或帮助，直到我们看到算法运行起来，我们才会知道。“要做出可能让某人工作的成本的变化是不容易的，他说。“当你在像招聘这样的公司工作时，你会因此失去睡眠，因为你正在影响某人的生活。这是一种令人痛苦的方式。“
没有在窗帘后面偷看
人工智能招聘工具的一个教训可能来自于一种较老的，技术含量较低的补救办法，以致在招聘方面存在偏见：顶级管弦乐队决定在试演期间在音乐家面前悬挂一幕布。古典音乐过去一直以男性为主，但在20世纪70年代引入了盲目的试镜 - 确保音乐家的演奏而不是外观 - 使顶级乐团的女音乐家增加了五倍以上。
然而，要达到这一点，还需要做出决定，确保音乐家的性别不会受到其他因素的影响，比如穿过窗帘的缝隙看到的鞋子，或者没有地毯的地板上的高跟鞋。
更重要的是，管弦乐队不得不将盲试作为一个起点而不是一个明确的解决方案，并且接受这样一个长期以来由男性主导的机构，偏见仍然是一个问题。尽管已经证明了他们的音乐才能，但第一批通过盲目试镜入场的女性经常不得不与他们继续寻求旁观者的合作。
这大致就是我们使用AI招聘工具的地方：就像管弦乐队的幕布一样，机器学习是一种范式转变，有可能消除长期存在的偏见，但它本身并不能解决几个世纪的偏见。
为了有所作为，人工智能系统需要仔细设计和审查，以确保他们真正无偏见，并且他们的部署方式不允许人力决策者重新向招聘中引入偏见处理。
走向这一点并不容易。“这是我们花费数百年来创造的一个问题。Vashishta说，长期的解决方案并不像我们五年后会遇到的问题。
与此同时，人力资源团队需要停止假设基于计算机的招聘工具本身就是客观的。相反，决策者应该要求证据表明，机器学习系统的设计是有偏见的，并且足够透明，可以识别和纠正潜在的问题。
卡鲁阿纳说，如果人工智能工具要演变成真正公正的招聘工具，人力资源团队将不得不坚持这种透明度。“如果有足够的人问，这将成为一个重要的标准，”卡鲁阿纳说。“但是如果没有人问，我们只会让偏见不断滑落。”
以上由AI翻译完成，HRTechChina倾情奉献。转载请注明。
扫一扫 加微信
hrtechchina
