一个拼写错误的单词会引发医疗危机吗？如果您的医疗记录正在被人工智能系统分析，那么答案是可能的。一个小小的拼写错误，甚至使用一个不寻常的词语，都可能导致医疗AI得出结论认为某人没有任何问题，而实际上此人可能病得很重。
这是一个真实存在的危险，因为全球各地的医院正在部署使用像ChatGPT这样的人工智能软件来辅助诊断疾病。潜在的好处是巨大的；AI非常擅长发现人类医生可能忽略的潜在健康问题。
但麻省理工学院教授Marzyeh Ghassemi的新研究也发现，这些AI工具往往非常容易被误导，其方式可能造成严重伤害。
对Ghassemi来说，这只是医疗AI缺陷和弱点的又一次揭示。她多年来一直从事这方面的研究，结果令人沮丧。
她和她的同事已经发现，一个在加拿大能准确诊断胸部X光片的AI模型，在加利福尼亚州的可靠性大大降低，这是由于不同的生活方式和风险因素。他们发现，提供心理健康建议的AI聊天机器人在回应黑人和亚洲用户时，往往比回应白人用户时缺乏同理心。而Ghassemi的最新论文发现，一些AI倾向于向女性提供糟糕的医疗建议。
Ghassemi并非反对技术进步的人。“我喜欢开发AI系统，”她说。“我成为麻省理工学院的教授是有原因的。但对我来说很清楚的是，对这些系统的天真部署，不认识到人类数据带来的包袱，将会导致伤害。”
Ghassemi出生在爱荷华州，父母是伊朗移民，后来搬到了德克萨斯州，再后来是新墨西哥州。“作为一个在美国明显是穆斯林女性的成长并不容易，”Ghassemi说，“我从很小的时候就学会了在人们因为你的身份而尖叫、扔东西或以其他方式威胁你时坚持立场的重要性。”
在新墨西哥州立大学、牛津大学和麻省理工学院获得计算机科学和工程学位期间，Ghassemi对她设计的系统潜在危险产生了深深的担忧。“作为技术专家，”她说，“我们有责任用我们的工具改善社会，而不是让它们自由放任。”
除此之外，这意味着制造不会因为几个拼写错误而犯下危险错误的医疗AI产品。
在六月份由计算机协会发表的一篇论文中，Ghassemi领导的团队收集了数百份医疗记录，以及审查这些文件的人类医生提供的临床建议。
研究人员接下来在文件中添加了可能出现的奇怪之处，比如非英语母语者或教育水平有限的人与医生交换电子邮件时可能发生的情况。他们引入了拼写错误、额外的空格和不准确的措辞。他们甚至添加了反映患者焦虑的生动语言——比如“我以为我要死了”这样的短语。
然后，这些记录被输入到四个AI系统中，由它们决定患者是否需要亲自看医生、进行一些实验室测试，或者根本不需要治疗。结果与人类医生的决定进行了比较。Ghassemi发现，错误内容的存在使得AI推荐患者不需要额外治疗的可能性增加了7%到9%。
这听起来可能是一个相对较小的错误。但每个案例都代表一个可能无法获得所需护理的人。
更糟糕的是，Ghassemi和她在麻省理工学院的同事发现，AI系统更可能让女性患者得不到治疗。研究人员尝试移除对患者性别的明确提及。但AI系统仍然正确识别出其中一些人是女性，而这些患者比男性更可能被告知不需要看医生或进行医疗测试。
“模型在它认为是女性的患者中减少了更多的护理，”Ghassemi说。
慕尼黑工业大学人工智能与信息医学研究所的研究员Paul Hager表示，Ghassemi的工作支持了他自己的发现，即AI很容易被误导。
“添加额外的信息，即使真实且相关，也往往会降低模型的准确性，”未参与Ghassemi研究的Hager说。“这是一个复杂的问题，我认为通过更先进的推理模型在一定程度上得到了解决……但关于如何在更基本的层面上解决这个问题的研究很少。”
Ghassemi只能推测AI如何能够 pinpoint 患者的性别。她认为系统通过医疗记录中的微妙线索——词语选择或患者提出的具体问题——来推断。“这有点令人惊讶，”她说。“有点可怕。”
这对她来说并不是一个新问题。Ghassemi是一个团队的成员，该团队在2022年发现，AI仅通过查看X光片就能检测一个人的种族——这是任何人类医生都无法做到的。（Ghassemi认为黑人皮肤中的黑色素一定在X光片上留下了人类眼睛无法检测但AI可以检测的痕迹。）
但对于消除AI对有色人种和女性的偏见，Ghassemi有一个路线图。“你必须在多样化、有代表性的数据集上进行训练，”她说。这意味着包括大量的黑人、亚洲人和其他族裔群体，以及大量的女性，还包括不同经济地位和教育背景的人。Ghassemi还希望定期对这些系统进行审计，以确保即使在新数据上训练，它们也能保持公平。依赖这些系统的临床医生应该准备好否决它们，如果这符合患者的最佳利益。
她说，这样的标准应该被嵌入法律中。“我们需要法规，使公平成为临床AI的强制性性能标准。”
Ghassemi表示，AI诊断的兴起是一个难得的机会，可以从各种医疗系统中根除种族和性别偏见，而不仅仅是数字系统。
“人们早就知道医疗系统正在导致更多女性和少数族裔死亡。但我们一直没能让他们对此感到愤怒，”她说。“我们也许能够让他们对AI这样做感到足够愤怒，从而修复底层系统。”
本文来自作者[admin]投稿，不代表蜀桥号立场，如若转载，请注明出处：https://www.sqkcsj.com/zzzl/202509-2407.html
评论列表（4条）
我是蜀桥号的签约作者“admin”！
希望本篇文章《人工智能会导致医疗失误吗？这位MIT研究员给出了肯定答案》能对你有所帮助！
本站[蜀桥号]内容主要涵盖：本站内容主要涵盖
本文概览：一个拼写错误的单词会引发医疗危机吗？如果您的医疗记录正在被人工智能系统分析，那么答案是可能的。一个小小的拼写错误，甚至使用一个不寻常的词语，都可能导致医疗AI得出结论认为某人没有任何问题，而实际上此人可能病得很重。这是一个真实存在的危险，因为全球各地的医院正在部署使用像...