ChatGPT能考上美國醫生嗎?

●在三個考試部分,去除模糊不清的回答后,ChatGPT得分率在52.4%至75%之間,而得分率60%左右即可視為通過考試
●ChatGPT有88.9%的主觀回答包括“至少一個重要的見解”,即見解較新穎、臨床上有效果且並非人人能看出來
美國執業醫師資格考試以難度大著稱,而美國研究人員發現,聊天機器人ChatGPT無需經過專門訓練或加強學習就能通過或接近通過這一考試。對此,有人對人工智能在臨床醫學的應用充滿期待,有人則開始反思美國醫學教育及相關考試的不足。
“值得注意的一件大事”
參與這項研究的人主要來自美國醫療保健初創企業安西布爾健康公司(AnsibleHealth)。他們在美國《科學公共圖書館·數字健康》雜志2月9日刊載的論文中說,他們從美國執業醫師資格考試官網2022年6月發布的376個考題中篩除基於圖像的問題,讓ChatGPT回答剩余350道題。這些題類型多樣,既有要求考生依據已有信息給患者下診斷這樣的開放式問題,也有諸如判斷病因之類的選擇題。兩名評審人員負責閱卷打分。
結果顯示,在三個考試部分,去除模糊不清的回答后,ChatGPT得分率在52.4%至75%之間,而得分率60%左右即可視為通過考試。值得注意的是,ChatGPT有88.9%的主觀回答包括“至少一個重要的見解”,即見解較新穎、臨床上有效果且並非人人能看出來。相比之下,專門針對生物醫學領域文獻訓練出來的一款大型語言模型PubMedGPT在類似測試中得分率剛過50%。
研究人員說,“在這個出了名難考的專業考試中達到及格分數,且在沒有任何人為強化(訓練)的前提下做到這一點”,這是人工智能在臨床醫學應用方面“值得注意的一件大事”,顯示“大型語言模型可能有輔助醫學教育甚至臨床決策的潛力”。
有人持異議
新西蘭惠靈頓維多利亞大學軟件工程高級講師西蒙·麥卡勒姆告訴法新社記者,隨著技術不斷發展,“我們可能很快會從‘谷歌醫生’或‘必應(微軟旗下搜索引擎的名稱)護士’那裡得到醫學方面建議”。
不過,也有人持異議。《科學公共圖書館·數字健康》同日刊載的一篇文章題目是《ChatGPT通過美國執業醫師資格考試讓人們注意到醫學教育的缺陷》。作者在文章中說,ChatGPT的成功,一方面反映醫師考試過於強調機械記憶,對疾病機理死記硬背,“不能充分評估現代醫療實踐所需技能”﹔另一方面反映醫學教學方式僵化,易讓學生誤以為醫學上的問題“非對即錯”,而臨床中“正確的”選擇含義豐富,既需要醫生摒棄偏見、發揮創造力、展開批判性思考,也需要考慮眾多現實因素。
美國執業醫師資格考試屬於標准化考試,分為三部分。第一部分側重於考察基礎科學和藥理學,考生通常是完成300至400小時專業學習的醫學生﹔第二部分一般由四年級醫學生參加,重點考察臨床診斷推理能力、醫療管理水平和生物倫理方面內容﹔最后一部分考試對象是完成至少6至12個月研究生醫學教育的實習醫生。 (據新華社)
分享讓更多人看到
- 評論
- 關注