猫の中手骨および中足骨骨折の外科的トリアージにおける大規模言語モデルの診断能と系統的アンダートリアージリスク

3行まとめ

• 猫の中手骨・中足骨骨折における外科的介入の要否判断に対する5種の大規模言語モデルの診断能を評価した。
• ChatGPTの正解率84.9％に対し感度0％のモデルもあるなど差が大きく、全般に保存的治療へ偏る傾向が見られた。
• 外科症例の見落としリスクがあるため単独使用は避け、予備トリアージでも獣医師による厳格な確認が不可欠である。

この論文の要約

目的

猫の中手骨および中足骨骨折における外科的介入の必要性の判断について、専門医の合意を基準として複数の大規模言語モデル（LLM）の診断性能を評価することである。

対象と方法

2023年12月から2025年2月までの猫の中手骨および中足骨骨折73症例を対象とした後向き研究である。2名の獣医整形外科専門医が外科的治療または保存的管理の参照標準を設定した。5種類のLLM（ChatGPT、Gemini、Grok、Qwen、Claude Sonnet）に対し、標準化されたプロンプトを用いて匿名化症例要約を評価させ、正解率、感度、特異度、κ係数を算出した。

主な結果

参照標準では49例（67.1%）が外科的、24例（32.9%）が保存的管理と判定された。ChatGPTが最も高い性能を示した（正解率84.9%、感度79.6%、特異度95.8%、κ=0.69）。他のモデルは性能が低く、QwenとClaude Sonnetの感度は0%であった。全モデルで保存的管理へ偏る系統的バイアスが認められ、高い偽陰性率（アンダートリアージ）が生じた。

臨床的意義

LLMは猫の骨折評価において診断性能のばらつきが大きく、アンダートリアージの系統的リスクを伴う。そのため外科的判断におけるLLMの単独使用は推奨されず、予備的トリアージに用いる場合でも臨床医による厳格な監視が必要である。

⚠️ この要約はAIが自動生成したものです。