最近巷で話題のAI医学情報検索ツールOpenEvidence，2ヶ月ほど使い込んでみた雑感を残したいと思います。
自分は1月にHarvard主催のウェビナーを視聴していたときにEmory大学のDr. Manningのお話に登場したのがきっかけでOpenEvidenceを知ったのですが，周囲に利用者がおらずしばらくスルーしていました。
Joining from Japan at midnight.
We’ve heard great stories from @gradydoctor. https://t.co/1fk3bDdxX7
— Yohei Masuda (@YoheiM_MD) January 10, 2025
それから少し経ち，ボストンに留学中のメンターと打ち合わせをしているときに「最近アメリカでOpenEvidenceが流行っている」とおすすめされ，意を決して使い始めました。
臨床現場での意思決定に特化していて，すでに実用レベルのEBMサポートツールだと思います。一方で生成AIツール特有の注意点もあると感じています。
(この記事は2025/5/23現在の内容を基に作成しました)
OpenEvidenceの使い方を考える
OpenEvidenceとは
OpenEvidenceはHarvard，MITが共同開発した臨床疑問解決に特化した生成AIプラットフォームで，米国ではすでに多数の施設で導入されているようです。
概要を読むとThe leading medical information platformとしてNEJM, JAMA, Mayo Clinic Platformが参加しており，これらのグループのコンテンツが情報源に含まれています(これめちゃ重要！)。
どこかNEJM を彷彿とさせるレイアウトで，UIが直感的でとても使いやすいです。
また，Elsevierが運営するClinical key AIもOpenEvidenceと提携しているようです。
コンパクトな回答
少し前にMayo Clinicの研究チームからの報告でOpenEvidenceの回答の質を検証した論文が出版されていました。この論文ではOpenEvidenceの特徴を
point-of-care questionsに対して正確でevidence-basedな回答をする
と述べており，EBMを重視する臨床現場でのリアルタイムな活用が想定されています。
名著「その場の1分，その日の5分」で例えるならば “その場の1分” ，つまり外来や病棟診療などで目の前の臨床疑問を解決するために必要な情報検索をサポートしてくれるツールで，まさに1分くらいで読める一問一答的な回答を得ることができます。
迅速な回答生成
詳細なアルゴリズムに関する情報は見つけられませんでしたが，挙動を見ていると以下のような流れで回答生成されていると思われます。
検索ワードを入力すると検索に適したExpanded question=プロンプトへ自動変換後に情報検索が開始されるようです。
日本語で検索すると日本語の回答が生成されます。
的確な引用文献
回答の情報源の全容についてもおそらく公開されていませんが，薬剤情報であればFDA drug label，医学情報は信頼できる論文から引用されるようになっており，特に以下に該当する文献にはラベルが付きます。
臨床疑問に一致する論文はもちろん，直近でトップジャーナルに掲載された総説，ガイドラインやepoch-makingな研究を認識する仕組みになっており，まさに我々が臨床疑問を解決するために行う情報検索と同様の基準で論文を選定していると思われます。
引用文献の選択はかなり的確なように思います。
文献選択の精度を確かめるため，解決済みの臨床疑問についてもいくつか検索してみましたが，自力でたどり着いた文献と遜色なく，驚きを隠せませんでした。。。
従来のAI文献検索ツールとの違い
以前は様々な類似サービスを試しつつも，どれも臨床での意思決定に用いるには心許無いと感じていました。私見ですがOpenEvidenceの強みは前述の通りNEJMやJAMAなどのトップジャーナルのコンテンツを引用できることでPaywallを超えるポテンシャルを有していることだと考えます。
従来のAI検索ではPaywallに守られた論文にアクセスできない，もしくは抄録しか引用できないためOA論文が引用されやすいのではないか，ということが問題になっていましたが，少なくともOpenEvidenceではNEJMやJAMA関連の論文について本文をしっかり引用してくれます。
各分野のLandmark studyや診療の指針になるガイドラインや総説など重要な論文はトップジャーナルに載ることが多いため，情報源の偏りがないことはEBMツールとして重要と言えます。
LLMモデルの性能は日進月歩で，論文要約のような単純作業に対してはすでに差がつかなくなってきています。臨床医目線ではこのOpenEvidenceの持つ情報へのアクセス性が質の高い回答を生んでいるように思います。
注意点
患者さんの個人情報を入力しない
これは生成AI使用の大前提なので詳細は割愛しますが，OpenEvidenceにはオプトアウト申請のページが見当たらず，入力情報は学習に使用されると考えたほうが良さそうです。
誤訳に注意
前述の通り日本語入力は可能なのですが，日本語の検索ワードは一旦英語のExpanded Questionに変換され，検索結果が再度日本語訳されるというプロセスを経ます。ここで翻訳ミスが起こると意図していない回答になる可能性があり，実際に日本語の回答は違和感を感じることもあります。
また，英文で回答生成したほうが元文献を参照するときに引用箇所に到達しやすいのも事実です。
これを踏まえて自分は英語入力のみ使用し，必要時は別途DeepLやその他の生成AIモデルで回答を和訳しています。
必ず元文献にも目を通す
元文献の記載を忠実にサマライズした回答が多いものの，やはり「peer reviewを受けた文章ではない」という点は常に注意しておく必要があるように思います。回答を鵜呑みにするのではなく，引用元の文献まで遡って吟味する必要がありそうです。
ハルシネーションが起こりやすい状況は?
EBMを実践するときに，エビデンスを適用しづらい，そもそも先行文献が存在しない臨床疑問に遭遇することは珍しくないと思います。UpToDateやPubmedなどを用いた情報検索では「目的の情報を見つけられなかった」でおしまいですが，AI文献検索では無理やり引っ張ってきた文献から何らかの回答を生成することでIntrinsic hallucinations(学習データと矛盾する情報)を作り出してしまうリスクがあるように感じました。これが元文献に目を通すべき大きな理由の一つです。
一方でOpenEvidenceは引用文献から回答を生成するため，Extrinsic hallucinations(学習データに存在しない情報)は少ない印象があります。
適切なキーワード設定
Clinical questionは解決したい事柄について具体的に検索する(background questionであれば5W1H，foreground questionであればPICOでまとめるなど)，診断推論であれば患者さんのそのままの訴えではなくSemantic Qualifierを入力するなどの工夫をすることで質の高い回答を得られるように思います。
また類似サービスと同様Follow-Up Questionで深堀りや軌道修正ができます。
検索窓の下には例文集みたいなものが載っています。
網羅的文献検索，体系的な知識の獲得には不向き
前述の通りpoint-of-care questionsへの一問一答的な回答を想定しており，引用文献は5本前後しかつかないので，GeminiやChatGPTなどで実行するDeep Reseach的な使い方をするのは難しい印象です。
また，体系的な知識の修得が目的の場合は，OpenEvidenceを足がかりに総説やガイドラインを検索するのは大いにアリですが，すでにUpToDateや教科書にまとまっているものがあればそちらを参照するのが無難かもしれません。
日本語文献は引用されない
これはUpToDateやPubmed検索にも言えることですが，現状OpenEvidenceは日本語文献データベースを参照していなさそうです。
感想
自分はこれまで臨床疑問を解決する際にはUpToDateを頻用していましたが，OpenEvidenceは同じような役割を担う存在だと感じます(あくまで個人的な感想です)。
UpToDateと比べるとpeer reviewされていないという弱点はあるものの，引用文献を確認することでハルシネーションへの懸念は解消できます。むしろUpToDateがカバーしきれないニッチな領域や最新文献についても情報収集してくれる可能性があるのはOpenEvidenceの強みと言えるかもしれません。
OpenEvidenceが生成する回答はあくまで引用文献の要約なので，コンテンツの核は「迅速かつ正確に提供される引用文献」なのかもしれません。
少なくとも自分は従来の文献検索と遜色ない精度を保ちつつ一次資料への到達速度を圧倒的に短縮できているので，ここまで述べてきた注意点に気をつけつつまずOpenEvidence，しっくり来なければUpToDateという流れをしばらく続けてみようと思っています。
今後もOpenEvidenceは提携誌を増やしながら，生成AIの進歩も相まってどんどん性能が向上していくと思われるので，生成AI時代の批判的吟味を修得するべく使いながら慣れていきたいと思います。
Comments