食品安全関係情報詳細
| 資料管理ID | syu06541290149 |
| タイトル | 欧州食品安全機関(EFSA)、自動化ツールを活用したエビデンスの批判的評価の促進に関する外部委託機関による科学的報告書を公表 |
| 資料日付 | 2025年7月15日 |
| 分類１ | - |
| 分類２ | - |
| 概要（記事） | 欧州食品安全機関(EFSA)は7月15日、自動化ツールを活用したエビデンスの批判的評価の促進に関する外部委託機関による科学的報告書(5月10日承認、PDF版61ページ、 https://doi.org/10.2903/sp.efsa.2025.EN-9515)を公表した。概要は以下のとおり。 EFSAは、2021年5月に「リスク評価におけるエビデンス管理のための人工知能(AI)に関する行動ロードマップ」プロジェクトを立ち上げ、該当プロジェクトはAI方法論を統合することでリスク評価プロセスを最適化することを目的としている。本プロジェクトは、「枠組み契約OC/EFSA/AMU/2021/03の特定契約3」に基づき実施され、バイアスリスク評価の自動化を目的としたAIツールの開発と検証に焦点を当てている。本報告書では、その活動と成果を報告する。 まず、本プロジェクトの背景を簡潔に説明した後、方法論のセクションでは、本プロジェクトの実施に際して従った6つのステップを詳細に説明する。最初のステップは、EFSAの現在のプロセス定義と批判的評価ツールの選択である。NTP-OHAT(※1)バイアスリスクツールが選択された理由は、EFSAにおいて頻繁に使用されているためである。続いて、以下のステップが説明される。すなわち、ユースケースの選択、自動化ツールの範囲の定義、プロトタイプツール「AutoCAT(※2)」の実装戦略の策定及びその検証計画の策定である。 実装セクションでは、大規模言語モデル(LLM)を用いたツールの実装に採用された反復的なアプローチを説明し、最も効果的なアプローチを決定するため、異なるプロンプト戦略をテストした結果を提示する。次に、プロトタイプパイプラインが説明され、これには、入力PDFの事前処理と構造化JSON(※3)フォーマットへの変換、及び批判的評価の自動化に用いられる2段階プロセス(ファクト抽出とバイアスリスク分類)が含まれる。最後に、AutoCATと既存のシステマティック･レビュー･プラットフォーム(DistillerSRを含む)との統合が示される。 プロトタイプツールの開発、検証、テストに用いられた多様なデータセットは、データセットのセクションで説明され、その後、評価フェーズの結果が報告される。「Polarケース」データセットにおけるOHATへのクエスチョンQ1とQ2(※4)のファクト抽出に関する有望な結果を報告する。得られた結果では、ツールは17件中16件の論文から関連するファクトを適切に抽出したが、1件のみファクトが漏れた。バイアスリスク分類の結果では、モデルが低リスクバイアスと判断する傾向を示したことが主な制限事項であった。また、「Deltamethrin」データセットを使用して全ての適用可能なOHATへのクエスチョンに対するツールの評価結果、及び、2人の訓練を受けた専門家が40件の論文からツールによって抽出された2,817件のファクトをレビューした検証結果を報告する。検証全体では、ツールのファクト抽出における高い感度が確認されたが、異なるクエスチョン間での高い変動性も明らかになった。システムのテストのため、EFSAの専門家2人に進行中の意見書の批判的評価に対してAutoCATの出力を使用することを依頼した。その結果、有用性において重大な課題が指摘された。 本報告書の最終部分では、プロジェクトの成果を要約し、ツールの限界を認めつつも、AutoCATが科学論文からのファクト抽出を自動化することでシステマティックレビューの効率化に潜在的な可能性を有することを強調し、特定された限界を克服するための、さらに、他の文脈における自動化ツール潜在的適用を模索するための今後の作業と推奨事項を提案している。今後の作業としては、当該ツールの適用範囲を他の研究タイプや追加の批判的評価ツールに拡張すること、研究クエスチョン枠組み記述子の抽出の自動化を挙げている。 外部委託機関: ChampAIons consortium (※1) National Toxicology Program - Office of Health Assessment and Translation (※2) Automation of Critical Appraisal Tool (※3) JavaScript Object Notation (※4) Q1. 投与量又はばく露量は適切にランダム化されているか？ Q2. 試験群への割り当ては適切に隠されているか？ |
| 地域 | 欧州 |
| 国・地方 | EU |
| 情報源（公的機関） | 欧州食品安全機関（EFSA） |
| 情報源（報道） | 欧州食品安全機関(EFSA) |
| URL | https://www.efsa.europa.eu/en/supporting/pub/en-9515 |