– 배경: 미국 FDA는 처방 정보에 언급된 약물이상사례(Adverse Drug Events, ADEs)를 자동으로 식별할 수 있는 도구에 관심이 있음. MITRE Corporation (MITRE)와 FDA는 공유 작업인 “Adverse Drug Event Evaluation (ADE Eval)”을 조직하여 현재 자연어 처리(NLP)에 사용되는 알고리즘의 성능이 real world에서 사용하기에 충분한 수준인지를 판단하고자 하였다.
– 목적: 본 연구의 목적은 ADE Eval은 공개적으로 이용 가능한 FDA 승인 약물 라벨에 언급된 ADR을 식별하기 위한 다양한 NLP 기술을 평가하는 것임. 이는 특히 FDA 내에서의 약물 감시 업무를 반영할 수 있는 모델이 가능한지 확인하는 것이다.
– 방법: 약물안전성 특정 주석 지침과 주석이 달린 말뭉치(Corpus) 생성하고, FDA의 경험을 모델링하는 두 가지 지표가 사용됨. 하나는 알고리즘이 주석이 달린 Corpus의 텍스트에 대해 올바른 MedDRA® 용어를 식별하는 능력을 측정, 두 번째로는 알고리즘이 Corpus에서 추출한 근거의 품질을 측정하여 선택된 MedDRA® 용어를 지지하는 부분을 올바르게 식별하는 능력을 측정하는 것임. 세 번째 지표는 이어지는 학습을 위한 시스템 출력의 수정 비용을 평가하는 것이었다.
– 결과: 총 13개 팀이 23회 참가하였으며, 최고의 MedDRA® 코딩 F1-measure는 0.79, 최고의 품질 점수는 0.96, 최고의 언급 찾기 F1-measure는 0.89로 나타났다.
– 결론: NLP 기술은 개입 없이 사용할 수 있는 수준의 성능을 발휘하지는 못하지만, 사람의 약물 감시 작업 흐름에서 NLP 결과를 사용할 가치가 있다는 사실이 확인되었다.
Ref.> Samuel Bayer, Oanh Dang, John Aberdeen, Sonja Brajovic, Kimberley Swank, Lynette Hirschman, Robert Ball. (Drug Safety, 2021)
https://link.springer.com/article/10.1007/s40264-020-00996-3
