SeltaSquare

1. 
2. 

셀타스퀘어는 업계의 변화를 가장 먼저 읽고, 고객에게 의미 있는 인사이트를 전달합니다.

 

Signal Detection 방법론은 왜 계속해서 진화해 왔는가

지난 10월 14일 롯데호텔 서울에서 개최된 2026 KIC(KoNECT International Conference) ‘Advancing Pharmacovigilance: Strategies for Effective Safety Management’ 세션에서, 셀타스퀘어 데이터센터 김동욱 센터장은 ⌈A Severity-Aware Framework for Pharmacovigilance Signal Detection⌋을 주제로 이상사례의 임상적 중증도를 반영한 Signal Detection 프레임워크를 발표했습니다.

발표는 방법론의 흐름을 짚는데서 출발했습니다. 초기 약물감시는 증례 보고와 집적에 의존했지만, 보고 건수가 늘면서 PRR·ROR 같은 자동화된 불균형 분석이 주력 기법이 되었습니다. 이어 희소 데이터의 불안정성을 줄이기 위해 IC·EBGM이 등장했고, 최근에는 RWD 기반 능동감시와 AI 활용으로 범위가 넓어지고 있습니다. 다만 각 세대가 문제의 일부만 해결했을 뿐, 다음과 같은 한계는 여전히 남아있습니다.
 

ㆍ중증도 정보 손실: 경증과 중증을 하나의 이진 사건으로 취급

ㆍ교란요인: 적응증, 기저질환, 병용약물이 투여 결과에 모두 영향

ㆍ분모 부재: SRS만으로는 실제 노출 환자와 비발생 환자를 알 수 없음

ㆍ다중검정: 검정 대상 쌍이 많을수록 우연한 위양성 증가

여기서 중요한 전제는 Signal은 최종 결론이 아닌 ‘검증할 가치가 있는 안전성 가설’이며, PRR·ROR은 발생률이나 인과 위험이 아닌 보고의 불균형을 보여주는 가설 생성 도구라는 점입니다.

연관성과 중증도를 하나의 점수로: 프레임워크 구조

셀타스퀘어가 제안한 프레임워크는 세 단계로 구성됩니다.

ㆍ중증도 정의: 이상사례 없음·경증·중등도·중증의 4단계 순서형(Ordinal)으로 정의

ㆍ교란 보정: 활성 대조군 신규 사용자 코호트를 설계하고, 성향 점수 기반 IPTW로 연령·성별·기저질환 등 측정된 교란요인 보정

ㆍ근거 통합: 중증도를 반영한 보정 오즈비와 보정 후 기대 중증도 차이를 하나의 점수로 통합해 약물-이상사례 쌍의 검토 순서를 도출

점수로 순위가 정해진 후보에는 인과효과(ATE·ATT) 추정치가 함께 제공되어 PV 전문가가 어떤 신호를 먼저 볼지 판단할 때 참고할 수 있는 정량적 근거가 됩니다.

시뮬레이션 결과: 위양성은 줄이고, 판별력은 높이고*

가상환자 93,506명, 6개 약물, 482개 약물-이상사례 쌍으로 구성한 시뮬레이션 데이터에서 50회 반복 분할 평가 수행 결과 위양성률은 ROR 대비 65.2%, PRR 대비 58.3% 상대적으로 감소했습니다.

지표	ROR	PRR	제안 방법
AUROC	0.928	0.928	0.973
F1-score	0.786	0.779	0.885
정밀도	0.728	0.753	0.899
민감도	0.856	0.809	0.880
위양성률	0.115	0.096	0.040

IPTW 적용 후에는 공변량 불균형이 약 1.07에서 0.08로 낮아져 평가한 모든 비교에서 0.10 미만을 달성했고, 효과 추정 편향은 75.5% 줄었습니다.

검토 대상 후보 193쌍은 우선순위 1·2·3으로 분류되었고, 우선순위가 높은 후보일수록 인과효과 추정치도 위험 증가 방향으로 나타나는 경향을 보였습니다.

*모든 수치는 시뮬레이션 기준입니다.

SeltaSquare Insight: Signal Detection의 목적은 ‘확정'이 아니라 ‘우선순위’입니다.

“Safety Signal Detection의 목적은 인과관계를 확정하는 것이 아니라,

임상적으로 더 중요한 신호를 먼저 가려내 전문가의 판단을 돕는 것입니다.”

점수가 높다는 것이 곧 인과관계의 확정을 뜻하는 것은 아닙니다. 이 프레임워크는 제한된 PV 리소스를 임상적으로 더 중요한 후보에 먼저 배분하도록 돕는 도구이며, 최종적인 안전성 판단은 증례 검토와 임상·규제 관점의 전문가 평가를 통해 이루어져야 합니다.

또한 이번 결과는 시뮬레이션 데이터 기반으로, 다음 단계는 실제 RWD에서의 검증입니다. 셀타스퀘어는 EHR 등 실사용데이터로 분석과 검증을 확대하고, SRS·청구자료·문헌 등 다양한 출처의 근거를 통합하는 한편, 이상사례 발현 시기와 용량-반응 관계를 반영해 방법론을 고도화할 계획입니다. 아울러 설명 가능한 AI(XAI)로 분석 근거를 설명하고 전문가의 판단을 지원하는 방향으로 발전시켜 나가겠습니다.

셀타스퀘어와 함께라면, 데이터에서 Safety 의사 결정까지-

Signal Detection은 알고리즘 하나로 완성되지 않습니다. 어떤 데이터로 신호를 탐지하고, 인과효과는 어떻게 추정하며, 어떤 기준으로 우선순위를 정할지, 그 근거를 규제 대응 시 어떻게 연결할 지까지 설계해야 합니다.

“셀타스퀘어는 약물감시 전문성과 RWD, AI 역량을 결합해 통계적 신호를 PV전문가가 신뢰할 수 있는 안전성 근거로 만드는 Evidence Partner 입니다.”