임상시험 결과는 어떻게 읽어야 할까? P-value와 신뢰구간의 의미

바이오기업의 임상 결과 발표를 처음 읽었을 때 가장 이해하기 어려웠던 숫자 중 하나가 P-value였습니다.

기업의 보도자료에는 이런 표현이 자주 등장합니다.

“1차 평가지표에서 통계적 유의성을 확보했다.”

“P-value가 0.05 미만으로 나타났다.”

반대로 임상시험 결과가 좋지 않을 때는

“통계적 유의성을 확보하지 못했다.”

라는 표현도 등장합니다.

처음에는 상당히 단순하게 생각하기 쉽습니다.

P-value가 0.05보다 작으면 성공이고, 0.05보다 크면 실패한 것 아닐까?

하지만 임상시험 데이터를 계속 공부하다 보면 이것만으로 결과를 해석하는 것이 위험하다는 것을 알게 됩니다.

P-value는 치료효과의 크기를 직접 알려주는 숫자가 아니며, 환자에게 그 효과가 얼마나 중요한지도 말해주지 않습니다.

임상시험에서는 먼저 무엇을 평가하기로 했는지 확인해야 하고, 실제 치료효과가 얼마나 나타났는지 살펴봐야 하며, 그 추정치의 불확실성도 확인해야 합니다.

그래서 지금은 임상 결과를 볼 때 P-value부터 찾지 않습니다.

먼저 다음 순서로 봅니다.

무엇을 측정했는가.

얼마나 차이가 났는가.

그 차이를 얼마나 확신할 수 있는가.

그리고 그 차이가 환자에게 의미가 있는가.

P-value는 이 과정에서 중요한 숫자이지만 전체 결과의 한 부분입니다.

임상시험은 먼저 ‘무엇을 성공으로 볼 것인가’를 정한다

임상 결과를 읽으려면 P-value보다 먼저 Endpoint, 즉 평가지표를 이해해야 합니다.

임상시험에서는 약을 투여한 뒤 막연히 “환자가 좋아졌는가?”를 보는 것이 아닙니다.

시험을 설계할 때 무엇을 측정해 치료효과를 평가할 것인지 정합니다.

예를 들어 항암제에서는 임상시험의 목적과 설계에 따라 전체생존기간(OS), 무진행생존기간(PFS), 객관적반응률(ORR) 등이 사용될 수 있습니다.

다른 질환에서는 증상점수, 특정 사건 발생률 또는 기능 개선 정도 등이 평가 대상이 될 수 있습니다.

FDA는 임상시험의 endpoint를 시험에서 발생한 결과를 측정하는 기준으로 설명합니다. 환자가 더 오래 사는지, 더 잘 기능하는지, 증상이 개선되는지처럼 직접적인 임상결과를 측정할 수도 있고 특정 상황에서는 임상적 이익을 대신 예측하는 surrogate endpoint가 사용되기도 합니다.

따라서 바이오기업이

“임상시험에서 통계적으로 유의한 결과를 확보했다.”

고 발표했다면 첫 번째 질문은

“무엇에서 유의했다는 것인가?”

가 되어야 합니다.

1차 평가지표가 중요한 이유

임상시험에는 여러 결과가 측정될 수 있습니다.

그중 특히 중요한 것이 Primary Endpoint, 즉 1차 평가지표입니다.

임상시험이 핵심적으로 검증하려고 설계한 질문과 연결되는 지표입니다.

예를 들어 가상의 항암제 임상시험에서

1차 평가지표: 무진행생존기간(PFS)

2차 평가지표: 전체생존기간(OS), 객관적반응률(ORR), 안전성

이라고 가정해 보겠습니다.

결과가 발표됐는데 PFS에서는 사전에 설정한 통계적 기준을 충족하지 못했지만 특정 하위그룹에서 좋은 결과가 나왔다면 어떻게 봐야 할까요?

단순히

“일부 환자에서는 효과가 있었다.”

라고만 해석해서는 부족합니다.

어떤 분석이 사전에 계획된 것이었는지, 1차 평가지표 결과는 어땠는지, 여러 분석을 수행하면서 우연히 긍정적인 결과가 발견될 가능성은 적절하게 통제됐는지를 함께 살펴봐야 합니다.

FDA도 잘 설계된 임상시험에서는 endpoint와 통계분석 방법을 사전에 정하는 것이 중요하며, 핵심 endpoint가 약물의 이익을 뒷받침하지 못한 뒤 여러 하위그룹 가운데 유리한 결과만 선택해서 강조하면 치료효과에 대한 근거를 과대평가할 수 있다고 설명한 바 있습니다.

바이오 투자자가 임상 결과를 읽을 때 1차 평가지표 달성 여부를 먼저 확인해야 하는 이유입니다.

그렇다면 P-value란 무엇인가

이제 P-value를 보겠습니다.

통계적인 정의를 지나치게 어렵게 설명할 필요는 없습니다.

가상의 임상시험에서 신약군과 대조군 사이에 차이가 나타났다고 하겠습니다.

통계분석에서는 흔히 먼저

“실제로는 치료효과 차이가 없다.”

라는 가설을 출발점으로 놓습니다.

이를 귀무가설이라고 합니다.

P-value는 이러한 귀무가설과 데이터가 얼마나 양립하기 어려운지를 평가하는 데 사용되는 통계량입니다. 좀 더 정확히 말하면 귀무가설이 참이라는 가정 아래에서 현재 관찰된 결과 또는 그보다 더 극단적인 결과가 나타날 확률과 관련된 값입니다. FDA의 통계 교육자료 역시 이와 같은 방식으로 P-value를 설명합니다.

여기서 매우 중요한 것이 있습니다.

P-value 0.03이라는 결과를

“이 약이 효과 없을 확률이 3%다.”

라고 해석하면 안 됩니다.

P-value가 직접 말해주는 내용이 아니기 때문입니다.

왜 0.05가 자주 등장할까

임상시험 결과를 보다 보면 P < 0.05라는 표현을 매우 자주 보게 됩니다.

전통적인 통계적 검정에서는 미리 정한 유의수준을 기준으로 결과를 판단할 수 있으며 0.05가 흔히 사용됩니다.

하지만 여기에서 투자자가 조심해야 합니다.

0.049와 0.051 사이에 약효 자체의 거대한 절벽이 존재하는 것은 아닙니다.

P = 0.049라고 해서 강력한 치료제가 되고 P = 0.051이라고 해서 갑자기 효과가 전혀 없는 약이 되는 것은 아닙니다.

P-value는 표본 수와 데이터 변동성, 관찰된 효과크기 등 여러 요소의 영향을 받습니다.

그래서 임상 결과를 단순히

0.05 미만 = 좋은 임상

0.05 이상 = 나쁜 임상

이라는 이분법으로만 해석하면 중요한 정보를 놓칠 수 있습니다.

같은 P-value라도 약효는 전혀 다를 수 있다

가상의 두 임상시험을 생각해 보겠습니다.

A 치료제는 대조군보다 증상을 평균 1점 개선했습니다.

B 치료제는 대조군보다 평균 10점 개선했습니다.

두 연구 모두 통계적으로 유의한 결과가 나왔다고 가정하겠습니다.

P-value만 본다면 두 연구 모두 성공적으로 보일 수 있습니다.

하지만 환자에게 1점의 개선과 10점의 개선이 동일한 의미를 갖는다고 할 수 있을까요?

그렇지 않을 수 있습니다.

여기에서 Effect Size, 즉 효과크기가 중요해집니다.

P-value는 효과가 얼마나 큰지를 직접 측정하는 값이 아닙니다. 통계적 유의성만으로 임상적 중요성을 판단하기 어려우며, 치료효과의 추정치와 신뢰구간을 함께 보는 것이 중요한 이유입니다.

따라서 임상 결과에서 P-value를 확인했다면 다음 질문은 자연스럽게

“그래서 실제 효과는 얼마나 컸는가?”

가 되어야 합니다.

효과크기를 먼저 확인해야 하는 이유

항암제 임상을 예로 들어보겠습니다.

가상의 임상에서 대조군의 중앙 무진행생존기간이 6개월이고 신약군이 6.5개월이었다고 가정해 보겠습니다.

매우 큰 규모의 연구라면 이런 차이가 통계적으로 유의하게 나타날 가능성도 생각해볼 수 있습니다.

하지만 투자자와 의료진에게 중요한 질문은 그것으로 끝나지 않습니다.

환자에게 0.5개월의 차이가 어떤 의미를 갖는가?

부작용은 어떠한가?

기존 치료법과 비교하면 어느 정도 개선인가?

치료비용이나 투여 편의성 등 다른 요소는 어떠한가?

반대로 환자 수가 작은 연구에서는 실제로 의미 있어 보이는 차이가 관찰돼도 통계적 불확실성이 커서 명확한 결론을 내리기 어려울 수 있습니다.

따라서

통계적으로 유의하다

와

임상적으로 의미 있다

는 같은 문장이 아닙니다.

신뢰구간은 무엇을 보여주는가

여기에서 Confidence Interval, 즉 신뢰구간이 등장합니다.

가상의 임상시험에서 신약이 대조군보다 특정 지표를 평균 8만큼 개선했고 95% 신뢰구간이 6~10이라고 가정해 보겠습니다.

8은 관찰된 치료효과의 추정값이고, 신뢰구간은 그 추정치 주변의 불확실성을 이해하는 데 중요한 정보를 제공합니다.

신뢰구간이 좁다면 일반적으로 효과 추정의 정밀도가 상대적으로 높다는 의미로 볼 수 있고, 넓다면 가능한 효과의 범위에 대한 불확실성이 더 크다는 것을 보여줄 수 있습니다.

따라서 임상 결과를 볼 때는

P-value

뿐 아니라

Effect Estimate + Confidence Interval

을 함께 보는 것이 중요합니다.

임상시험 보고에서도 결과를 P-value 하나로만 제시하기보다 치료효과의 추정치와 신뢰구간을 함께 제시하는 것이 중요하다는 원칙이 널리 사용됩니다.

신뢰구간이 넓다면 무엇을 의심해야 할까

가상의 두 임상을 비교해 보겠습니다.

A 임상

치료효과 추정치: 20%

95% 신뢰구간: 18~22%

B 임상

치료효과 추정치: 20%

95% 신뢰구간: 2~38%

점추정치만 보면 두 임상의 효과는 똑같이 20%입니다.

하지만 불확실성은 상당히 다릅니다.

A는 추정범위가 상대적으로 좁지만 B는 매우 넓습니다.

이럴 때는 표본 수, 사건 수, 데이터의 변동성, 연구설계 등을 추가로 확인해야 합니다.

바이오기업이 보도자료에서 가장 좋아 보이는 숫자 하나만 강조하더라도 투자자는 그 숫자 주변의 불확실성을 확인해야 하는 이유입니다.

“P-value가 매우 작다”는 것이 “효과가 매우 크다”는 뜻은 아니다

이 부분은 특히 기억할 필요가 있습니다.

P = 0.0001이라는 결과를 보면 P = 0.04보다 훨씬 뛰어난 약이라고 생각하기 쉽습니다.

하지만 두 P-value만 가지고 두 약의 치료효과 크기를 비교할 수는 없습니다.

P-value는 효과크기만으로 결정되지 않기 때문입니다.

표본 규모와 결과의 변동성 등도 영향을 미칩니다.

매우 작은 효과라도 충분히 큰 표본에서 통계적으로 강한 결과가 나올 수 있고, 반대로 임상적으로 의미 있어 보이는 효과라도 작은 연구에서는 불확실성이 크게 나타날 수 있습니다.

그래서 임상 결과를 읽을 때

P-value → 약효의 크기

로 바로 연결하면 안 됩니다.

그 사이에 반드시 Effect Size와 Confidence Interval을 확인해야 합니다.

1차 평가지표를 실패했는데 2차 평가지표가 좋다면?

바이오 투자자가 실제로 자주 마주칠 수 있는 상황입니다.

회사가 임상 결과를 발표하면서

“1차 평가지표는 통계적 유의성을 확보하지 못했지만 주요 2차 평가지표에서 긍정적인 결과를 확인했다.”

고 발표했다고 가정하겠습니다.

이 문장을 보고 바로

“임상 실패”

또는

“사실상 성공”

이라고 단정하는 것은 모두 조심해야 합니다.

먼저 시험설계를 확인해야 합니다.

1차 평가지표는 무엇이었는가?

2차 평가지표는 사전에 정의됐는가?

통계적 검정의 순서는 어떻게 설계됐는가?

다중비교 문제는 어떻게 처리했는가?

해당 결과가 확증적인 분석인지 탐색적인 분석인지?

를 확인해야 합니다.

FDA는 한 임상에서 여러 endpoint를 분석할수록 적절한 조정이 없다면 우연에 의해 잘못된 긍정적 결론을 내릴 가능성이 커질 수 있다고 설명합니다. 그래서 다중 endpoint의 분석에서는 multiplicity를 관리하는 통계적 전략이 중요합니다.

좋은 하위그룹 결과를 발견했다면 어떻게 봐야 할까

예를 들어 전체 환자에서는 명확한 효과가 나타나지 않았는데 특정 바이오마커를 가진 환자군에서 매우 좋은 결과가 나왔다고 가정하겠습니다.

이 결과는 의미 없는 데이터라고 단정할 필요는 없습니다.

오히려 다음 임상을 설계하는 중요한 단서가 될 수 있습니다.

하지만 여기에서도 질문해야 합니다.

그 하위그룹은 임상 전에 정의됐는가?

표본은 충분한가?

여러 하위그룹 가운데 하나만 우연히 좋아 보인 것은 아닌가?

생물학적으로 설명할 수 있는 근거가 있는가?

다른 데이터에서도 재현되는가?

특히 임상이 끝난 뒤 수많은 환자군을 나누어 가장 좋은 결과만 골라낸 경우에는 탐색적 발견과 확증적 근거를 구분할 필요가 있습니다.

임상 결과 보도자료를 읽을 때 제가 확인하려는 순서

바이오기업이 Top-line 결과를 발표했다고 가정해 보겠습니다.

저라면 제목의

“통계적 유의성 확보”

부터 보지 않습니다.

다음 순서로 정리해 보는 것이 더 유용하다고 생각합니다.

1. 임상시험의 목적은 무엇이었는가
2. 1차 평가지표는 무엇이었는가
3. 1차 평가지표를 달성했는가
4. 실제 치료효과의 크기는 얼마인가
5. 대조군과 비교하면 어느 정도 차이가 나는가
6. P-value는 얼마인가
7. 신뢰구간은 어떻게 나타났는가
8. 안전성 결과는 어떠한가
9. 2차 평가지표와 하위그룹 결과는 어떻게 나타났는가
10. 이 결과가 다음 개발단계나 허가전략에 어떤 근거를 제공하는가

이렇게 보면 임상 결과 발표가 단순히

성공 / 실패

두 단어로만 보이지 않기 시작합니다.

통계적으로 성공했다고 신약개발이 끝나는 것은 아니다

임상시험의 목적은 단순히 P < 0.05라는 숫자를 만드는 것이 아닙니다.

궁극적으로는 치료제가 환자에게 의미 있는 이익을 제공하면서 그 이익과 위험의 균형이 적절한지를 평가해야 합니다.

FDA도 신약의 임상개발과 심사에서 효과와 안전성에 관한 근거를 바탕으로 전체적인 benefit-risk를 평가합니다. 임상 3상은 앞선 단계에서 확보된 유효성 근거를 바탕으로 보다 많은 환자에서 효과와 안전성 정보를 축적하는 과정입니다.

따라서 투자자는 P-value만으로 신약의 가치를 계산해서는 안 됩니다.

통계적 결과가 좋아도 효과크기가 작을 수 있고,

효과가 좋아 보여도 안전성 문제가 있을 수 있으며,

전체 결과는 좋지만 특정 중요한 endpoint에서 불확실성이 남을 수도 있습니다.

결국 데이터 전체를 봐야 합니다.

이 글에서 가장 기억해야 할 네 가지 숫자

복잡한 통계용어가 부담스럽다면 처음에는 네 가지만 확인해도 좋습니다.

첫째, Endpoint

무엇을 측정했는가.

둘째, Effect Size

실제로 얼마나 차이가 났는가.

셋째, P-value

관찰된 결과가 사전에 설정한 통계적 검정에서 어떤 근거를 제공하는가.

넷째, Confidence Interval

그 효과 추정에 얼마나 불확실성이 있는가.

저는 이 네 가지를 따로 보지 않고 하나의 흐름으로 연결하는 것이 중요하다고 생각합니다.

Endpoint → Effect Size → P-value → Confidence Interval

그리고 마지막에 하나를 더 붙입니다.

Clinical Meaning

즉 환자에게 실제로 의미 있는 변화인가입니다.

P-value를 배우는 목적은 숫자를 외우는 것이 아니다

바이오기업의 임상 결과 발표에는 숫자가 많이 등장합니다.

P-value,

Hazard Ratio,

Confidence Interval,

Response Rate,

Median PFS,

Median OS.

처음에는 숫자가 많을수록 전문적인 자료처럼 느껴집니다.

하지만 투자자가 통계를 공부하는 목적은 어려운 공식을 계산하기 위해서가 아닙니다.

기업이 발표한 숫자가 무엇을 의미하고 무엇을 의미하지 않는지를 구분하기 위해서입니다.

특히 P-value는 강력한 도구이지만 혼자서는 임상 결과 전체를 설명할 수 없습니다.

그래서 앞으로 임상 결과를 볼 때

“P-value가 몇인가?”

에서 멈추지 않고 다음 질문까지 이어가려고 합니다.

무엇을 측정했는가?

효과는 얼마나 컸는가?

그 효과의 불확실성은 어느 정도인가?

환자에게 실제로 의미가 있는가?

그리고 이 결과가 다음 임상이나 허가로 이어질 만큼 충분한 근거인가?

이 질문을 할 수 있게 되면 임상시험 결과를 보는 방식이 달라집니다.

기업이 발표한 “통계적 유의성 확보”라는 한 문장을 그대로 받아들이는 것이 아니라 그 문장 뒤에 있는 데이터를 읽기 시작하게 됩니다.

신약개발에서 중요한 것은 좋은 숫자 하나가 아닙니다.

사전에 정한 질문에 대해 신뢰할 수 있는 데이터가 얼마나 일관된 답을 주고 있는가입니다.

그리고 바이오 투자자에게 임상 통계를 공부하는 목적도 결국 여기에 있다고 생각합니다.

좋은 숫자를 찾는 것이 아니라 좋은 근거와 불확실성을 구분하는 것입니다.

※ 이 글은 신약개발 및 임상시험 결과를 이해하기 위한 정보 제공을 목적으로 작성되었습니다. 통계적 유의성은 임상적 유용성이나 규제기관의 승인 여부를 단독으로 결정하는 기준이 아니며, 실제 임상시험은 연구설계와 사전에 정한 통계분석계획 등에 따라 해석해야 합니다. 특정 기업이나 금융상품의 매수·매도를 권유하지 않습니다.

참고자료

U.S. Food and Drug Administration (FDA), Multiple Endpoints in Clinical Trials — Guidance for Industry — 임상시험의 다중 평가지표와 multiplicity 관리.

U.S. Food and Drug Administration (FDA), Surrogate Endpoint Resources for Drug and Biologic Development — 임상시험 endpoint와 clinical/surrogate endpoint의 개념.

U.S. Food and Drug Administration (FDA), Drug Development and Review Definitions — 임상 1·2·3상의 목적과 개발단계.

U.S. Food and Drug Administration (FDA), Statistical Principles for Clinical Development — P-value의 통계적 의미.

CONSORT, Explanation and Elaboration: Guidelines for Reporting Randomised Trials — 임상시험 결과에서 치료효과와 신뢰구간 보고의 중요성.