예측 vs 추론

상관관계(Correlation)

야식 섭취와 체중 변화 사이에는 상관관계가 존재할 수 있다. 이러한 상관관계를 정량적으로 분석하고자 할 때, 구체적인 함수적 관계를 파악하는 것이 중요하다. 예를 들어, 'X번의 야식 섭취가 Y(kg)의 체중 증가를 유발한다'는 명확한 상관관계를 규명할 수 있다면, 이는 체중 관리 전략 수립에 유용한 정보가 될 것이다.

이러한 상관관계를 분석하기 위해서는 체중을 출력변수 Y, 야식 섭취 횟수를 입력변수 X로 설정하고, Y와 X의 관계를 함수로 표현할 수 있다.

통계학습(Statistical Learning)

$Y = f(X)$
함수 f를 추정하는 일련의 기법을 통계학습(Statistical Learning)이라고 한다. 통계학습은 기계학습(Machine Learning)의 영향으로 등장한 분야로, 두 분야는 밀접한 관련성을 갖고 있다.

함수 f를 정확하게 추정하더라도 추정된 함수 $\hat{f}$(hat 기호는 추정값을 의미함)와 실제 함수 f 사이에는 불가피한 오차가 존재한다. 이러한 오차는 $\epsilon$으로 표현되며, 이를 오차항(error term)이라고 한다.

따라서 통계학습은 보다 정확히 표현하면 $Y = f(X) + \epsilon$에서 함수 f를 추정하는 기법들의 집합이다.

통계학습의 목적: 예측 vs 추론

통계학습의 주요 목적은 크게 두 가지로 분류할 수 있다. 첫째는 변수 간의 관계를 설명하고 이해하려는 추론(Inference) 목적이고, 둘째는 미래의 결과를 예측하려는 예측(Prediction) 목적이다.

예를 들어, 야식 섭취와 체중 변화 간의 상관관계를 분석하여 그 메커니즘을 이해하고자 하는 경우는 추론 목적에 해당한다. 반면, 특정 기간 동안의 야식 섭취 횟수를 바탕으로 체중 변화를 예측하고자 하는 경우는 예측 목적에 해당한다.

예측(Prediction)

예측을 목적으로 하는 사례를 살펴보자.

연구 대상자 A는 야식 섭취 횟수 증가에 따른 체중 증가를 경험하고 있다. A는 주간 야식 섭취 횟수가 1회에서 4회까지 변동하며, 이에 따른 체중 변화를 관찰하였다. A는 일주일간 매일 야식을 섭취할 경우의 체중 변화를 예측하고자 하나, 건강상의 이유로 실제 실험은 수행하지 않기로 결정하였다. 따라서 A는 통계학습을 활용하여 야식 섭취와 체중의 상관관계를 추정하고, 이를 바탕으로 가상의 시나리오에 대한 체중 예측을 수행하고자 한다.

이는 통계학습을 통한 예측의 전형적인 사례이며, 함수 f를 추정하는 주요한 동기가 된다.

추론(Inference)

추론을 목적으로 하는 사례를 살펴보자.

연구 대상자 B는 최근 체중 증가를 경험하고 있으나 그 원인을 명확히 파악하지 못하고 있다. 동료들은 야식 섭취 또는 삼겹살 섭취가 원인일 것이라고 제안하였다. B는 과거 야식 및 삼겹살 섭취 일정과 해당 일자의 체중 측정 데이터를 보유하고 있다. B는 체중과 야식, 삼겹살 섭취 간의 관계를 분석하여 두 요인 중 체중에 더 큰 영향을 미치는 요인을 규명하고자 한다.

이는 통계학습을 통한 추론의 사례로, Y와 X 간의 관계를 설명하고 이해하려는 목적을 갖는다. 이 또한 함수 f를 추정하는 중요한 동기가 된다.

이러한 두 가지 목적을 구분하는 것이 중요한 이유는 목적에 따라 함수 f의 형태가 달라지기 때문이다.

목적에 따른 함수의 변화

예측이 주요 목적인 경우, 함수 f는 다음과 같은 복잡한 형태를 가질 수 있다:
$Y=\beta_{1}X^{128902398}+\beta_{2}X^{8998}+\beta_{3}X^{139}+\cdots$

이러한 함수는 Y와 X의 관계를 직관적으로 해석하기 어렵다. 그러나 예측 정확도가 주요 목표라면, 해석 가능성보다는 예측 성능이 우선시된다.

반면, 추론이 주요 목적인 경우, 함수 f는 해석 가능한 형태로 제한되어야 한다. 복잡한 함수는 인간이 이해하고 설명하기 어렵기 때문이다.

추론 목적에서는 함수 f가 단순하고 해석 가능해야 한다:
$Y = X + 80(kg)$
여기서 X는 주간 야식 섭취 횟수, Y는 체중을 나타낸다.

이 경우 야식과 체중의 관계는 다음과 같이 명확하게 설명할 수 있다:

체중은 야식 섭취 횟수에 비례하여 증가하며, 야식 1회당 체중이 1kg씩 증가한다.

예측과 추론의 상충관계

해석 가능성이 높은 $Y = X + 80(kg)$ 모델의 예측 성능은 상대적으로 낮을 가능성이 크다.

반대로, 경험적 관찰에 따르면 다음과 같은 복잡한 모델:
$Y=\beta_{1}X^{128902398}+\beta_{2}X^{8998}+\beta_{3}X^{139}+\cdots$
은 훨씬 높은 예측 성능을 보일 수 있다. 다만, Y와 X의 관계에 대한 직관적 설명은 불가능하다.

이처럼 예측과 추론 사이에는 트레이드오프(trade-off) 관계, 즉 상충관계가 존재한다. 예측 성능이 향상되면 추론 및 해석 가능성은 감소하는 경향이 있다.

실제 연구 및 응용 분야에서는 이 두 목적을 모두 충족해야 하는 경우가 빈번하다. 따라서 예측 성능과 해석 가능성이 균형을 이루는 최적의 함수 f를 찾는 것이 통계학습 연구의 핵심 과제이다.

흥미로운 점은 현재의 인공지능 시스템들이 예측 성능에 중점을 둔 결과, 그 작동 원리에 대한 해석 가능성이 제한적이라는 것이다.