통계하고가

A Conformal Prediction Approach to Explore Functional Data 구현 (1)- EM 알고리즘

김통계임 — Tue, 21 Apr 2026 22:55:50 +0900

GMM을 구현하기에 앞서 EM 알고리즘에 대해 이해할 필요가 있다. EM 알고리즘을 GMM의 parameter 추정에 사용하는 이유는 각 데이터가 어떤 Gaussian component로부터 생성되었는지를 알 수 없기 때문이다. 즉, 데이터에 대한 component label이 관측되지 않는 latent variable 형태로 존재한다.

GMM에서는 각 Gaussian component의 평균과 공분산인 $\mu_k, \Sigma_k,\pi_k$를 추정해야 하며, 각 데이터가 특정 Gaussian component에 속할 확률인 responsibility 또한 함께 계산해야 한다. 그러나 관측된 데이터만으로는 각 sample이 어느 Gaussian component에 속하는지 직접 알 수 없기 때문에 바로 likelihood를 최대화하는 것이 어렵다.

EM 알고리즘은 이러한 문제를 해결하기 위해 반복적으로 다음 과정을 수행한다. 먼저 E-step에서는 현재 parameter를 이용하여 각 데이터가 특정 Gaussian component에 속할 posterior probability, 즉 responsibility를 계산한다. 이후 M-step에서는 계산된 responsibility를 기반으로 $\mu_k,\Sigma_k,\pi_k$를 다시 업데이트한다. 이를 반복함으로써 GMM의 parameter를 점진적으로 추정할 수 있다.

EM Algorithm: E-step

Given Data:
\[
\{ X_i, z_i \} \quad \text{(latent variable $ z_i $ not observed)}
\]
\[
X_i | z_i = k \sim \mathcal{N}(\mu_k, \Sigma_k), \quad k = 1, 2, 3
\]
\[
z_i: \text{group membership (weight)}
\]

Log-likelihood:

\[
lc(\theta) = \sum_{i=1}^{n} \sum_{k=1}^{K} I(z_i = k) \left( \log \pi_k - \frac{1}{2} \log |\Sigma_k| - \frac{1}{2} (X_i - \mu_k)^T \Sigma_k^{-1} (X_i - \mu_k) \right)
\]
\[
\log \text{likelihood} = \sum_{i=1}^{n} \log \sum_{k=1}^{K} \pi_k \mathcal{N}(X_i | \mu_k, \Sigma_k)
\]

EM Algorithm: E-step
Objective: We don't observe $z_i$, so we compute the expected log-likelihood based on $z_i$:

\[
Q(\theta | \theta^{(t)}) = \mathbb{E}[lc(\theta) | X_i; \theta^{(t)}]
\]
\[
P(z_i = k | X_i, \theta^{(t)}) = \frac{\pi_k^{(t)} \mathcal{N}(X_i | \mu_k^{(t)}, \Sigma_k^{(t)})}{\sum_{j=1}^{K} \pi_j^{(t)} \mathcal{N}(X_i | \mu_j^{(t)}, \Sigma_j^{(t)})}
\]

Responsibility: The above probability is known as the responsibility $\tilde{w}_{ik}^{(t)}$:
\[
\tilde{w}_{ik}^{(t)} = P(z_i = k | X_i, \theta^{(t)})
\]

EM Algorithm: M-step with Normalized Weights

Update parameters:

1. $\pi_k^{(t+1)}$:
\[
\hat{\pi}_k^{(t+1)} = \frac{1}{n} \sum_{i=1}^{n} \tilde{w}_{ik}^{(t)}
\]

\[
\tilde{w}_{ik}^{(t)} = \frac{w_{ik}^{(t)}}{\sum_{k=1}^{K} w_{ik}^{(t)}}
\]

2. $\mu_k^{(t+1)}$:
\[
\hat{\mu}_k^{(t+1)} = \frac{1}{n} \sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} X_i \quad \left( \sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} = 1 \right)
\]

3. $\Sigma_k^{(t+1)}$:
\[
\hat{\Sigma}_k^{(t+1)} == {\sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} (X_i - \hat{\mu}_k^{(t+1)})(X_i - \hat{\mu}_k^{(t+1)})^T}
\]

Maximization step:
\[
\theta^{(t+1)} = \arg \max_{\theta} Q(\theta | \theta^{(t)})
\]
위 step으로 인해 iteration이 진행될수록 likelihood가 감소하지 않는다. 즉, EM 알고리즘은 매 iteration마다 likelihood를 증가(또는 유지)시키는 방향으로 parameter를 업데이트한다.

Proof of $\mu_k$ and $\Sigma_k$ Update

1. Proof of $\mu_k$
\[
\frac{\partial}{\partial \mu_k} \sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} \left( - \frac{1}{2} (X_i - \mu_k)^T \Sigma_k^{-1} (X_i - \mu_k) \right) = 0
\]

\[
\sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} \Sigma_k^{-1} (X_i - \mu_k) = 0
\]

\[
\hat{\mu}_k^{(t+1)} = {\sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} X_i} \quad \left( \sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} = 1 \right)
\]

2. Proof of $\Sigma_k$:

\[
\frac{\partial}{\partial \Sigma_k} \sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} \left( - \frac{1}{2} \log |\Sigma_k| - \frac{1}{2} (X_i - \mu_k)^T \Sigma_k^{-1} (X_i - \mu_k) \right) = 0
\]

\[
\hat{\Sigma}_k^{(t+1)} ={\sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} (X_i - \hat{\mu}_k^{(t+1)})(X_i - \hat{\mu}_k^{(t+1)})^T}
\]

위 방법들 처럼 likelihood를 업데이트 하려는 변수로 편미분하면 아래 $\pi_k$같은 경우 해가 나오지 않는다. 그 이유는 $\sum_{k=1}^{K}\pi_k=1$이라는 제약 조건이 있기 때문이다. 이런 경우 Lagrange Multiplier를 사용해 $\pi_k$를 구한다.

Lagrange Multiplier Method:

\[
\mathcal{L}(x, \lambda) = f(x) + \lambda g(x)
\]

- $f(x)$: 최적화하려는 목적 함수.
- $g(x) = 0$: 제약 조건.
- $\lambda$: 라그랑주 승수(Lagrange multiplier).

\[
\nabla f(x) + \lambda \nabla g(x) = 0
\]
\[
g(x) = 0
\]

Proof of $\pi_k$ Update using Lagrange Multiplier

3. Proof of $\pi_k$:

\[
\mathcal{L}(\pi_k, \lambda) = \sum_{i=1}^{n} \sum_{k=1}^{K} \tilde{w}_{ik}^{(t)} \log \pi_k + \lambda \left( 1 - \sum_{k=1}^{K} \pi_k \right)
\]

\[
\frac{\partial}{\partial \pi_k} \mathcal{L}(\pi_k, \lambda) = \sum_{i=1}^{n} \tilde{w}_{ik}^{(t)} \frac{1}{\pi_k} - \lambda = 0
\]

\[
\hat{\pi}_k^{(t+1)} = \frac{1}{n} \sum_{i=1}^{n} \tilde{w}_{ik}^{(t)}
\]

np.searchsorted

김통계임 — Sun, 25 Jan 2026 19:55:21 +0900

Numpy에 있는 함수인 searchsorted에 대해 알아보자.

Numpy 기술 문서에 따르면,

'Find indices where elements should be inserted to maintain order.' 즉, 순서를 유지하면서 해당 요소가 삽입될 위치를 찾는 함수이다.

이 함수를 쓰게 된 경위는 $e_{i,j} = \frac{K(n_{\mathrm{cal}}+1) I(S_{n+i,j} \ge T_{i}^{+})}{\sum_{l=1}^{n_{\mathrm{cal}}}\sum_{j^{\prime}=1}^{K} I(S_{n_{\mathrm{tr}} + l,j^{\prime}} \ge T_{i}^{-}) + K}$을 구하기 위해서인데 이때 $T_i^{+}$와 $T_i^{-}$는 stopping times로 다음과 같다.

$T_i^{+} = \inf \left\{ t \in \mathbb{R} : \widehat{\text{FDP}}_i^+(t) \leq \tilde{\alpha} \right\}, \text{ where }
\widehat{\mathrm{fdp}}_{i}^{+} (t) = \frac{m-1}{n_{\mathrm{cal}}+1} \frac{ \sum_{k=1}^{n_{\mathrm{cal}}} \sum_{j=1}^{K} I(S_{n_{\mathrm{tr}} + k,j} \ge t) + K}{1 \vee \sum_{l \in [m]\setminus \{i\}} \sum_{j=1}^{K} I(S_{n + l,j} \ge t)}$,

$T_i^{-} = \inf \left\{t \in \mathbb{R} : \widehat{\text{FDP}}_i^-(t) \leq \tilde{\alpha} \right\}, \text{ where }
\widehat{\mathrm{FDP}}_{i}^{-} (t) = \frac{m-1}{n_{\mathrm{cal}}+1} \frac{ \sum_{k=1}^{n_{\mathrm{cal}}} \sum_{j=1}^{K} I(S_{n_{\mathrm{tr}} + k,j} \ge t)}{1 \vee \sum_{l \in [m]\setminus \{i\}} \sum_{j=1}^{K} I(S_{n + l,j} \ge t)}$

여기서 왜 우리가 searchsorted함수를 사용해야하는 이유에 대해 알 수 있다. 위 Stopping times인 $T_i^{+}$와 $T_i^{-}$를 구하기 위해서는 실수 범위 내에서 특정 조건을 만족하는 값을 찾아야 한다. 실제 계산 과정에서는 관측된 수많은 점수(Scores)를 후보군으로 두고 비교 연산을 수행하게 되는데 이때 일반적인 반복문(Loop) 대신 Numpy의 searchsorted 함수를 사용하면 연산 효율을 극대화할 수 있다.

왜냐하면 np.searchsorted는 내부적으로 이진 탐색(Binary Search) 알고리즘을 사용하기 때문에, 이미 정렬된 배열에서 특정 값의 위치를 $O(\log n)$의 시간 복잡도로 매우 빠르게 찾아내기때문이다.

side="left" 옵션과 Infimum의 관계

예를 들어 위 수식에서 $T_i^{+}$는 다음과 같이 인피멈(Infimum, 하한)으로 정의된다.

$$T_i^{+} = \inf \left\{ t \in \mathbb{R} : \widehat{\text{FDP}}_i^+(t) \leq \tilde{\alpha} \right\}$$

이는 조건을 만족하는 $t$ 값들 중 가장 작은 값을 찾겠다는 의미이다.

가장 왼쪽 위치 탐색: side="left" 옵션은 찾고자 하는 값이 삽입될 수 있는 가장 왼쪽 인덱스를 반환한다. 즉, 배열이 오름차순으로 정렬되어 있을 때 FDP 조건을 만족하기 시작하는 '가장 첫 번째' 지점을 즉시 찾아낸다.
결과적으로 조건을 만족하는 가장 작은 인덱스를 찾는 것은, 집합의 하한(Infimum)을 찾는 것과 논리적으로 동일하다.
기능 응용: a=[1,2,2,3,3,4,5]의 순서를 망치지 않고 b=[3,4]가 들어갈 index를 찾아보자. 아래 코드에서 index는 각각 3,5가 위와 같이 나온다. `len(a)-np.searchsorted(a,b,side="left")`을 사용하면 리스트 a의 원소들 중에 리스트 b에 있는 원소들 보다 크거나 같은 원소들의 갯수가 list형식으로 반환된다.

a=[1,2,2,3,3,4,4,5]
b=[3,4]

np.searchsorted(a,b,side="left")

#array([3, 5])

len(a)-np.searchsorted(a,b,side="left")

#array([5, 3])

all_scores = np.sort(np.unique(np.concatenate([s_ref_flat, s_te_flat])))[::-1]
            
# 각 그룹 i별로 '나를 제외한 다른 그룹의 점수'를 빠르게 계산하기 위해
# 전체 s_te에 대한 카운트 테이블을 미리 만듭니다.
count_ref = (len(s_ref_flat) - np.searchsorted(s_ref_flat, all_scores, side='left'))
count_te_total = (len(s_te_flat) - np.searchsorted(np.sort(s_te_flat), all_scores, side='left'))

T_plus = np.full(m, all_scores[0])
T_minus = np.full(m, all_scores[0])

# 각 그룹별로 최적의 t를 찾기 위해 벡터화된 연산 수행
# s_te[i]의 값들이 all_scores의 어디에 위치하는지 인덱스 맵 생성
for i in range(m):
    s_te_i = s_te[i]
    # count_other_te(t) = count_te_total(t) - count_in_group_i(t)
    count_in_i = (len(s_te_i) - np.searchsorted(np.sort(s_te_i), all_scores, side='left'))
    count_other_te = count_te_total - count_in_i
    denom = np.maximum(1, count_other_te)

    # FDP 조건 만족하는 인덱스 찾기
    fdp_plus = ((m - 1) / (n_cal + 1)) * (count_ref + self.K) / denom
    fdp_minus = ((m - 1) / (n_cal + 1)) * count_ref / denom

    plus_idx = np.where(fdp_plus <= self.alpha_tilde)[0]
    minus_idx = np.where(fdp_minus <= self.alpha_tilde)[0]

    if plus_idx.size > 0: T_plus[i] = all_scores[plus_idx[0]]
    if minus_idx.size > 0: T_minus[i] = all_scores[minus_idx[0]]

# e-values 계산 (벡터화)
e_values = np.zeros((m, self.K))
# T_minus에 따른 분모 계산 최적화
denoms = (len(s_ref_flat) - np.searchsorted(s_ref_flat, T_minus, side='left')) + self.K

for i in range(m):
    mask = (s_te[i] >= T_plus[i])
    e_values[i, mask] = (self.K * (n_cal + 1)) / denoms[i]

Supremum과 side="right"

반대로 만약 슈프리멈(Supremum, 상한)을 찾아야 하는 경우에는 side="right" 옵션을 사용하면 된다.

출처 : 넘파이 기술문서 내 searchsorted함수https://numpy.org/doc/2.2/reference/generated/numpy.searchsorted.html,gemini

A Conformal Prediction Approach to Explore Functional Data

김통계임 — Tue, 7 Oct 2025 23:40:50 +0900

논문 선정 배경 및 Introduction

이 논문은 Functional Data Analysis(FDA)와 Conformal Prediction이라는 두 가지 중요한 통계적 방법론을 결합한 연구이다. 특히 FDA에 Conformal Prediction을 적용함으로써, 함수형 데이터에 대한 신뢰구간과 예측집합을 구축하고 이를 통해 예측의 불확실성을 체계적으로 정량화했다는 점에서 주목할 만하다. 이러한 방법론의 융합은 함수형 데이터 분석의 신뢰성을 높이는 새로운 접근법을 제시했다는 점에서 의미가 있다.

1.Introduction

함수형 데이터는 그 무한 차원적 특성으로 인해 시각화와 데이터 특성 파악에 어려움이 있다. 특히 어떤 곡선이 전체 데이터를 대표하는지, 혹은 어떤 곡선이 이상치인지를 판단하는 것이 쉽지 않다. 본 논문은 이러한 문제를 해결하기 위해 두 가지 접근법을 제시한다.

첫째는 함수의 차원을 축소하는 방법이다. 이는 곡선의 주요 구조적 특징을 파악하는 데 효과적이다. 그러나 이 방법은 클러스터링 수행 시 중요한 밀도 수준 정보가 손실될 수 있다는 한계를 가진다.

둘째는 유사 밀도$(\text{pseudo density})$를 활용하는 방법이다. 이는 무한 차원 함수 공간에서 특별한 의미를 갖는다. 함수 공간에서는 유한 지배 측도(σ-finite dominating measure)가 존재하지 않아 일반적인 의미의 확률 밀도 함수를 정의할 수 없기 때문이다. 유사 밀도는 이러한 한계를 극복하고 밀도와 유사한 역할을 수행함으로써, 함수형 데이터의 분포 특성을 효과적으로 분석할 수 있게 한다.

참고로 기본적인 conformal predcition와 FDA의 개념은 후에 기록하겠다.

2. 함수 공간 차원 축소

함수형 데이터 분석(FDA)에서는 함수 데이터가 고차원 무한 차원 공간 $L^2[0,1]$에 속하기 때문에 직접적인 분석이 어려운 경우가 많다. 이에 따라 차원 축소 방법을 통해 유한 차원 공간으로 투영하여 데이터를 표현하는 것이 일반적이다. 본 보고서는 차원 축소를 기반으로 한 예측 밴드 정의와, 경계 개선을 통해 밴드의 효율성을 높이는 방법을 논의한다.

본 논문에서는 Gaussian Mixture Model (GMM)을 사용하여 함수형 데이터의 예측 밴드를 정의하기 전에, 데이터가 Mixture of Gaussian Processes (MGP)를 따른다는 전제를 기반으로 차원 축소와 투영 과정을 수행했다.데이터가 MGP를 따른다고 가정한 것은 Gaussian Mixture Model (GMM)을 활용하여 밀도 기반 예측 밴드를 정의하기 위함이다. 하지만 CP 자체는 이러한 분포 가정이 없어도 사용 가능하다. 즉, MGP 가정은 GMM 모델링의 적합성을 보장하기 위한 것이며, Conformal Prediction은 분포에 독립적으로 작동할 수 있는 유연성을 제공한다.

2-1.차원 축소와 투영함수

공간 $L^2[0,1]$의 데이터를 유한 차원 $p$-공간으로 축소하기 위해 다음과 같은 투영 연산자 $\Pi_p$를 사용한다.

\[
\Pi_p(X) = \sum_{j=1}^p \langle X, \phi_j \rangle \phi_j
\]

여기서 $\{\phi_j\}_{j=1}^p$는 $L^2[0,1]$의 직교 기저로, Fourier 기저, wavelet 기저 또는 함수 주성분 분석(FPCA) 기반 고유 함수로 선택될 수 있다. 차원 축소의 결과, 데이터 $X_i(t)$ 는 유한 차원 벡터 $\xi_i$로 표현된다:

\[
\xi_i = (\langle X_i, \phi_1 \rangle, \dots, \langle X_i, \phi_p \rangle)
\]

따라서 원본 데이터가 MGP를 따른다고 가정하였으므로 $\xi$은 GMM을 따른다고 가정한다.

본 논문에서 데이터 분석을 할때 데이터의 기저 함수를 함수 주성분 분석 기반 고유함수로 정의하였다. 기저 함수의 개수를 증가시킬 경우 원본 함수 공간에 대한 재구성 결과가 기저 함수의 선택과 무관하게 수렴하게 된다. 따라서 FPCA를 활용한 기저 함수 정의는 함수 공간 투영 과정에서의 일반성을 보장할 뿐 아니라, 차원을 제한된 수로 축소하더라도 데이터의 주요 정보를 효과적으로 유지할 수 있다는 점에서 적합하다고 본 논문은 주장하였다.

2-2.경험적 예측 밴드 정의

차원 축소된 데이터를 기반으로 예측 밴드를 정의한다. $B_n(t)$는 $L^2[0,1]$에서 다음과 같은 형태를 가진다:
\[
B_n = \{ X(t) \in L^2[0,1] : X(t) \in B_n(t), \forall t \in [0,1] \}
\]

여기서 $B_n(t)$는 투영 계수 $\xi$의 밀도를 활용하여 정의된다.이때 투영 계수는 $\xi$는 위에서도 언급했듯이 GMM을 따른다고 가정한다.:
\[
T_n = \{ \xi : f(\xi) \geq \lambda \}, \quad B_n(t) = \bigcup_k [\ell_k(t), u_k(t)]
\]
\[
\ell_k(t) = \inf_{\xi \in T_{n,k}} \xi^\top \phi(t), \quad u_k(t) = \sup_{\xi \in T_{n,k}} \xi^\top \phi(t)
\]

다만 위 방법으로 예측 밴드를 계산하면 GMM의 밀도 자체에서 계산해야해서 계산 부담량도 크고 각 성분간 중첩문제도 해결 할 수 없다.따라서 아래 방법처럼 GMM을 각 성분 별로 나누어서 밀도 계산을 하여 합쳐 근사적으로 예측밴드를 정의할 수 있다.

2-3.근사적 예측 밴드 정의

$T_n$은 다음과 같이 정의된다:
\[
T_n = \{\xi : f(\xi) \geq \lambda\} \subseteq \bigcup_{k=1}^K \{\xi : \varphi(\xi; \mu_k, \Sigma_k) \geq \lambda / (K \pi_k)\} := \bigcup_{k=1}^K T_{n,k}.
\]
여기서 $\xi \sim GMM$이므로 $\varphi(\xi; \mu_k, \Sigma_k)$는 가우시안 밀도를 나타내며, 각 성분의 경계 $T_{n,k}$는 단순한 타원체 형태를 가진다. 이 정의를 통해 예측 밴드의 경계 계산이 효율적으로 수행될 수 있다.

문제는 가우시안 혼합 모델(GMM) 기반 밀도 추정에서 성분 간 중첩이 클 경우,즉 가우시안 혼합모델을 구성하는 가우시안 분포들끼리 겹치는 부분이 크면 밴드가 지나치게 넓어진다는 것이다. 또 성분 분리가 명확하지 않을 때도 마찬가지로 불필요하게 큰 밴드로 인해 예측 정확도가 감소한다.

2-4. 개선된 경계 정의

2-4-1.성분 분리 기반 개선

위 함수 예측 밴드의 경계 정의를 개선하고자 혼합 성분 간 중첩을 줄이기 위해 다른 성분들과 얼마나 겹치는지를 나타내는 지표로써 $\delta_k$를 정의한다. :
\[
\delta_k = \sum_{s \neq k} \sup_{\xi} \left( \pi_k \varphi(\xi; \mu_k, \Sigma_k) \cap \pi_s \varphi(\xi; \mu_s, \Sigma_s) \right)
\]
위 값이 작을수록 모든 성분들이 잘 분리되어있다는 것이라 예측 밴드가 좁아져 더 정확한 $T_n$을 구할 수 있다.
이를 기반으로 $T_n$을 다음과 같이 재정의한다:
\[
T_n = \bigcup_k \{ \xi : \varphi(\xi; \mu_k, \Sigma_k) \geq (\lambda - \delta_k)/\pi_k \}
\]
새로운 예측 밴드는 다음과 같이 계산된다:
\[
\tilde{B}_n(t) = \bigcup_k [\tilde{\ell}_k(t), \tilde{u}_k(t)], \quad \tilde{\ell}_k(t) = \inf_{\xi \in T_{n,k}} \xi^\top \phi(t), \tilde{u}_k(t) = \sup_{\xi \in T_{n,k}} \xi^\top \phi(t)
\]

2-4-2.최대 성분 기반 개선

위 방법으로 경계를 정의해도 여전히 혼합 성분들이 잘 분리되지 않을 수 있다. 따라서 성분 중 최대 기여 성분만을 고려하여 밴드를 단순화한다:
\[
f(\xi) = \max_k \pi_k \varphi(\xi; \mu_k, \Sigma_k)
\]
\[
B^\ast_n(t) = \bigcup_k [\ell^\ast_k(t), u^\ast_k(t)], \quad \ell^\ast_k(t) = \inf_{\xi \in T_{n,k}} \xi^\top \phi(t), u^\ast_k(t) = \sup_{\xi \in T_{n,k}} \xi^\top \phi(t)
\]

결론

Gaussian Mixture Model (GMM)을 기반으로 한 예측 밴드 구성에서는 각 컴포넌트에 대한 영역을 단순히 합집합으로 표현할 수 있으며, 이는 통계적 효율성의 손실이 없다는 점에서 매우 유리하다. 이는 근사적 예측 밴드로 정의된 방식으로, 모든 가우시안 분포 컴포넌트의 밀도 합을 사용하여 경계를 구성하였을 때, 전체적인 예측 밴드의 성능이 보장됨을 의미한다.

반면, 최대 성분 기반 개선 방법처럼 max 함수와 같은 비-밀도 형태의 적합성 점수(non-density conformity scores)를 사용할 경우, 약간의 통계적 효율성 손실이 발생할 가능성이 있다.(*통계적 효율성: 같은 정보를 가지고 얼마나 정확하게 추정하느냐 말하는 지표) 이는 밀도를 합산하지 않고, 각 가우시안 컴포넌트에서 가장 큰 기여를 하는 밀도를 기반으로 경계를 정의하기 때문이다. 그러나 특정 함수에서 가장 큰 기여를 하는 가우시안 분포의 밀도가 높다면, 전체 밀도 역시 높게 유지되는 경향이 있다. 따라서 max 함수 기반의 적합성 점수 방식은 정확성 손실이 제한적이며, 계산의 단순성과 효율성 면에서 실질적인 이점을 제공한다.

또한, 각 가우시안 분포의 밀도의 최대값으로 순위를 매기는 방식(Ranking max component density)은 모든 가우시안 분포의 밀도 합으로 순위를 매기는 방식(Ranking density)과 유사한 결과를 도출한다. 이는 max 함수 방식이 밀도 합산 방식에 비해 커버리지를 크게 손상시키지 않으며, 예측 밴드의 정확성을 일정 수준 유지한다는 것을 보여준다. 결과적으로, GMM 기반 예측 밴드는 데이터 분포를 효율적으로 표현하며, 두 가지 접근법 모두 실용적인 해법으로 간주될 수 있다.

3.유사밀도

지금까지 함수의 차원을 축소하여 FDA를 하여 CP를 수행하는 분석을 하였다. 하지만 차원 축소를 사용하면 원본 데이터의 복잡성을 모두 반영하기 어렵다. 특히 클러스터링 기법은 데이터 포인트가 밀도가 높은 영역에서 그룹을 형성한다는 가정에 기반한다. 그런데 함수 공간에서는 일반적인 확률 밀도 함수(density function)를 정의하기 어렵다. 이는 $L^2[0,1]$와 같은 무한 차원 공간에서 유한 지배 측도($\sigma$-finite dominating measure)가 존재하지 않기 때문이다. 이에 따라 밀도를 대체할 수 있는 방법으로 유사 밀도(pseudo-density)가 제안되었다.

유사 밀도는 데이터 간 거리를 바탕으로 밀도 수준을 계산하므로, 함수 데이터에서 원본 정보를 보존하면서 밀도를 추정하여 보다 정확한 클러스터링을 할 수 있다. 이를 통해 고밀도 영역(high-density regions)과 이상치(anomalies)를 효과적으로 탐지할 수 있다.

3-1.유사 밀도 추정 방법

유사 밀도는 다음과 같은 커널 밀도 추정 방식을 따른다:

\[
\hat{p}_h(u) = \frac{1}{n} \sum_{i=1}^n K\left(\frac{d(u, X_i)}{h}\right)
\]

여기서:

$K$: 커널 함수로, 일반적으로 가우시안 커널을 사용한다.
$h$: 대역폭(bandwidth)으로, 데이터 간 거리 계산에 영향을 미친다.
$d(f, g) = \sqrt{\int (f(t) - g(t))^2 dt}$: 함수 간 거리(Euclidean distance)이다.

$h$ 값이 클수록 밀도가 넓게 계산되어 데이터의 전체적인 구조를 파악하는 데 유리하며, $h$가 작을수록 데이터의 세부적인 패턴을 탐지할 수 있다.

3-1-1.예측 집합 근사 방법

유사 밀도를 기반으로 예측 집합을 구성할 때, 직접적인 계산은 어렵기 때문에 근사 방법을 활용한다. 예측 집합은 다음과 같이 정의된다:
\[
C_{n,\alpha} = \{ f : \pi(f) > \alpha \}, \quad \pi(f) = \frac{1 + \sum_{i=1}^n \mathbb{I}(\hat{p}_h(X_i) \leq \hat{p}_h(f))}{n+1}
\]

그러나 실제 계산에서 $C_{n,\alpha}$는 데이터 수가 많거나 함수 간 거리가 복잡할 경우 계산 부담이 크다. 이를 해결하기 위해 근사 집합 $C_{n,\alpha}^+ $를 정의하여 사용한다:
\[
C_{n,\alpha} \subseteq C_{n,\alpha}^+ = \{ f : \hat{p}_h(f) \geq \lambda - \frac{n^{-1} K(0)}{h} \}
\]
이 근사 집합은 $C_{n,\alpha}$의 성능을 유지하면서 계산 효율성을 크게 향상시킨다.

주요 결과 분석: 이상치, 중앙값, 고밀도 곡선
Neuron 데이터를 기반으로 Conformal Prediction을 적용한 결과, 다음과 같은 세 가지 곡선을 도출하였다:
이상치 (Anomalies): $\alpha$ 값이 0에 가까운 곡선으로, 데이터에서 드물게 나타나는 비정상적인 패턴이다.
중앙값 곡선 (Median Set): $\alpha = 0.5$에서 데이터의 대표적인 구조적 특징을 나타내는 곡선이다.
고밀도 영역 (High Density): $\alpha$ 값이 1에 가까운 곡선으로, 데이터에서 가장 빈번하게 관찰되는 구조적 패턴이다.

주요 결과 분석 : Conformal Cluster Tree의 활용
- Conformal Cluster Tree는 $\alpha$값을 기반으로 데이터의 계층적 구조를 시각화하는 데 사용된다. 이는 데이터의 분포 구조와 고밀도 영역을 명확히 이해하는 데 유용하다. 클러스터 트리는 다음과 같은 단계로 구성된다:
  - $\alpha$ 값을 기준으로 예측 집합 $C_{n,\alpha}$를 정의한다.
    함수 간 거리 $d(f, g)$가 특정 임계값 $\epsilon$ 이하인 경우 노드 간 연결을 형성한다.
    $\alpha$값이 증가할수록 클러스터가 세분화되며, 최종적으로 각 노드는 하나의 데이터 포인트로 축소된다.

4.결론 및 향후 연구

4.1 결론

본 논문에서는 Conformal Prediction 방법을 함수형 데이터에 확장하여 분포에 구애받지 않는 예측 밴드를 구성하였다. 이러한 예측 밴드는 제한된 데이터 샘플에서도 신뢰할 수 있는 성능을 보장하며, 새로운 데이터가 속할 가능성이 가장 높은 영역을 나타낸다. 특히, 이 예측 밴드는 분위수 집합(quantile sets)으로 해석될 수 있어 데이터의 분포 구조를 직관적으로 이해하는 데 기여한다.

또한, 의사 밀도(pseudo-density)를 기반으로 한 적합 예측을 통해 데이터의 계층적 특징(hierarchical features)을 효과적으로 드러낼 수 있었다.

4.2 향후 연구 방향

본 논문에서 제시한 방법을 고도화하기 위해 다음과 같은 연구 방향을 제시하였다.

첫째, 고차원 설정으로의 확장이 필요하다. Conformal Prediction 방법을 다양한 고차원 함수형 데이터에 적용하고, 이를 위한 적합 점수(conformity scores)를 확장하는 연구가 요구된다. 둘째, 적합 점수의 최적화가 중요한 과제로 남아 있다. 데이터의 특성에 맞는 적합 점수를 정의하고, 이를 최적화함으로써 예측 밴드의 성능을 더욱 향상시킬 수 있다. 마지막으로, 튜닝 매개변수의 최적화를 통해 예측 성능을 개선해야 한다. Conformal Prediction에서 사용되는 튜닝 매개변수(tuning parameters)를 체계적으로 최적화하는 방법론을 마련하는 것이 필요하다.