Exchangeability

A First Course in Bayesian Statitical Methods를 일부 정리한 내용입니다.

de Finetti's theorem

$$ Y_1, \dots , Y_n | \theta \;\text{are i.i.d.} \;\text{and}\;\theta\sim p(\theta) \Rightarrow Y_1,\dots,Y_n\;\text{are exchangeable}$$

그 역도 성립하는 지가 궁금할 것 입니다. 이와 관련해 de Finetti's theorem을 확인하면 됩니다.

우선, $Y_1,Y_2,\dots,Y_n$ 를 Sample Space $ \mathcal{Y}$ 를 공유하는 infinite sequence of random variables 이라고 가정하겠습니다.

Theorem ( de Finetti ) Let $Y_i \in \mathcal{Y}$ for all $i\in \{1,2,\dots \}$. Suppose that, for any $n$, our belief model $Y_1,Y_2,\dots,Y_n$ is exchangeable:

$$p (y_1,\dots,y_n) = p (y_{\pi_1},\dots,y_{\pi_{n}} )$$

for all permutations $\pi$ of $\{1,\dots,n \}$. Then our model can be written as 

$$ p(y_1,\dots,y_n) = \int \Pi^n_{1} p(y_i  | \theta ) p (\theta) d\theta$$

for some parameter $\theta$, some prior distribution on $\theta$ and some sampling model $p(y|\theta)$. The prior and sampling model depend on the form of the belief model $p(y_1,\dots,y_n)$.

$$ Y_1, \dots , Y_n | \theta \;\text{are i.i.d.} \;\text{and}\;\theta\sim p(\theta) \iff Y_1,\dots,Y_n\;\text{are exchangeable for all }n$$

그렇다면 언제 $ Y_1,\dots,Y_n\;\text{are exchangeable for all }n $ 라고 가정하는 것이 합리적일까요?

이를 위해서는 exchangeability와 repeatability가 필요합니다. Exchangeability의 경우, 그 순서가 아무런 의미가 없다는 것을 의미합니다. Repeatability의 경우,

1. $Y_1, \dots , Y_n$ 이 repeatable experiment의 outcome일 때

2. $Y_1, \dots , Y_n$ 이 크기가 유한한 모집단에서 복원추출 되었을 때

3. $Y_1, \dots , Y_n$ 이 크기가 무한한 모집단에서 비복원추출 되었을 때

   혹은 모집단 의 크기 $N >> n$ 이라면 repeatability가 만족된다고 생각할 수 있습니다.