Statistics (10) 썸네일형 리스트형 Normal Model - Inference of mean Peter Hoff의 A First Course in Bayesian Statistics를 정리한 내용입니다. 이 챕터에서는 standard deviation $\sigma$가 주어졌을 때, mean에 해당하는 $\theta$를 inference 하는 방법을 배웁니다. Inference of mean with variance $ \{Y_1, \dots, Y_n \mid \theta, \sigma^2\}\sim \text{i.i.d. normal}\;(\theta,\sigma^2)$라고 합시다. 그러면 joint sampling desity는 아래와 같이 표현할 수 있습니다. $$\begin{align*} p(y_1,\dots,y_n|\theta,\sigma^2) &= \Pi^n_{i=1} p(y_i | .. Exchangeability A First Course in Bayesian Statitical Methods를 일부 정리한 내용입니다. de Finetti's theorem $$ Y_1, \dots , Y_n | \theta \;\text{are i.i.d.} \;\text{and}\;\theta\sim p(\theta) \Rightarrow Y_1,\dots,Y_n\;\text{are exchangeable}$$ 그 역도 성립하는 지가 궁금할 것 입니다. 이와 관련해 de Finetti's theorem을 확인하면 됩니다. 우선, $Y_1,Y_2,\dots,Y_n$ 를 Sample Space $ \mathcal{Y}$ 를 공유하는 infinite sequence of random variables 이라고 가정하겠습니다. Theo.. Coupon Collecting Problem $X_i$가 1~n 까지의 값을 가질 수 있는 i.i.d 확률변수라고 하자. $T_{n,k}$를 $n$개의 수들 중에서 $k$개의 서로다른 수를 뽑는데까지 걸리는 시간이라고 한다면, $$P[|T_{n,n}-n\sum\limits^n_{i=1}\frac{1}{i}|\geq \epsilon n \log n] \rightarrow 0$$ $\tau_{n,k}:= T_{n,k}-T_{n,k-1}$ 은 $1- \frac{k-1}{n}$의 확률의 Geometric Random Variable 이라는 것을 알 수 있다. 따라서 $ E\tau_{n,k} = (1- \frac{k-1}{n})^{-1}$이고 $E T_{n,n} = \sum\limits_{k=1}^n 1-\frac{k-1}{n} = \Omega (nlon).. Concentration Inequalities 오늘의 글의 목차는 다음과 같습니다. 1. Basic concentration inequalities 2. Azuma-Hoeffding inequality 3. McDiarmid's inequality 1. Basic concentration inequalities Theorem 1.1 Markov Inequality $P(X\geq t)\leq\frac{E[X]}{t}=O(\frac{1}{t})$ $X$ should be non-negative proof $E[X]=\int_0^{\infty}xp(x)dx\geq\int^{\infty}_{t}xp(x)dx\geq t\int^{\infty}_tp(x)dx=tP(X\geq t)$ Remark 1.2 Generalization of Markov Inequal.. Sample Space Definition 1.1 (Random Experiment) (a) All outcomes of the experiment should be known in advance (b) any performance of the experiment results in an outcome that is not known in advance, and (c) the experiment can be repeated under identical conditions Definition 1.2 (Sample Space) sample space of a statistical experiment is a pair $(\Omega,S)$, where (a) $\Omega$ is the set of all possible outc.. Location and Scale Family Theorem 3.5.1 Let $f(x)$ be any pdf and $\mu>0$ and $\sigma>0$. Then $g(x|\mu,\sigma)=\frac{1}{\sigma}f(\frac{x-\mu}{\sigma})$는 pdf 이다. Definition 3.5.2 $f(x)$ 를 pdf라고 할 때, family of pdfs $f(x-\mu)$, $-\infty 지수족 Definition(exponential families) A family of pdfs or pmfs is called an exponential family if it can be expressed as $f(x|\theta)=h(x)c(\theta)exp(\Sigma^k_1w_i(\theta)t_i(x))$ h(x)와 t(x)는 observation x에 대한 real-valued functions들이고 $c(\theta)$아 $w(\theta)$는 parameter에 대한 real-valued functions 들이다. Example 3.4.1 : binomial exponential family 이항분포 (n,p)도 exponential family 라고 할 수 있는데, $f(x|p)=\bino.. Ancillary and Complete Statistics Definition 6.2.16 A statistics $S(X)$ whose distribution doesn't depend on the parameter $\theta$ is called on ancillary statistics. location family와 scale family에서 ancillary statistic을 생각해보자 Example 6.2.17 (Uniform ancillary statistic) 예제 6.2.15를 이어서 생각해보면, $R=X_{(n)}-X_{(1)}$ 은 ancillary statistic이다. $R$은 $\theta$ 에 dependent 하지 않다! $X_{(n)},X_{(1)}$의 joint distribution은 $g(x_{(1)},x_{(n)}|\th.. 이전 1 2 다음
