- Nhận đường liên kết
- Ứng dụng khác
- Nhận đường liên kết
- Ứng dụng khác
Bài viết mẹ: http://trongdatdo.blogspot.com/2018/03/thong-ke-bayes.html
Trong buổi đầu tiên trong chuỗi Seminar này, mình trình bày về phương pháp Bayes có tham số để cảm giác ban đầu về phương pháp thống kê Bayes nói chung.
Trong buổi đầu tiên trong chuỗi Seminar này, mình trình bày về phương pháp Bayes có tham số để cảm giác ban đầu về phương pháp thống kê Bayes nói chung.
Thống kê hiện đại được chia làm hai hướng chính: Tần suất (frequentist) và Bayes (Bayesian). Thống kê tần suất đã được bắt đầu từ những năm 1920 và được phát triển dựa trên nền tảng xác suất và các định lí giới hạn. Ý tưởng chính là đầu tiên giả sử mô hình của ta tuân theo một phân phối nào đó với tham số chưa biết, qua thông tin về mẫu và định lí giới hạn để ước lượng (khoảng tin cậy, kiểm định giả thiết) tham số. Ngược lại, thống kê Bayes là một hướng khá "trẻ" (phát triển từ những năm 1990) mà ý tưởng ở đây là ta giả sử luôn tham số của mô hình cũng có một phân phối nào đó, sau đó sử dụng công thức Bayes để biết được nên sửa phân phối của tham số ra sao cho hợp lí.
Buổi báo cáo tập trung vào 2 phần chính: thống kê Bayes cho mô hình một tham số và cho mô hình có phân phối chuẩn (nhiều tham số)
I. Thống kê Bayes cho mô hình một tham số
1. Mô hình nhị thức
Xét một quần thể $Y_1,Y_2,\dots, Y_N$ với $Y_i$ là các biến ngẫu nhiên Bernoulli với tham số $\theta$ ($P(Y_i=1) = \theta, P(Y_i=0) =1- \theta$). Giả sử $\theta$ có phân phối đều trong đoạn $[0,1]$. Ta quan sát một mẫu $Y_1,\dots, Y_n$ trong quần thể trên và thấy $Y_1= y_1,\dots, Y_n=y_n$. Theo công thức Bayes,
$$ p(\theta | y_1,y_2,\dots, y_n) = \dfrac{p(y_1,y_2,\dots, y_n|\theta) p(\theta)}{p(y_1,y_2,\dots, y_n)} = \dfrac{\theta^{\sum y_i} (1-\theta)^{n-\sum y_i)}}{p(y_1,y_2,\dots, y_n)}.$$
Ta thấy công thức này không phụ thuộc vào từng $y_i$ mà chỉ phụ thuộc vào $Y= \sum Y_i = \sum y_i =y$, và từ công thức trên về hàm mật độ của $\theta | (y_1,y_2,\dots, y_n)$ ta có thể kết luận rằng $\theta | (Y=y) = \theta | (y_1,y_2,\dots, y_n) $ có phân bố $\beta(y+1, n-y+1)$.
Để ý một chút, vì $\theta \sim U[0,1]= \beta(1,1)$ với quan sát $Y=y$ thì cho ta $\theta|Y=y \sim \beta(1+y,n-y+1)$ nên ta đặt một câu hỏi tự nhiên rằng liệu nếu $\theta \sim \beta(a,b)$ thì $\theta | (Y=y) \sim \beta(a+y,b+n-y)$. Dễ dàng kiểm tra kết quả này đúng.
Ta gọi phân bố ban đầu gỉa sử cho $\theta$ là phân bố tiên nghiệm, phân bố có điều kiện của $\theta$ sau khi quan sát mẫu là phân bố hậu nghiệm. Khi đó mỗi cặp phân bố tiên nghiệm với mô hình được gọi là liên hợp nếu phân bố hậu nghiệm có cùng dạng với phân bố tiên nghiệm. Dễ thấy từ ví dụ trên, phân bố $\beta$ cùng với mô hình nhị thức là liên hợp.
Sự liên hợp cho ta rất nhiều tính chất thú vị (sự liên hệ giữa kì vọng, độ lệch chuẩn của hậu nghiệm và tiên nghiệm,...) cùng sự dễ dàng trong tính toán. Từ nay, ta sẽ cố gắng đi tìm mỗi phân bố tiên nghiệm liên hợp với mô hình đang xét.
2. Mô hình Poisson
Mô hình Poisson là mô hình rất dễ thấy trong cuộc sống (số cuộc điện thoại trong một khoảng thời gian, số vụ tai nạn, số mail được gửi,...v...v...). Đối với mô hình Poisson, ta có thể chỉ ra phân phối tiên nghiệm liên hợp với nó là phân phối $\Gamma$. Cụ thể, giả sử mô hình tuân theo phân phối $\text{Poi} (\theta)$, $\theta \sim (a,b)$ thì $\theta | (Y=y) \sim (a+y,b+n)$.
II. Thống kê Bayes cho mô hình có phân phối chuẩn
Lúc nào chúng ta cũng sử dụng phân phối chuẩn. Kể cả khi mô hình không có phân phối chuẩn. Có hai lí do chính cho việc này: Định lí giới hạn trung tâm nói rằng tổng của đủ lớn các biến ngẫu nhiên độc lập cùng phân phối sẽ xấp xỉ bởi phân phối chuẩn. Cái thứ hai là vì phân phối chuẩn là phân phối đơn giản nhất có mean và variance không liên quan đến nhau.
Làm sao để xử lí với mô hình 2 tham số: Ta sẽ tách ra thành 2 bài toán mô hình 1 tham số $\theta | \sigma^2$ (xử lí $\theta$ khi đã biết $\sigma$) và xử $\sigma$ sau. Giả sử $Y_i \sim N(\theta,\sigma^2)\,\, \forall \, i$. Khi đó ta sẽ chứng minh được để có liên hợp thì phân bố tiên nghiệm phải là $\theta | \sigma^2\sim N(\mu_0, \tau_0^2)$, và khi đó phân bố hậu nghiệm
$$ \theta | y_1,y_2,....,y_n, \sigma^2 \sim N(\mu_n, \tau_n^2).$$
với $\mu_n = \dfrac{ \mu/\tau_0^2 + y/\sigma^2}{1/\tau_0^2 + n/ \sigma^2}$ và $\tau_n^2=1/(1/\tau_0^2+ n/\sigma^2)$.
Còn đối với $\sigma$, câu chuyện phức tạp hơn một chút: $1/ \sigma^2$ phải có phân bố Gamma, và phân bố của $\sigma^2$ được gọi là nghịch đảo Gamma. Bộ tham số $(\theta, \sigma^2)$ được gọi là nửa liên hợp (vì chúng không liên hợp với mô hình một cách độc lập mà phải sử dụng $\theta | \sigma^2$).
Một vài tính chất và bình luận về mô hình có phân phối chuẩn kết thúc buổi báo cáo đầu tiên. Ở buổi thứ 2 mình sẽ nói về một vài thuật toán MCMC (Monte Carlo Markov Chain) để sinh mẫu ngẫu nhiên cho phân phối hậu nghiệm của tham số với mục đích tính số các xác suất; và, mở đầu về thống kê Bayes phi tham số.
Buổi báo cáo tập trung vào 2 phần chính: thống kê Bayes cho mô hình một tham số và cho mô hình có phân phối chuẩn (nhiều tham số)
I. Thống kê Bayes cho mô hình một tham số
1. Mô hình nhị thức
Xét một quần thể $Y_1,Y_2,\dots, Y_N$ với $Y_i$ là các biến ngẫu nhiên Bernoulli với tham số $\theta$ ($P(Y_i=1) = \theta, P(Y_i=0) =1- \theta$). Giả sử $\theta$ có phân phối đều trong đoạn $[0,1]$. Ta quan sát một mẫu $Y_1,\dots, Y_n$ trong quần thể trên và thấy $Y_1= y_1,\dots, Y_n=y_n$. Theo công thức Bayes,
$$ p(\theta | y_1,y_2,\dots, y_n) = \dfrac{p(y_1,y_2,\dots, y_n|\theta) p(\theta)}{p(y_1,y_2,\dots, y_n)} = \dfrac{\theta^{\sum y_i} (1-\theta)^{n-\sum y_i)}}{p(y_1,y_2,\dots, y_n)}.$$
Ta thấy công thức này không phụ thuộc vào từng $y_i$ mà chỉ phụ thuộc vào $Y= \sum Y_i = \sum y_i =y$, và từ công thức trên về hàm mật độ của $\theta | (y_1,y_2,\dots, y_n)$ ta có thể kết luận rằng $\theta | (Y=y) = \theta | (y_1,y_2,\dots, y_n) $ có phân bố $\beta(y+1, n-y+1)$.
Để ý một chút, vì $\theta \sim U[0,1]= \beta(1,1)$ với quan sát $Y=y$ thì cho ta $\theta|Y=y \sim \beta(1+y,n-y+1)$ nên ta đặt một câu hỏi tự nhiên rằng liệu nếu $\theta \sim \beta(a,b)$ thì $\theta | (Y=y) \sim \beta(a+y,b+n-y)$. Dễ dàng kiểm tra kết quả này đúng.
Ta gọi phân bố ban đầu gỉa sử cho $\theta$ là phân bố tiên nghiệm, phân bố có điều kiện của $\theta$ sau khi quan sát mẫu là phân bố hậu nghiệm. Khi đó mỗi cặp phân bố tiên nghiệm với mô hình được gọi là liên hợp nếu phân bố hậu nghiệm có cùng dạng với phân bố tiên nghiệm. Dễ thấy từ ví dụ trên, phân bố $\beta$ cùng với mô hình nhị thức là liên hợp.
Sự liên hợp cho ta rất nhiều tính chất thú vị (sự liên hệ giữa kì vọng, độ lệch chuẩn của hậu nghiệm và tiên nghiệm,...) cùng sự dễ dàng trong tính toán. Từ nay, ta sẽ cố gắng đi tìm mỗi phân bố tiên nghiệm liên hợp với mô hình đang xét.
2. Mô hình Poisson
Mô hình Poisson là mô hình rất dễ thấy trong cuộc sống (số cuộc điện thoại trong một khoảng thời gian, số vụ tai nạn, số mail được gửi,...v...v...). Đối với mô hình Poisson, ta có thể chỉ ra phân phối tiên nghiệm liên hợp với nó là phân phối $\Gamma$. Cụ thể, giả sử mô hình tuân theo phân phối $\text{Poi} (\theta)$, $\theta \sim (a,b)$ thì $\theta | (Y=y) \sim (a+y,b+n)$.
II. Thống kê Bayes cho mô hình có phân phối chuẩn
Lúc nào chúng ta cũng sử dụng phân phối chuẩn. Kể cả khi mô hình không có phân phối chuẩn. Có hai lí do chính cho việc này: Định lí giới hạn trung tâm nói rằng tổng của đủ lớn các biến ngẫu nhiên độc lập cùng phân phối sẽ xấp xỉ bởi phân phối chuẩn. Cái thứ hai là vì phân phối chuẩn là phân phối đơn giản nhất có mean và variance không liên quan đến nhau.
Làm sao để xử lí với mô hình 2 tham số: Ta sẽ tách ra thành 2 bài toán mô hình 1 tham số $\theta | \sigma^2$ (xử lí $\theta$ khi đã biết $\sigma$) và xử $\sigma$ sau. Giả sử $Y_i \sim N(\theta,\sigma^2)\,\, \forall \, i$. Khi đó ta sẽ chứng minh được để có liên hợp thì phân bố tiên nghiệm phải là $\theta | \sigma^2\sim N(\mu_0, \tau_0^2)$, và khi đó phân bố hậu nghiệm
$$ \theta | y_1,y_2,....,y_n, \sigma^2 \sim N(\mu_n, \tau_n^2).$$
với $\mu_n = \dfrac{ \mu/\tau_0^2 + y/\sigma^2}{1/\tau_0^2 + n/ \sigma^2}$ và $\tau_n^2=1/(1/\tau_0^2+ n/\sigma^2)$.
Còn đối với $\sigma$, câu chuyện phức tạp hơn một chút: $1/ \sigma^2$ phải có phân bố Gamma, và phân bố của $\sigma^2$ được gọi là nghịch đảo Gamma. Bộ tham số $(\theta, \sigma^2)$ được gọi là nửa liên hợp (vì chúng không liên hợp với mô hình một cách độc lập mà phải sử dụng $\theta | \sigma^2$).
Một vài tính chất và bình luận về mô hình có phân phối chuẩn kết thúc buổi báo cáo đầu tiên. Ở buổi thứ 2 mình sẽ nói về một vài thuật toán MCMC (Monte Carlo Markov Chain) để sinh mẫu ngẫu nhiên cho phân phối hậu nghiệm của tham số với mục đích tính số các xác suất; và, mở đầu về thống kê Bayes phi tham số.
Nhận xét
Đăng nhận xét