Inferência Bayesiana - Aula 5 - IME-USPmbranco/Aula5IB2017.pdf · M arcia D’Elia Branco...
Transcript of Inferência Bayesiana - Aula 5 - IME-USPmbranco/Aula5IB2017.pdf · M arcia D’Elia Branco...
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Inferencia Bayesiana - Aula 5 -
Marcia D’Elia Branco
Universidade de Sao PauloInstituto de Matematica e Estatıstica
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Estimacao Pontual
? Podemos usar a Moda (MAP) , a Media ou a Mediana dadistribuicao a posteriori.
1. A moda m0 e
argsupθ∈Θf(θ | x) = argsupθ∈Θ f(θ)f(x | θ)
Isto e f(mo | x) ≤ f(θ | x),∀θ ∈ Θ.
Esta associada a funcao de perda zero-um.
Se f(θ) ∝ C entao mo = θMV (e.m.v).
No entanto, em geral mo nao satisfaz a propriedade deinvariancia como o e.m.v.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Estimacao Pontual
2. A media e E[θ | x].
Esta associada a funcao de perda quadratica.
E mais apropriada quando a distribuicao aa posteriori esimetrica.
E bastante conveniente quando temos expressoes fechadasenvolvendo os parametros da posteriori para E[θ | x].
3. A mediana md e tal que
P (θ ≥ md) ≤ 1/2 e P (θ ≤ md) ≥ 1/2.
Esta associada a funcao de perda em valor absoluto.
Pode ser utilizada para distribuicoes simetricas e assimetricas.
Usualmente nao obtemos expressoes fechadas pra esta medida.
Pode ser obtida via metodos de simulacao de Monte Carlo.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Estimacao por regioes
Definicao 1: Uma regiao R(x) e uma regiao de credibilidade γpara θ se ∫
R(x)
f(θ | x)dθ = γ.
Definicao 2: R(x) e uma regiao de credibilidade γ(0 < γ < 1)com densidade a posteriori maxima (HPD) se
R(x) = {θ : f(θ | x) ≥ Cγ}
com Cγ > 0 a maior constante tal que∫R(x)
f(θ | x)dθ = γ.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Estimacao por regioes
A regiao R(x) e a de menor volume entre as de mesmaprobabilidade. (Prova feita em sala)
Se a distribuicao e simetrica, entao a regiao de menor volumee simetrica ou de caudas iguais.
Se θ e contınuo, unidimensional e a densidade e unimodal,entao o HPD e uma intervalo [a, b]. Outras formas dedensidade podem gerar regioes que sao unioes disjuntas deintervalos.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Estimacao por regioes
Exemplo 1: x amostra de X | θ ∼ U(0,θ)
f(θ | x) = b1cb11 θ−(b1+1)Ind(c1,∞)(θ)
com b1 = b0 + n , c1 = max(x(n), c0) e x(n) = max{x1, . . . , xn}.
HPD de probabilidade γ e dado por(c1;
c1
(1− γ)1/b1
).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Estimacao por regioes
Exemplo 2: x amostra de X | θ ∼ Exp(θ). Considere adistribuicao a priori conjudada Ga(a, b), entao
f(θ | x) ∝ θa−1e−bθθne−θt
onden∑i=1
xi = t. Portanto, θ | x ∼ Ga(A,B)
com A = a+ n, B = b+ t.Como f(θ | x) e unimodal a regiao de credibilidade HPD e umintervalo (θi, θs) tal que
f(θi | x) = f(θs | x) ⇔ θA−1i e−Bθi = θA−1
s e−Bθs .
A obtencao do intervalo requer a utilizacao de metodos numericos.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Estimacao por regioes
* O IC de caudas iguais e invariante por transformacoes *
De fato, sejam α = 2Bθ e µ = 1/θ entao
γ = P (θi < θ < θs) = P (2Bθi < α < 2Bθs) =
= P (θ−1s < µ < θ−1
i )
Logo, (2Bθi, 2Bθs) e (1/θs, 1/θI) sao IC para α e µ,respectivamente.
* O HPD nao e, em geral, invariante por transformacoes *
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Estimacao por regioes
Como θ | x ∼ Ga(A,B) entao α | x ∼ Ga(A, 1/2) eµ | x ∼ GI(A,B). Assim,h1(α | x) ∝ αA−1e−α/2, α > 0,h2(µ | x) ∝ µ−(A+1)e−B/µ, µ > 0.Resulta que:
h1(2Bθi | x) = h1(2Bθs | x)
Portanto (2Bθi, 2Bθs) e um HPD para α.Por outro lado,
h2(θ−1s | x) 6= h2(θ−1
i | x)
Portanto, (1/θs, 1/θi) nao e uma HPD para µ.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
H0 : θ ∈ Θ0 Vs H1 : θ ∈ Θ1 = Θ−Θ0
A chance a posteriori em favor de H0
O(H0, H1 | x) =P (H0 | x)
P (H1 | x)
Pode-se definir um processo de decisao da forma:O(H0, H1 | x) > k1 → aceita-se H0
O(H0, H1 | x) < k2 → rejeita-se H0
O fator de Bayes em favor de H0 e
BF01(x) =O(H0, H1 | x)
O(H0, H1)
em que O(H0, H1) = P (H0)P (H1) e a chance a priori.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
O logaritmo na base 10 do fator de Bayes e uma medida conhecidacomo peso da evidencia
log BF01(x) = log O(H0, H1 | x)− log O(H0, H1)
Jeffreys propoe a seguinte escala de evidencia em favor de H0:- Fraca se logBF01 ∈ (0; 0.5)- Substancial se logBF01 ∈ (0.5; 1)- Forte se logBF01 ∈ (1; 2)- Decisiva se logBF01 > 2.
Note que BF10 = [BF01]−1 .
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
Note que
FB01(x) =f(x | H0)P (H0)
f(x | H1)P (H1)
P (H1)
P (H0)=f(x | H0)
f(x | H1)=m0(x)
m1(x)
Em que mi(x) e a distribuicao preditiva a priori (ou marginal) sobHi obtida por
mi(x) =
∫Θi
f(x | θ)hi(θ)dθ
sendo hi(θ) = 1Cih(θ)IndΘi(θ) a distribuicao a priori restrita ao
conjunto Θi e Ci =∫Θi
h(θ)dθ .
* De um modo geral o fator de Bayes depende da distribuicao apriori para h(θ). *
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
Exemplo 3: Num processo de producao observou-se 2 pecas forade determinada especificacao de qualidade entre as 9 selecionadasaos acaso do processo. Considere θ proporcao de pecas naproducao dentro das especificacoes e a seguinte distribuicao apriori subjetiva θ ∼ Be(2, 1). Avalie as chances de haver nomaximo 10% de pecas fora das especificacoes.H0 : θ ≥ 0.90 V s H1 : θ ≤ 0.90
P (H0) = P (θ ≥ 0.9) = 1− F (0.9) = 0.190onde F (x) e a f.d.a. da Be(2, 1). Neste caso,
O(H0, H1) =0.19
0.81= 0.235
Equivalentemente O(H1, H0) = 4.25 (a chance a priori em favorde H1).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
A distribuicao a posteriori e dada por θ | x = 7 ∼ Be(9, 3) entaoP (H0 | x = 7) = 1− F ∗(0.90) = 0.0896 e
O(H0, H1 | x) = 0.098
Equivalentemente O(H1, H0 | x) = 10.2.Portanto, a posteriori a probabilidade de H1 e 10.2 vezes aprobabilidade de H0.
Alem disso, BF10(x) = 2.4.Portanto, a chance em favor de H1 aumentou 2.4 vezes apos aobservacao de x.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
Considere um outro resultado amostral, x = 9. Neste caso,θ | x = 9 ∼ Be(11, 1). Entao,P (H0 | x = 9) = 0.6861 e O(H0, H1 | x) = 2.186.Neste caso, nossa opiniao a posteriori muda de sentido, isto e, aprobabilidade a posteriori de H0 e 2.186 vezes a de H1.
O fator de Bayes e dada por
B(x) =2.186
0.235= 9.3
Evidenciando que este dado e muito mais informativo que oprimeiro.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
Exemplo 4: x1, x2, . . . , xn observacoes de uma N(µ, σ2), com σ2
conhecida e h(µ) ∝ C. Portanto,
µ | x ∼ N(x, σ2/n).
Vamos testar H0 : µ ≤ µ0 contra H1 : µ > µ0
Temos que
P (H0 | x) = P (µ ≤ µ0 | x) = Φ(µ0−xσ/√n
)e
O(H0, H1) =Φ(µ0−xσ/√n
)1− Φ
(µ0−xσ/√n
)Observe que o nıvel descritivo do teste MP classico e
P (X ≥ x | µ0) = 1− Φ
(x− µ0
σ/√n
)= P (H0 | x).
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
Sejam n = 4, x = 106, σ2 = 400 e µ0 = 100. Entao,
P (H0 | x) = 0.274
Sob o ponto de vista classico nao rejeita-se H0. Mesmo que
O(H1, H0 | x) = 2.653
Portanto, a probabilidade de H1 ser verdadeira e 2.6 vezes a de H0.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
O Problema de Hipoteses categoricasUm problema importante surge quando as dimensoes de Θ0 e Θ1
nao sao concidentes. Por exemplo,
H0 : θ = θ0 Vs H1 : θ 6= θ0
Se utilizarmos com distribuicao a priori uma f.d.p. h(θ), entaoP (θ = θ0) = 0.Possıveis solucoes:1) Usar o argumento de que este problema nao e realista, pois se av.a. e contınua deveriamos testar H0 : θ ∈ Vε(θ0) contraH1 : θ /∈ Vε(θ0), onde Vε(θ0) e uma pequena regiao contendo θ0.2) Construir uma regiao de credibilidade (HPD) para θ e observarse θ0 pertence ou nao a esta regiao.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
3) Considerar uma distribuicao a priori mista para θ, tal queP (H0) = p0 e P (H1) = 1− p0 = p1. O ultimo valor deprobabilidade sera distribuıdo pelos pontos em θ 6= θ0 segundouma densidade h1(θ).A distribuicao a posteriori resulta em
h(θ | x) =
{p0
f(x|θ0)f(x) , θ = θ0
(1− p0)h1(θ)f(x|θ)f(x) , θ 6= θ0
onde,f(x) = p0f(x | θ0) + (1− p0)f1(x) e
f1(x) =
∫θ 6=θ0
f(x | θ)h1(θ)dθ.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
Portanto,
P (H0 | x) = h(θ0 | x) =
[1 +
1− p0
p0
1
BF01(x)
]−1
com BF01(x) = f(x|θ0)f1(x) .
Exemplo 5: Um laboratorio farmaceutico deseja avaliar a eficaciade um novo medicamento relativamente ao existente no mercado.Para tal considerou 10 pares de pacientes (sob condicoes similaresem relacao a outra variaveis de controle). Um elemento de cadapar tomou o novo medicamento enquanto o outro tomou o antigo.Observados os resultados verificou-se uma melhora relativa de 6tratados com o novo medicamento e 4 tratados com o antigo.Deseja-se saber se os medicamentos sao igualmente eficientes.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
X : numero de pares de pacientes que tiveram o melhor resultadocom o medicamento novo.θ: e a probabilidade do novo medicamento produzir um melhorresultado do que o antigo.Hipoteses: H0 : θ = 1/2 contra H1 : θ 6= 1/2.A distribuicao a priori: Be(a, a) simetrica em torno de 1/2. Alemdisso, o analista cre que 97.5 % dos valores de θ estao entre 0.10 e0.90. Com o uso destes percentis chegamos a uma distribuicaoBe(2, 2) como uma priori rasoavel para θ.Assumindo p0 = 1/2, temosf1(6) = C10,6Beta(8, 6)/Beta(2, 2) = 0.12 eBF01(6) = 1.68 e O(H0, H1 | x) = 0.63/0.37 = 1.7Favorecendo a hipotese H0 de equivalencia entre os medicamentos.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -
Estimacao pontualEstimacao por regioes
Teste de Hipoteses
Teste de Hipoteses
Tabela 1: Fatores de Bayes e probabilidades a posteriori
Be(2,2) Be(1,1) Be(1/2, 1/2)
BF01(x) 1.68 2.26 3.32P (θ = 1/2 | x) 0.63 0.69 0.77
Evidencia 0.225 0.354 0.521
valor − P = 0.75
Be(1/2, 1/2) e a priori de Jeffreys.
Marcia D’Elia Branco Inferencia Bayesiana - Aula 5 -