Capítulo 7Inferência Bayesiana

No Capítulo 5, apresentamos os conceitos básicos da inferência. No centro da teoria da inferência está o conceito de modelo estatístico \(\{f_\theta : \theta \in \negrito{\Omega}\}\), que descreve a incerteza do estatístico sobre como os dados observados foram produzidos. O Capítulo 6 tratou da análise dessa incerteza com base apenas no modelo e nos dados. Em alguns casos, isso pareceu ter bastante sucesso, mas observamos que lá tratamos apenas de alguns dos contextos mais simples.

Se aceitarmos o princípio de que, para poderem ser analisadas, todas as incertezas precisam ser descritas por probabilidades, então a especificação de um modelo, sozinha, é incompleta, pois ela não nos diz como fazer afirmações probabilísticas sobre o verdadeiro valor desconhecido de \(\theta\). Neste capítulo, completamos a descrição de modo que todas as incertezas sejam descritas por probabilidades. Isso leva a uma distribuição de probabilidade para \(\theta\) e, em essência, estamos na situação da Seção 5.2, com o parâmetro fazendo agora o papel da resposta não observada. Essa é a abordagem bayesiana da inferência.

Muitos estatísticos preferem desenvolver a teoria estatística sem os ingredientes adicionais necessários a uma descrição probabilística completa das incógnitas. Em parte, isso se deve ao desejo de evitar a especificação dos ingredientes adicionais do modelo necessários à formulação bayesiana. É claro que preferiríamos que nossa análise estatística se baseasse nas hipóteses de modelo menos numerosas e mais fracas possíveis. Por exemplo, na Seção 6.4, apresentamos métodos livres de distribuição¹. Paga-se um preço por esse enfraquecimento, porém, e ele costuma se manifestar em ambiguidades sobre como a inferência deve prosseguir. A formulação bayesiana, em essência, elimina a ambiguidade, mas ao preço de um modelo mais elaborado.

A abordagem bayesiana da inferência é às vezes apresentada como antagônica aos métodos baseados em propriedades de amostragem repetida (muitas vezes chamados de métodos frequentistas), como os discutidos, por exemplo, no Capítulo 6. A abordagem adotada neste texto, porém, é a de que o modelo bayesiano surge naturalmente quando o estatístico supõe mais ingredientes para o modelo. Cabe ao estatístico decidir que ingredientes podem ser justificados e, então, usar métodos apropriados. Devemos desconfiar de todas as hipóteses do modelo, pois usar hipóteses inadequadas pode invalidar nossas inferências. A verificação do modelo² será tratada no Capítulo 9.

7.1 As Distribuições a Priori e a Posteriori

O modelo bayesiano de inferência contém o modelo estatístico \(\{f_\theta : \theta \in \negrito{\Omega}\}\) para os dados \(s \in S\) e acrescenta a ele a medida de probabilidade³ a priori⁴ \(\Pi\) para \(\theta\). A distribuição a priori descreve as crenças do estatístico sobre o verdadeiro valor do parâmetro \(\theta\) a priori, isto é, antes de observar os dados. Por exemplo, se \(\negrito{\Omega} = [0, 1]\) e \(\theta\) é a probabilidade de obter cara no lançamento de uma moeda, então a densidade a priori \(\pi\) representada na Figura 7.1.1 indica que o estatístico tem alguma crença de que o verdadeiro valor de \(\theta\) está em torno de \(0{,}5\). Mas essa informação não é muito precisa.

Por outro lado, a densidade a priori \(\pi\) representada na Figura 7.1.2 indica que o estatístico tem uma informação muito precisa sobre o verdadeiro valor de \(\theta\). Na verdade, se o estatístico não sabe nada sobre o verdadeiro valor de \(\theta\), então usar a distribuição uniforme⁵ em \([0, 1]\) pode ser apropriado.

É importante lembrar que as probabilidades especificadas pela distribuição a priori representam crenças. Em geral, elas não correspondem a frequências de longo prazo, embora possam corresponder em certas circunstâncias. Uma pergunta natural é: de onde vêm essas crenças numa aplicação? Uma resposta fácil é dizer que elas vêm da experiência anterior com o sistema aleatório sob investigação ou, talvez, com sistemas relacionados. Para ser honesto, porém, raramente é esse o caso, e é preciso admitir que a distribuição a priori, assim como o modelo estatístico, é muitas vezes uma construção um tanto arbitrária, usada para conduzir as investigações do estatístico. Isso levanta a questão de saber se as inferências obtidas têm ou não alguma relevância para o contexto prático, caso os ingredientes do modelo sofram dessa arbitrariedade. É aqui que entra em cena o conceito de verificação do modelo, um tópico que discutiremos no Capítulo 9. Por ora, vamos supor que todos os ingredientes fazem sentido, mas lembre que, numa aplicação, eles precisam ser verificados para que as inferências obtidas tenham significado prático.

Observamos que os ingredientes da formulação bayesiana da inferência especificam uma distribuição marginal⁶ para \(\theta\), a saber, a distribuição a priori \(\Pi\), e um conjunto de distribuições condicionais para os dados \(s\) dado \(\theta\), a saber, \(\{f_\theta : \theta \in \negrito{\Omega}\}\). Pela lei da probabilidade total⁷ (Teoremas 2.3.1 e 2.8.1), esses ingredientes especificam uma distribuição conjunta⁸ para \((s, \theta)\), a saber, \[ \pi(\theta) f_\theta(s), \] em que \(\pi\) denota a função de probabilidade⁹ ou a função densidade¹⁰ associada a \(\Pi\). Quando a distribuição a priori é absolutamente contínua¹¹, a distribuição marginal de \(s\) é dada por \[ m(s) = \int_{\negrito{\Omega}} \pi(\theta) f_\theta(s) \, d\theta \] e é chamada de distribuição preditiva a priori¹² dos dados. Quando a distribuição a priori de \(\theta\) é discreta, substituímos (como de costume) a integral por uma soma.

Se não observássemos nenhum dado, a distribuição preditiva a priori seria a distribuição pertinente para fazer afirmações probabilísticas sobre o valor desconhecido de \(s\). Do mesmo modo, a distribuição a priori \(\pi\) é a distribuição pertinente a usar para fazer afirmações probabilísticas sobre \(\theta\) antes de observarmos \(s\). A inferência sobre essas quantidades não observadas procede então como descrito na Seção 5.2.

Lembre agora o princípio da probabilidade condicional¹³, a saber, \(P(A)\) é substituída por \(P(A \mid C)\) depois que nos dizem que \(C\) é verdadeiro. Portanto, depois de observar os dados, a distribuição pertinente a usar para fazer afirmações probabilísticas sobre \(\theta\) é a distribuição condicional¹⁴ de \(\theta\) dado \(s\). Denotamos essa medida de probabilidade condicional por \(\Pi(\cdot \mid s)\) e a chamamos de distribuição a posteriori¹⁵ de \(\theta\). Observe que a densidade (ou função de probabilidade) da distribuição a posteriori¹⁶ se obtém imediatamente tomando a densidade conjunta¹⁷ \(\pi(\theta) f_\theta(s)\) de \((s, \theta)\) e dividindo-a pela marginal \(m(s)\) de \(s\).

Às vezes, esse uso da probabilidade condicional é chamado de aplicação do teorema de Bayes (Teorema 1.5.2). Isso porque podemos pensar num valor de \(\theta\) sendo escolhido primeiro de acordo com \(\pi\) e, depois, em \(s\) sendo gerado a partir de \(f_\theta\). Queremos então fazer afirmações probabilísticas sobre o primeiro estágio, tendo observado o resultado do segundo estágio. É importante lembrar, porém, que escolher usar a distribuição a posteriori para fazer afirmações probabilísticas sobre \(\theta\) é um axioma, ou princípio, e não um teorema.

Observamos que, em (7.1.1), a preditiva a priori dos dados \(s\) faz o papel da constante normalizadora inversa da densidade a posteriori. Com isso queremos dizer que a densidade a posteriori de \(\theta\) é proporcional a \(\pi(\theta) f_\theta(s)\), como função de \(\theta\); para convertê-la numa função densidade propriamente dita, basta dividir por \(m(s)\). Em muitos exemplos, não precisamos calcular a constante normalizadora inversa. Isso porque reconhecemos, na expressão \(\pi(\theta) f_\theta(s)\), a forma funcional da distribuição a posteriori como função de \(\theta\) e, assim, deduzimos imediatamente a distribuição de probabilidade a posteriori de \(\theta\). Além disso, há métodos de Monte Carlo, como os discutidos no Capítulo 4, que nos permitem amostrar de \(\pi(\theta \mid s)\) sem conhecer \(m(s)\) (ver também a Seção 7.3).

Consideremos algumas aplicações da inferência bayesiana.

Exercícios

7.1.1 Suponha que \(S = \{1, 2\}\), \(\negrito{\Omega} = \{1, 2, 3\}\) e que a classe de distribuições de probabilidade da resposta \(s\) é dada pela tabela a seguir.

Se usarmos a distribuição a priori \(\pi(\theta)\) dada pela tabela

determine a distribuição a posteriori de \(\theta\) para cada amostra possível de tamanho 2.

7.1.2 No Exemplo 7.1.1, determine a média e a variância a posteriori de \(\theta\).

7.1.3 No Exemplo 7.1.2, qual é a probabilidade a posteriori de que \(\mu\) seja positivo, dado que \(n = 10\), \(\bar{x} = 1\), quando \(\sigma_0^2 = 1\), \(\mu_0 = 0\) e \(\tau_0^2 = 10\)? Compare-a com a probabilidade a priori desse evento.

7.1.4 Suponha que \((x_1, \ldots, x_n)\) é uma amostra de uma distribuição \(\text{Poisson}(\lambda)\), com \(\lambda \ge 0\) desconhecido. Se usarmos para \(\lambda\) a distribuição a priori dada pela distribuição \(\text{Gama}(\alpha, \beta)\), determine a distribuição a posteriori de \(\lambda\).

7.1.5 Suponha que \((x_1, \ldots, x_n)\) é uma amostra de uma distribuição \(\text{Uniforme}[0, \theta]\), com \(\theta > 0\) desconhecido. Se a distribuição a priori de \(\theta\) for \(\text{Gama}(\alpha, \beta)\), obtenha a forma da densidade a posteriori de \(\theta\).

7.1.6 Encontre a média e a variância a posteriori de \(\theta_i\) no Exemplo 7.1.3 quando \(k = 3\). (Sugestão: veja os Problemas 3.2.16 e 3.3.20.)

7.1.7 Suponha que temos a amostra

de uma distribuição \(N(\mu, \sigma^2)\) e determinamos que uma distribuição a priori especificada por \(\mu \mid \sigma^2 \sim N(3, 4\sigma^2)\), \(\sigma^{-2} \sim \text{Gama}(1, 1)\) é apropriada. Determine a distribuição a posteriori de \((\mu, 1/\sigma^2)\).

7.1.8 Suponha que a probabilidade a priori de \(\theta\) estar num conjunto \(A \subset \negrito{\Omega}\) é \(0{,}25\) e que a probabilidade a posteriori de \(\theta\) estar em \(A\) é \(0{,}80\). (a) Explique que efeito os dados tiveram sobre as suas crenças a respeito de o verdadeiro valor de \(\theta\) estar em \(A\).(b) Explique por que é mais pertinente relatar uma probabilidade a posteriori do que uma probabilidade a priori.

7.1.9 Suponha que você lança uma moeda e põe uma distribuição a priori \(\text{Uniforme}[0{,}4; 0{,}6]\) em \(\theta\), a probabilidade de obter cara num único lançamento. (a) Se você lançar a moeda \(n\) vezes e obtiver \(n\) caras, determine a densidade a posteriori de \(\theta\).(b) Suponha que o verdadeiro valor de \(\theta\) seja, na verdade, \(0{,}99\). A distribuição a posteriori de \(\theta\) vai alguma vez pôr massa de probabilidade em torno de \(\theta = 0{,}99\), para alguma amostra de tamanho \(n\)?(c) O que você conclui do item (b) sobre como deve escolher uma distribuição a priori?

7.1.10 Suponha que, para o modelo estatístico \(\{f_\theta : \theta \in R^1\}\), atribuímos a densidade a priori \(\pi\). Suponha agora que reparametrizamos o modelo por meio da função \(\psi = \Psi(\theta)\), em que \(\Psi : R^1 \to R^1\) é diferenciável e estritamente crescente²⁶. (a) Determine a densidade a priori de \(\psi\).(b) Mostre que \(m(x)\) é a mesma, quer parametrizemos o modelo por \(\theta\), quer por \(\psi\).

7.1.11 Suponha que, para o modelo estatístico \(\{f_\theta : \theta \in \negrito{\Omega}\}\), em que \(\negrito{\Omega} = \{-2, -1, 0, 1, 2, 3\}\), atribuímos a função de probabilidade a priori \(\pi\), que é uniforme em \(\negrito{\Omega}\). Suponha agora que estamos interessados principalmente em fazer inferências sobre \(\lvert\theta\rvert\). (a) Determine a distribuição de probabilidade a priori de \(\lvert\theta\rvert\). Essa distribuição é uniforme?(b) Uma distribuição a priori uniforme é às vezes usada para expressar ignorância completa sobre o valor de um parâmetro. A ignorância completa sobre o valor de um parâmetro implica ignorância completa sobre uma função de um parâmetro? Explique.

7.1.12 Suponha que, para o modelo estatístico \(\{f_\theta : \theta \in [0, 1]\}\), atribuímos a densidade a priori \(\pi\), que é uniforme em \(\negrito{\Omega} = [0, 1]\). Suponha agora que estamos interessados principalmente em fazer inferências sobre \(\theta^2\). (a) Determine a densidade a priori de \(\theta^2\). Essa distribuição é uniforme?(b) Uma distribuição a priori uniforme é às vezes usada para expressar ignorância completa sobre o valor de um parâmetro. A ignorância completa sobre o valor de um parâmetro implica ignorância completa sobre uma função de um parâmetro? Explique.

Exercícios computacionais

7.1.13 No Exemplo 7.1.2, quando \(\mu_0 = 2\), \(\tau_0^2 = 1\), \(\sigma_0^2 = 1\), \(n = 20\) e \(\bar{x} = 8{,}2\), gere uma amostra de \(10^4\) (ou tão grande quanto possível) da distribuição a posteriori de \(\mu\) e estime a probabilidade a posteriori de que o coeficiente de variação seja maior que \(0{,}125\), isto é, a probabilidade a posteriori de que \(\sigma_0/\mu > 0{,}125\). Estime o erro da sua aproximação.

7.1.14 No Exemplo 7.1.2, quando \(\mu_0 = 2\), \(\tau_0^2 = 1\), \(\sigma_0^2 = 1\), \(n = 20\) e \(\bar{x} = 8{,}2\), gere uma amostra de \(10^4\) (ou tão grande quanto possível) da distribuição a posteriori de \(\mu\) e estime a esperança²⁷ a posteriori do coeficiente de variação \(\sigma_0/\mu\). Estime o erro da sua aproximação.

7.1.15 No Exemplo 7.1.1, represente as densidades a priori e a posteriori no mesmo gráfico e compare-as quando \(n = 30\), \(\bar{x} = 0{,}73\), \(\alpha = 3\) e \(\beta = 3\). (Sugestão: calcule o logaritmo da densidade a posteriori e depois tome a exponencial do resultado. Você vai precisar da função log-gama, definida por \(\ln \Gamma(\alpha)\) para \(\alpha > 0\).)

Problemas

7.1.16 Suponha que a distribuição a priori de um parâmetro real \(\theta\) é dada pela distribuição \(N(\theta_0, \tau^2)\). Mostre que essa distribuição não converge para uma distribuição de probabilidade quando \(\tau \to \infty\). (Sugestão: considere os limites das funções de distribuição.)

7.1.17 Suponha que \((x_1, \ldots, x_n)\) é uma amostra de \(\{f_\theta : \theta \in \negrito{\Omega}\}\) e que temos uma distribuição a priori \(\pi\). Mostre que, se observarmos uma amostra adicional \((x_{n+1}, \ldots, x_{n+m})\), então a distribuição a posteriori que se obtém usando a posteriori \(\pi(\cdot \mid x_1, \ldots, x_n)\) como distribuição a priori e condicionando em seguida a \((x_{n+1}, \ldots, x_{n+m})\) é a mesma que a distribuição a posteriori obtida usando a distribuição a priori \(\pi\) e condicionando a \((x_1, \ldots, x_n, x_{n+1}, \ldots, x_{n+m})\). Essa é a propriedade de atualização bayesiana.

7.1.18 No Exemplo 7.1.1, determine \(m(x)\). Se lhe pedissem para gerar um valor dessa distribuição, como você faria? (Sugestão: para a parte da geração, use o teorema da probabilidade total.)

7.1.19 Prove que a distribuição a posteriori depende dos dados somente por meio do valor de uma estatística suficiente²⁸.

Problemas computacionais

7.1.20 Para os dados do Exercício 7.1.7, represente as densidades a priori e a posteriori de \(\sigma^2\) em \((0, 10)\) no mesmo gráfico e compare-as. (Sugestão: calcule primeiro os logaritmos das densidades e depois represente a exponencial desses valores.)

7.1.21 No Exemplo 7.1.4, quando \(\mu_0 = 0\), \(\tau_0^2 = 1\), \(\alpha_0 = 2\), \(\beta_0 = 1\), \(n = 20\), \(\bar{x} = 8{,}2\) e \(s^2 = 2{,}1\), gere uma amostra de \(10^4\) (ou tão grande quanto for viável) da distribuição a posteriori de \(\sigma^2\) e estime a probabilidade a posteriori de que \(\sigma > 2\). Estime o erro da sua aproximação.

7.1.22 No Exemplo 7.1.4, quando \(\mu_0 = 0\), \(\tau_0^2 = 1\), \(\alpha_0 = 2\), \(\beta_0 = 1\), \(n = 20\), \(\bar{x} = 8{,}2\) e \(s^2 = 2{,}1\), gere uma amostra de \(10^4\) (ou tão grande quanto for viável) da distribuição a posteriori de \((\mu, \sigma^2)\) e estime a esperança a posteriori de \(\sigma\). Estime o erro da sua aproximação.

Tópicos para discussão

7.1.23 Uma das objeções levantadas contra a metodologia da inferência bayesiana é que ela tem natureza subjetiva. Comente isso e o papel da subjetividade nas investigações científicas.

7.1.24 Dois estatísticos são solicitados a analisar um conjunto de dados \(x\) produzido por um sistema em estudo. O Estatístico I escolhe usar um modelo amostral \(\{f_\theta : \theta \in \negrito{\Omega}\}\) e a distribuição a priori \(\pi_I\), enquanto o Estatístico II escolhe usar um modelo amostral \(\{g_\psi : \psi \in \Psi\}\) e a distribuição a priori \(\pi_{II}\). Comente o fato de que esses ingredientes podem ser completamente diferentes e, portanto, as análises subsequentes também. Qual é a relevância disso para o papel da subjetividade nas análises científicas de dados?

7.2 Inferências Baseadas na Distribuição a Posteriori

Na Seção 7.1, determinamos a distribuição a posteriori de \(\theta\) como um objeto fundamental da inferência bayesiana. Em essência, o princípio da probabilidade condicional afirma que a distribuição a posteriori \(\pi(\theta \,|\, s)\) contém toda a informação relevante do modelo amostral \(\{f_\theta : \theta \in \negrito{\Omega}\}\), da priori \(\pi\) e dos dados \(s\) sobre o verdadeiro valor desconhecido de \(\theta\). Embora esse seja um grande passo adiante, ele não nos diz completamente como fazer os tipos de inferência que discutimos na Seção 5.5.3.

Em particular, precisamos especificar como calcular estimativas e regiões de credibilidade e como fazer a avaliação de hipóteses²⁹ — que é o que faremos nesta seção. Acontece que muitas vezes há várias maneiras plausíveis de proceder, mas todas têm em comum o fato de se basearem na distribuição a posteriori.

Em geral, nosso interesse é especificar inferências sobre uma característica de interesse \(\psi(\theta)\) a valores reais. Uma das grandes vantagens da abordagem bayesiana é que as inferências sobre \(\psi\) são determinadas da mesma maneira que as inferências sobre o parâmetro completo \(\theta\), mas com a distribuição a posteriori marginal de \(\psi\) no lugar da distribuição a posteriori completa. Essa situação pode ser comparada com os métodos de verossimilhança do Capítulo 6, em que nem sempre fica inteiramente claro como devemos proceder para determinar inferências sobre \(\psi\) com base na verossimilhança. Ainda assim, pagamos um preço por isso ao exigir o acréscimo de mais um ingrediente ao modelo, a saber, a priori.

Assim, precisamos determinar a distribuição a posteriori de \(\psi\). Em geral, essa pode ser uma tarefa difícil, mesmo quando temos uma expressão em forma fechada para \(\pi(\theta \,|\, s)\). Quando a distribuição a posteriori de \(\theta\) é discreta, a função de probabilidade a posteriori de \(\psi\) é dada por \[ \omega(\psi_0 \,|\, s) = \sum_{\{\theta : \psi(\theta) = \psi_0\}} \pi(\theta \,|\, s). \]

Quando a distribuição a posteriori de \(\theta\) é absolutamente contínua, muitas vezes conseguimos encontrar uma função complementar³⁰ \(\lambda(\theta)\) tal que \(h(\theta) = (\psi(\theta), \lambda(\theta))\) seja injetora³¹ e tal que os métodos da Seção 2.9.2 possam ser aplicados. Então, denotando a inversa dessa transformação por \(\theta = h^{-1}(\psi, \lambda)\), os métodos da Seção 2.9.2 mostram que a distribuição a posteriori marginal de \(\psi\) tem densidade dada por \begin{equation} \omega(\psi_0 \,|\, s) = \int \pi(h^{-1}(\psi_0, \lambda) \,|\, s) \lvert J(h^{-1}(\psi_0, \lambda)) \rvert^{-1} \, d\lambda, \tag{7.2.1} \end{equation} em que \(J\) denota o jacobiano³² dessa transformação (veja o Problema 7.2.35). Calcular (7.2.1) pode ser difícil, e em geral evitaremos fazê-lo aqui. Um exemplo ilustra como às vezes podemos evitar a implementação direta de (7.2.1) e ainda assim obter a distribuição a posteriori marginal de \(\psi\).

Em alguns casos, integrais como (7.2.2) podem ser calculadas em forma fechada; em outros, não. Embora seja conveniente ter uma forma fechada para uma densidade, muitas vezes isso não é necessário, pois podemos usar métodos de Monte Carlo para aproximar as probabilidades e esperanças a posteriori de interesse. Voltaremos a isso na Seção 7.3. Devemos sempre lembrar que nosso objetivo, ao implementar métodos de inferência bayesiana, não é encontrar as densidades a posteriori marginais das quantidades de interesse, mas sim ter um algoritmo computacional que nos permita implementar nossas inferências.

Sob condições bastante fracas, pode-se mostrar que a distribuição a posteriori de \(\theta\) converge, à medida que o tamanho da amostra³⁷ aumenta, para uma distribuição degenerada³⁸ no verdadeiro valor. Isso é muito satisfatório, pois indica que os métodos de inferência bayesiana são consistentes.

7.2.1 Estimação

Suponha agora que queremos calcular uma estimativa³⁹ de uma característica de interesse \(\psi(\theta)\). Baseamos essa estimativa na distribuição a posteriori dessa quantidade. Há várias abordagens diferentes para esse problema.

Talvez a estimativa mais natural seja obter a densidade a posteriori (ou a função de probabilidade, quando for o caso) de \(\psi\) e usar a moda a posteriori \(\hat{\psi}\), isto é, o ponto em que a função de probabilidade ou a densidade a posteriori de \(\psi\) assume seu máximo. No caso discreto, é o valor de \(\psi\) com a maior probabilidade a posteriori; no caso contínuo, é o valor que tem a maior quantidade de probabilidade a posteriori em intervalos curtos que o contêm.

Para calcular a moda a posteriori, precisamos maximizar \(\omega(\psi \,|\, s)\) como função de \(\psi\). Note que isso equivale a maximizar \(m(s)\omega(\psi \,|\, s)\), de modo que não precisamos calcular a constante de normalização inversa para fazê-lo. Na verdade, podemos convenientemente escolher maximizar qualquer função que seja uma função crescente e injetora de \(\omega(\cdot \,|\, s)\) e obter a mesma resposta. Em geral, \(\omega(\cdot \,|\, s)\) pode não ter uma única moda, mas tipicamente há apenas uma.

Uma estimativa alternativa é muito usada e tem uma interpretação natural. Ela é dada pela média a posteriori \[ E(\psi(\theta) \,|\, s), \] sempre que esta existir. Quando a distribuição a posteriori de \(\psi\) é simétrica em torno de sua moda e a esperança existe, a esperança a posteriori é igual à moda a posteriori; caso contrário, essas estimativas serão diferentes. Se quisermos que a estimativa reflita onde está a massa central de probabilidade, então, nos casos em que \(\omega(\cdot \,|\, s)\) é muito assimétrica, talvez a moda seja uma escolha melhor que a média. Veremos no Capítulo 8, porém, que há outras maneiras de justificar a média a posteriori como estimativa.

Consideramos agora alguns exemplos.

Uma questão que ainda não abordamos é como avaliar a precisão das estimativas bayesianas. Naturalmente, essa avaliação se baseia na distribuição a posteriori e em quão concentrada ela está em torno da estimativa usada. No caso da média a posteriori, isso significa que calculamos a variância a posteriori como medida de dispersão da distribuição a posteriori de \(\psi\) em torno de sua média. Para a moda a posteriori, discutiremos essa questão mais a fundo na Seção 7.2.3.

7.2.2 Intervalos de Credibilidade

Um intervalo de credibilidade⁴¹ para um parâmetro \(\psi(\theta)\) a valores reais é um intervalo \(C(s) = [l(s), u(s)]\) que acreditamos que conterá o verdadeiro valor de \(\psi\). Como na abordagem da teoria amostral, especificamos uma probabilidade \(\gamma\) e então encontramos um intervalo \(C(s)\) que satisfaça \begin{equation} \Pi(\psi(\theta) \in C(s) \,|\, s) = \Pi(\{\theta : l(s) \le \psi(\theta) \le u(s)\} \,|\, s) \ge \gamma. \tag{7.2.3} \end{equation} Chamamos então \(C(s)\) de intervalo de credibilidade \(\gamma\) para \(\psi\).

Naturalmente, procuramos um intervalo de credibilidade \(\gamma\), \(C(s)\), tal que \(\Pi(\psi(\theta) \in C(s) \,|\, s)\) seja o mais próximo possível de \(\gamma\) e tal que \(C(s)\) seja o mais curto possível. Isso leva a considerar os intervalos de maior densidade a posteriori⁴² (HPD), que são da forma \[ C(s) = \{\psi : \omega(\psi \,|\, s) \ge c\}, \] em que \(\omega(\cdot \,|\, s)\) é a densidade a posteriori marginal de \(\psi\) e \(c\) é escolhido o maior possível de modo que (7.2.3) seja satisfeita. Na Figura 7.2.1, traçamos um exemplo de intervalo HPD para um dado valor de \(c\).

É claro que \(C(s)\) contém a moda sempre que \(c \le \max_\psi \omega(\psi \,|\, s)\). Podemos tomar o comprimento de um intervalo HPD como medida da precisão da moda de \(\omega(\cdot \,|\, s)\) como estimador de \(\psi(\theta)\). O comprimento de um intervalo de credibilidade 0,95 para \(\psi\) servirá ao mesmo propósito que a margem de erro nos intervalos de confiança.

Considere agora algumas aplicações do conceito de intervalo de credibilidade.

Nos exemplos que consideramos até aqui, conseguimos obter expressões em forma fechada para os intervalos HPD. Em geral, isso não acontece. Nessas situações, temos de recorrer a métodos numéricos para obter os intervalos HPD, mas não vamos nos aprofundar nesse tema aqui.

Há outros métodos de obter intervalos de credibilidade. Por exemplo, um método comum de obter um intervalo de credibilidade \(\gamma\) para \(\psi\) é tomar o intervalo \([\psi_l, \psi_r]\), em que \(\psi_l\) é um quantil \((1 - \gamma)/2\) da distribuição a posteriori de \(\psi\) e \(\psi_r\) é um quantil \(1 - (1 - \gamma)/2\) dessa distribuição. Alternativamente, poderíamos formar intervalos unilaterais. Esses intervalos de credibilidade evitam as contas mais extensas que podem ser necessárias para os intervalos HPD.

7.2.3 Teste de Hipóteses e Fatores de Bayes

Suponha agora que queremos avaliar a evidência que os dados observados trazem a respeito da hipótese \(H_0 : \psi(\theta) = \psi_0\). Parece claro como devemos fazer essa avaliação, a saber, calculando a probabilidade a posteriori \begin{equation} \Pi(\psi(\theta) = \psi_0 \,|\, s). \tag{7.2.4} \end{equation} Se ela for pequena, concluímos que temos evidência contra \(H_0\). Veremos outras justificativas para essa abordagem no Capítulo 8.

Pode haver um problema, porém, no uso de (7.2.4) para avaliar uma hipótese. Pois, quando a distribuição a priori de \(\psi\) é absolutamente contínua, então \(\Pi(\psi(\theta) = \psi_0 \,|\, s) = 0\) para quaisquer dados \(s\). Portanto, sempre encontraríamos evidência contra \(H_0\), não importa o que fosse observado, o que não faz sentido. Em geral, se o valor \(\psi_0\) recebe probabilidade a priori pequena, pode acontecer de esse valor ter também probabilidade a posteriori pequena, não importa quais dados sejam observados.

Para evitar esse problema, às vezes se usa uma abordagem alternativa para a avaliação de hipóteses. Lembre que, se \(\psi_0\) é um valor surpreendente para a distribuição a posteriori de \(\psi\), isso é evidência de que \(H_0\) é falsa. O valor \(\psi_0\) é surpreendente sempre que está numa região de baixa probabilidade da distribuição a posteriori de \(\psi\). Uma região de baixa probabilidade corresponde a uma região onde a densidade a posteriori \(\omega(\cdot \,|\, s)\) é relativamente baixa. Assim, um método possível para fazer essa avaliação é calcular o valor-p (bayesiano) \begin{equation} \Pi(\{\theta : \omega(\psi(\theta) \,|\, s) \le \omega(\psi_0 \,|\, s)\} \,|\, s). \tag{7.2.5} \end{equation} Note que, quando \(\omega(\cdot \,|\, s)\) é unimodal, (7.2.5) corresponde a calcular uma probabilidade de cauda. Se a probabilidade (7.2.5) for pequena, então \(\psi_0\) é surpreendente, pelo menos em relação às nossas crenças a posteriori. Quando decidimos rejeitar \(H_0\) sempre que o valor-p for menor que \(1 - \gamma\), essa abordagem equivale a calcular uma região HPD \(\gamma\) para \(\psi\) e rejeitar \(H_0\) sempre que \(\psi_0\) não estiver na região.

Vemos pelos Exemplos 7.2.9 e 7.2.10 que calcular o valor-p (7.2.5) equivale essencialmente a usar (7.2.4) sempre que o parâmetro marginal \(\psi\) assume apenas dois valores. Isso não acontece, porém, quando \(\psi\) assume mais de dois valores, e o estatístico tem de decidir qual método é mais apropriado nesse contexto.

Como já observado, quando a distribuição a priori de \(\psi\) é absolutamente contínua, (7.2.4) é sempre 0, não importa quais dados sejam observados. Como o exemplo a seguir ilustra, também há uma dificuldade no uso de (7.2.5) nessa situação.

A dificuldade no uso de (7.2.5), demonstrada no Exemplo 7.2.11, só ocorre com distribuições a posteriori contínuas. Assim, para evitar esse problema, recomenda-se muitas vezes que a hipótese a ser testada receba sempre uma probabilidade a priori positiva. Como demonstrado no Exemplo 7.2.10, a abordagem via (7.2.5) passa então a ser essencialmente equivalente a usar (7.2.4) para avaliar \(H_0\).

Em problemas em que parece natural usar distribuições a priori contínuas, isso se consegue tomando a distribuição a priori \(\Pi\) como uma mistura de distribuições de probabilidade, como discutido na Seção 2.5.4, a saber, a distribuição a priori é igual a \[ \Pi = p\Pi_1 + (1 - p)\,\Pi_2, \] onde \(\Pi_1(\psi(\theta) = \psi_0) = 1\) e \(\Pi_2(\psi(\theta) = \psi_0) = 0\), isto é, \(\Pi_1\) é degenerada em \(\psi_0\) e \(\Pi_2\) é contínua em \(\psi_0\). Então \[ \Pi(\psi(\theta) = \psi_0) = p\Pi_1(\psi(\theta) = \psi_0) + (1 - p)\,\Pi_2(\psi(\theta) = \psi_0) = p > 0 \] é a probabilidade a priori de que \(H_0\) seja verdadeira.

A preditiva a priori para os dados \(s\) é então dada por \[ m(s) = pm_1(s) + (1 - p)m_2(s), \] onde \(m_i\) é a preditiva a priori obtida com a distribuição a priori \(\Pi_i\) (ver Problema 7.2.34). Isso implica (ver Problema 7.2.34) que a medida de probabilidade a posteriori para \(\theta\), quando se usa a distribuição a priori \(\Pi\), é \begin{align} &\Pi(A \,|\, s) \notag \\ &= \frac{pm_1(s)}{pm_1(s) + (1 - p)m_2(s)}\,\Pi_1(A \,|\, s) + \frac{(1 - p)\,m_2(s)}{pm_1(s) + (1 - p)m_2(s)}\,\Pi_2(A \,|\, s) \tag{7.2.6} \end{align} onde \(\Pi_i(\cdot \,|\, s)\) é a medida a posteriori obtida com a distribuição a priori \(\Pi_i\). Note que isso é uma mistura das medidas de probabilidade a posteriori \(\Pi_1(\cdot \,|\, s)\) e \(\Pi_2(\cdot \,|\, s)\), com probabilidades de mistura \[ \frac{pm_1(s)}{pm_1(s) + (1 - p)m_2(s)} \quad\text{e}\quad \frac{(1 - p)\,m_2(s)}{pm_1(s) + (1 - p)m_2(s)}. \]

Agora, \(\Pi_1(\cdot \,|\, s)\) é degenerada em \(\psi_0\) (se a distribuição a priori é degenerada num ponto, a distribuição a posteriori também tem de ser degenerada nesse ponto) e \(\Pi_2(\cdot \,|\, s)\) é contínua em \(\psi_0\). Portanto, \begin{equation} \Pi(\psi(\theta) = \psi_0 \,|\, s) = \frac{pm_1(s)}{pm_1(s) + (1 - p)m_2(s)}, \tag{7.2.7} \end{equation} e usamos essa probabilidade para avaliar \(H_0\).

O exemplo a seguir ilustra essa abordagem.

Fatores de Bayes

Os fatores de Bayes formam outro método de avaliação de hipóteses e são definidos em termos de chances.

Obviamente, valores grandes da chance a favor de \(A\) indicam uma crença forte de que \(A\) é verdadeiro. As chances são outra maneira de apresentar probabilidades, conveniente em certos contextos, por exemplo, nas corridas de cavalos. Os fatores de Bayes comparam a chance a posteriori⁵¹ com a chance a priori⁵².

Assim, o fator de Bayes a favor de \(H_0\) mede o quanto os dados mudaram a chance a favor da hipótese. Se \(BF_{H_0}\) é pequeno, os dados fornecem evidência contra \(H_0\), e evidência a favor de \(H_0\) quando \(BF_{H_0}\) é grande.

Há uma relação entre a probabilidade a posteriori de \(H_0\) ser verdadeira e \(BF_{H_0}\). De (7.2.8), obtemos \begin{equation} \Pi(\psi(\theta) = \psi_0 \,|\, s) = \frac{rBF_{H_0}}{1 + rBF_{H_0}}, \tag{7.2.9} \end{equation} onde \[ r = \frac{\Pi(\psi(\theta) = \psi_0)}{1 - \Pi(\psi(\theta) = \psi_0)} \] é a chance a priori a favor de \(H_0\). Assim, quando \(BF_{H_0}\) é pequeno, \(\Pi(\psi(\theta) = \psi_0 \,|\, s)\) é pequena, e vice-versa.

Uma razão para usar fatores de Bayes na avaliação de hipóteses é o resultado a seguir, que estabelece uma ligação com as razões de verossimilhança.

Curiosamente, o Teorema 7.2.1 indica que o fator de Bayes não depende de \(p\). Observamos, porém, que não é imediatamente claro como interpretar o valor de \(BF_{H_0}\). Em particular, quão grande \(BF_{H_0}\) precisa ser para fornecer evidência forte a favor de \(H_0\)? Uma abordagem para esse problema é usar (7.2.9), já que ela dá a probabilidade a posteriori de \(H_0\), que é diretamente interpretável. Assim, podemos calibrar o fator de Bayes. Note, porém, que isso exige especificar \(p\).

7.2.4 Predição

Problemas de predição⁵⁴ surgem quando temos um valor de resposta não observado \(t\) num espaço amostral \(T\) e uma resposta observada \(s \in S\). Além disso, temos o modelo estatístico \(\{P_\theta : \theta \in \negrito{\Omega}\}\) para \(s\) e o modelo estatístico condicional \(\{Q_\theta(\cdot \,|\, s) : \theta \in \negrito{\Omega}\}\) para \(t\) dado \(s\). Supomos que os dois modelos têm o mesmo valor verdadeiro de \(\theta \in \negrito{\Omega}\). O objetivo é construir uma predição \(\tilde{t}(s) \in T\) do valor não observado \(t\), com base nos dados observados \(s\). O valor de \(t\) pode ser desconhecido simplesmente porque representa um resultado futuro.

Se denotarmos a densidade condicional⁵⁵ ou a função de probabilidade condicional⁵⁶ (a que for pertinente) de \(t\) por \(q_\theta(\cdot \,|\, s)\), a distribuição conjunta de \((\theta, s, t)\) é dada por \[ q_\theta(t \,|\, s) f_\theta(s) \pi(\theta). \] Então, depois de observar \(s\) (suponha aqui que as distribuições de \(\theta\) e de \(t\) são absolutamente contínuas; se não forem, trocamos as integrais por somas), a densidade condicional de \((t, \theta)\), dado \(s\), é \[ \frac{q_\theta(t \,|\, s) f_\theta(s) \pi(\theta)} {\int_{\negrito{\Omega}} \int_T q_\theta(t \,|\, s) f_\theta(s) \pi(\theta) \, dt \, d\theta} = \frac{q_\theta(t \,|\, s) f_\theta(s) \pi(\theta)} {\int_{\negrito{\Omega}} f_\theta(s) \pi(\theta) \, d\theta} = \frac{q_\theta(t \,|\, s) f_\theta(s) \pi(\theta)}{m(s)}. \] Então, a distribuição a posteriori marginal de \(t\), conhecida como a preditiva a posteriori⁵⁷ de \(t\), é \[ q(t \,|\, s) = \int_{\negrito{\Omega}} \frac{q_\theta(t \,|\, s) f_\theta(s) \pi(\theta)}{m(s)} \, d\theta = \int_{\negrito{\Omega}} q_\theta(t \,|\, s) \pi(\theta \,|\, s) \, d\theta. \] Note que a preditiva a posteriori de \(t\) é obtida tomando a média da densidade condicional de \(t\), dado \((\theta, s)\), em relação à distribuição a posteriori de \(\theta\).

Agora que obtivemos a distribuição preditiva a posteriori de \(t\), podemos usá-la para escolher uma estimativa do valor não observado. De novo, poderíamos escolher como nossa predição a moda a posteriori \(\hat{t}\) ou a esperança a posteriori \(E(t \,|\, x) = \int_T t\, q(t \,|\, s) \, dt\), a que for considerada mais pertinente.⁵⁸

Podemos também construir uma região de predição \(\gamma\), \(C(s)\), para um valor futuro \(t\) a partir do modelo \(\{q_\theta(\cdot \,|\, s) : \theta \in \negrito{\Omega}\}\). Uma região de predição \(\gamma\) para \(t\) satisfaz \(Q(C(s) \,|\, s \ge \gamma)\), onde \(Q(\cdot \,|\, s)\) é a medida preditiva a posteriori para \(t\).⁶⁰ Uma abordagem para construir \(C(s)\) é aplicar o conceito de HPD a \(q(t \,|\, s)\). Ilustramos isso com vários exemplos.

Exercícios

7.2.1 Para o modelo discutido no Exemplo 7.1.1, deduza a média a posteriori de \(\psi = \theta^m\), em que \(m > 0\).

7.2.2 Para o modelo discutido no Exemplo 7.1.2, determine a distribuição a posteriori do terceiro quartil \(\psi = \mu + \sigma_0 z_{0{,}75}\). Determine a moda a posteriori e a esperança a posteriori de \(\psi\).

7.2.3 No Exemplo 7.2.1, determine a esperança a posteriori e a moda de \(1/\sigma^2\).

7.2.4 No Exemplo 7.2.1, determine a esperança a posteriori e a moda de \(\sigma^2\). (Sugestão: você vai precisar da densidade a posteriori de \(\sigma^2\) para determinar a moda.)

7.2.5 Faça as contas para verificar a moda a posteriori e a esperança a posteriori de \(\theta_1\) no Exemplo 7.2.4.

7.2.6 Mostre que a variância do \(\theta\) no Exemplo 7.2.2 é como dada no Exemplo 7.2.6. Prove que ela tende a 0 quando \(n \to \infty\).

7.2.7 Mostre que a variância de \(\theta_1\) no Exemplo 7.2.4 é como dada no Exemplo 7.2.6. Prove que ela tende a 0 quando \(n \to \infty\).

7.2.8 No Exemplo 7.2.14, qual dos dois preditores obtidos ali você acha mais sensato? Por quê?

7.2.9 No Exemplo 7.2.15, prove que a distribuição preditiva a posteriori de \(X_{n+1}\) é a enunciada. (Sugestão: escreva a densidade da distribuição preditiva a posteriori como uma esperança.)

7.2.10 Suponha que \((x_1, \ldots, x_n)\) seja uma amostra da distribuição \(\text{Exponencial}(\lambda)\), em que \(\lambda > 0\) é desconhecido e \(\lambda \sim \text{Gama}(\alpha_0, \beta_0)\). Determine a moda da distribuição a posteriori de \(\lambda\). Determine também a esperança a posteriori e a variância a posteriori de \(\lambda\).

7.2.11 Suponha que \((x_1, \ldots, x_n)\) seja uma amostra da distribuição \(\text{Exponencial}(\lambda)\), em que \(\lambda > 0\) é desconhecido e \(\lambda \sim \text{Gama}(\alpha_0, \beta_0)\). Determine a moda da distribuição a posteriori de uma observação futura independente \(X_{n+1}\). Determine também a esperança a posteriori de \(X_{n+1}\) e a variância a posteriori de \(X_{n+1}\). (Sugestão: Problemas 3.2.16 e 3.3.20.)

7.2.12 Suponha que, numa população de estudantes de uma disciplina com muitos inscritos, a nota, de 0 a 100, numa prova final tenha distribuição aproximadamente \(N(\mu, 9)\). O professor põe a distribuição a priori \(\mu \sim N(65, 1)\) no parâmetro desconhecido. Obtém-se a amostra de 10 notas dada abaixo.

(a) Determine a moda a posteriori e um intervalo de credibilidade 0,95 para \(\mu\). O que esse intervalo diz sobre a precisão da estimativa?(b) Use o intervalo de credibilidade 0,95 para \(\mu\) para testar a hipótese \(H_0 : \mu = 65\).(c) Suponha que atribuímos probabilidade a priori 0,5 a \(\mu = 65\). Usando a distribuição a priori de mistura \(\Pi = 0{,}5\Pi_1 + 0{,}5\Pi_2\), em que \(\Pi_1\) é degenerada em \(\mu = 65\) e \(\Pi_2\) é a distribuição \(N(65, 1)\), calcule a probabilidade a posteriori da hipótese nula⁶¹.(d) Calcule o fator de Bayes a favor de \(H_0 : \mu = 65\) quando se usa a distribuição a priori de mistura.

7.2.13 Um fabricante acredita que uma máquina produz hastes com comprimentos, em centímetros, com distribuição \(N(\mu_0, \sigma^2)\), em que \(\mu_0\) é conhecido e \(\sigma^2 > 0\) é desconhecido, e que a distribuição a priori \(1/\sigma^2 \sim \text{Gama}(\alpha_0, \beta_0)\) é apropriada. (a) Determine a distribuição a posteriori de \(\sigma^2\) com base numa amostra \((x_1, \ldots, x_n)\).(b) Determine a média a posteriori de \(\sigma^2\).(c) Indique como você avaliaria a hipótese \(H_0 : \sigma^2 \le \sigma_0^2\).

7.2.14 Considere o modelo amostral e a distribuição a priori do Exercício 7.1.1. (a) Suponha que queremos estimar \(\theta\) tendo observado \(s = 1\). Determine a moda a posteriori e a média a posteriori. Qual você preferiria nessa situação? Explique por quê.(b) Determine uma região HPD 0,8 para \(\theta\) tendo observado \(s = 1\).(c) Suponha que, em vez disso, o interesse estivesse em \(\psi(\theta) = I_{\{1, 2\}}(\theta)\). Identifique a distribuição a priori de \(\psi\). Identifique a distribuição a posteriori de \(\psi\) tendo observado \(s = 1\). Determine uma região HPD 0,5 para \(\psi\).

7.2.15 Para um evento \(A\), temos que \(P(A^c) = 1 - P(A)\). (a) Qual é a relação entre a chance a favor de \(A\) e a chance a favor de \(A^c\)?(b) Quando \(A\) é um subconjunto do espaço paramétrico, qual é a relação entre o fator de Bayes a favor de \(A\) e o fator de Bayes a favor de \(A^c\)?

7.2.16 Suponha que lhe digam que a chance a favor de um subconjunto \(A\) é de 3 para 1. Qual é a probabilidade de \(A\)? Se o fator de Bayes a favor de \(A\) é 10 e a probabilidade a priori de \(A\) é 1/2, determine a probabilidade a posteriori de \(A\).

7.2.17 Suponha que foram obtidos os dados \(s\). Dois estatísticos analisam esses dados usando o mesmo modelo amostral, mas distribuições a priori diferentes, e lhes pedem que avaliem uma hipótese \(H_0\). Os dois estatísticos relatam um fator de Bayes a favor de \(H_0\) igual a 100. O estatístico I atribuiu probabilidade a priori 1/2 a \(H_0\), enquanto o estatístico II atribuiu probabilidade a priori 1/4 a \(H_0\). Qual estatístico tem o maior grau de crença a posteriori de que \(H_0\) é verdadeira?

7.2.18 Dizem-lhe que um intervalo de credibilidade 0,95, determinado pelo critério HPD, para uma quantidade \(\psi(\theta)\) é dado por \((-3{,}3; 2{,}6)\). Se lhe pedirem para avaliar a hipótese \(H_0 : \psi(\theta) = 0\), o que você pode dizer sobre o valor-p bayesiano? Explique sua resposta.

7.2.19 Qual é o intervalo de valores possíveis de um fator de Bayes a favor de \(A \subset \negrito{\Omega}\)? Em que condições um fator de Bayes a favor de \(A \subset \negrito{\Omega}\) assume seu menor valor?

Problemas

7.2.20 Suponha que \((x_1, \ldots, x_n)\) seja uma amostra da distribuição \(\text{Uniforme}[0, \theta]\), em que \(\theta > 0\) é desconhecido, e que temos \(\theta \sim \text{Gama}(\alpha_0, \beta_0)\). Determine a moda da distribuição a posteriori de \(\theta\). (Sugestão: a densidade a posteriori não é diferenciável em \(\theta = x_{(n)}\).)

7.2.21 Suponha que \((x_1, \ldots, x_n)\) seja uma amostra da distribuição \(\text{Uniforme}[0, \theta]\), em que \(\theta \in (0, 1)\) é desconhecido, e que temos \(\theta \sim \text{Uniforme}[0, 1]\). Determine a forma do intervalo de credibilidade \(\gamma\) para \(\theta\) com base no conceito de HPD.

7.2.22 No Exemplo 7.2.1, escreva por extenso a integral dada em (7.2.2).

7.2.23 (MV) No Exemplo 7.2.1, escreva por extenso a integral que você precisaria calcular se quisesse obter a densidade a posteriori do terceiro quartil da distribuição populacional, isto é, \(\psi = \mu + \sigma z_{0{,}75}\).

7.2.24 Considere o modelo normal de locação discutido no Exemplo 7.1.2 e o coeficiente de variação populacional \(\psi = \sigma_0/\mu\). (a) Mostre que a esperança a posteriori de \(\psi\) não existe. (Sugestão: mostre que podemos escrever a esperança a posteriori como \[ \int_{-\infty}^{\infty} \frac{\sigma_0}{a + bz} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz, \] em que \(b > 0\), e mostre que essa integral não existe considerando o comportamento do integrando em \(z = -a/b\).)(b) Determine a densidade a posteriori de \(\psi\).(c) Mostre que você pode determinar a moda a posteriori de \(\psi\) calculando a densidade a posteriori em dois pontos específicos. (Sugestão: proceda maximizando o logaritmo da densidade a posteriori pelos métodos do cálculo.)

7.2.25 (MV) Suponha que \((\theta_1, \ldots, \theta_{k-1}) \sim \text{Dirichlet}(\alpha_1, \alpha_2, \ldots, \alpha_k)\). (a) Prove que \((\theta_1, \ldots, \theta_{k-2}) \sim \text{Dirichlet}(\alpha_1, \alpha_2, \ldots, \alpha_{k-1} + \alpha_k)\). (Sugestão: na integral para eliminar \(\theta_{k-1}\) por integração, faça a transformação \(\theta_{k-1} \to \theta_{k-1}/(1 - \theta_1 - \cdots - \theta_{k-2})\).)(b) Prove que \(\theta_1 \sim \text{Beta}(\alpha_1, \alpha_2 + \cdots + \alpha_k)\). (Sugestão: use a parte (a).)(c) Suponha que \((i_1, \ldots, i_k)\) seja uma permutação⁶² de \((1, \ldots, k)\). Prove que \((\theta_{i_1}, \ldots, \theta_{i_{k-1}}) \sim \text{Dirichlet}(\alpha_{i_1}, \alpha_{i_2}, \ldots, \alpha_{i_k})\). (Sugestão: qual é o jacobiano dessa transformação?)(d) Prove que \(\theta_i \sim \text{Beta}(\alpha_i, \alpha_{-i})\). (Sugestão: use as partes (b) e (c).)

7.2.26 (MV) No Exemplo 7.2.4, mostre que o EMV plug-in de \(\theta_1\) é dado por \(x_1/n\), isto é, encontre o EMV de \((\theta_1, \ldots, \theta_k)\) e determine a primeira coordenada. (Sugestão: mostre que há uma única solução das equações de escore e depois use os fatos de que a log-verossimilhança⁶³ é limitada superiormente e tende a \(-\infty\) sempre que \(\theta_i \to 0\).)

7.2.27 Compare os resultados obtidos nos Exercícios 7.2.3 e 7.2.4. O que você conclui sobre as propriedades de invariância desses procedimentos de estimação⁶⁴? (Sugestão: considere o Teorema 6.2.1.)

7.2.28 No Exemplo 7.2.5, mostre que a variância a posteriori de \(\mu\) é como enunciada no Exemplo 7.2.6. (Sugestão: Problema 4.6.16.)

7.2.29 Num problema de predição, como descrito na Seção 7.2.4, deduza a forma da densidade preditiva a priori de \(t\) quando a densidade conjunta de \((\theta, s, t)\) é \(q_\theta(t \,|\, s) f_\theta(s) \pi(\theta)\) (suponha que \(s\) e \(\theta\) assumem valores reais).

7.2.30 No Exemplo 7.2.16, deduza a função de probabilidade preditiva a posteriori de \((X_{n+1}, X_{n+2})\), tendo observado \(x_1, \ldots, x_n\), quando \(X_1, \ldots, X_n, X_{n+1}, X_{n+2}\) são independentes e identicamente distribuídas⁶⁵ (i.i.d.) \(\text{Bernoulli}(\theta)\).

7.2.31 No Exemplo 7.2.15, deduza a distribuição preditiva a posteriori de \(X_{n+1}\), tendo observado \(x_1, \ldots, x_n\), quando \(X_1, \ldots, X_n, X_{n+1}\) são i.i.d. \(N(\mu, \sigma_0^2)\). (Sugestão: podemos escrever \(X_{n+1} = \mu + \sigma_0 Z\), em que \(Z \sim N(0, 1)\) é independente da distribuição a posteriori de \(\mu\).)

7.2.32 No contexto do Exemplo 7.2.1, prove que a distribuição preditiva a posteriori de uma observação futura adicional \(X_{n+1}\) da distribuição populacional tem a mesma distribuição que \[ \mu_x + \sqrt{\frac{2\beta_x \left( \left( n + 1/\tau_0^2 \right)^{-1} + 1 \right)}{(2\alpha_0 + n)}}\; T, \] em que \(T \sim t(2\alpha_0 + n)\). (Sugestão: note que podemos escrever \(X_{n+1} = \mu + \sigma U\), em que \(U \sim N(0, 1)\) é independente de \(X_1, \ldots, X_n, \mu, \sigma\), e então raciocine como no Exemplo 7.2.1.)

7.2.33 No Exemplo 7.2.1, determine a forma de um intervalo de predição \(\gamma\) exato para uma observação futura adicional \(X_{n+1}\) da distribuição populacional, com base no conceito de HPD. (Sugestão: use o Problema 7.2.32.)

7.2.34 Suponha que \(\Pi_1\) e \(\Pi_2\) sejam distribuições de probabilidade discretas no espaço paramétrico \(\negrito{\Omega}\). Prove que, quando a distribuição a priori \(\Pi\) é uma mistura \(\Pi = p\Pi_1 + (1 - p)\,\Pi_2\), a preditiva a priori para os dados \(s\) é dada por \(m(s) = pm_1(s) + (1 - p)m_2(s)\), e a medida de probabilidade a posteriori é dada por (7.2.6).

7.2.35 (MV) Suponha que \(\theta = (\theta_1, \theta_2) \in R^2\) e \(h(\theta_1, \theta_2)\) \({}= (\psi(\theta), \lambda(\theta)) \in R^2\). Suponha que \(h\) satisfaz as condições necessárias e mostre (7.2.1). (Sugestão: Teorema 2.9.2.)

Desafios

7.2.36 Outra maneira de avaliar a hipótese nula \(H_0 : \psi(\theta) = \psi_0\) é calcular o valor-p \begin{equation} \Pi\left( \frac{\omega(\psi(\theta) \,|\, s)}{\omega(\psi(\theta))} \le \frac{\omega(\psi_0 \,|\, s)}{\omega(\psi_0)} \,\middle|\, s \right) \tag{7.2.12} \end{equation} em que \(\omega\) é a densidade a priori marginal ou a função de probabilidade a priori marginal de \(\psi\). Chamamos (7.2.12) de surpresa relativa⁶⁶ observada de \(H_0\).

A quantidade \(\omega(\psi_0 \,|\, s)/\omega(\psi_0)\) é uma medida de quanto os dados \(s\) mudaram nossa crença a priori de que \(\psi_0\) é o valor verdadeiro de \(\psi\). Quando (7.2.12) é pequeno, \(\psi_0\) é um valor surpreendente para \(\psi\), pois isso indica que os dados aumentaram mais nossa crença em outros valores de \(\psi\). (a) Prove que (7.2.12) é invariante sob transformações 1–1 continuamente diferenciáveis de \(\psi\).(b) Mostre que um valor \(\psi_0\) que torna (7.2.12) o menor possível maximiza \(\omega(\psi_0 \,|\, s)/\omega(\psi_0)\). Chamamos esse valor de estimativa de menor surpresa relativa de \(\psi\).(c) Indique como usar (7.2.12) para formar uma região de credibilidade⁶⁷ \(\gamma\), conhecida como região de surpresa relativa \(\gamma\), para \(\psi\).(d) Suponha que \(\psi\) assuma valores reais, com densidade a priori \(\omega\) e densidade a posteriori \(\omega(\cdot \,|\, s)\) ambas contínuas e positivas em \(\psi_0\). Seja \(A_\epsilon = (\psi_0 - \epsilon, \psi_0 + \epsilon)\). Mostre que \(BF_{A_\epsilon} \to \omega(\psi_0 \,|\, s)/\omega(\psi_0)\) quando \(\epsilon \downarrow 0\). Generalize isso para o caso em que \(\psi\) assume valores num subconjunto aberto de \(R^k\). Isso mostra que podemos pensar na surpresa relativa observada como uma maneira de calibrar fatores de Bayes.

7.3 Cálculos Bayesianos

Em praticamente todos os exemplos deste capítulo até agora, conseguimos obter a forma exata das distribuições a posteriori e realizar com elas várias computações importantes. Acontece com frequência, porém, que não conseguimos obter nenhuma forma conveniente para a distribuição a posteriori. Além disso, mesmo quando conseguimos obter a distribuição a posteriori, podem surgir computações que não dá para realizar de forma exata — por exemplo, lembre a discussão do Exemplo 7.2.1 que levou à integral (7.2.2). Esses cálculos envolvem avaliar somas ou integrais complicadas. Por isso, quando aplicamos a inferência bayesiana a um exemplo prático, precisamos ter à disposição métodos para aproximar essas quantidades.

A aproximação de integrais é um assunto extenso, que não podemos tratar por completo aqui.⁶⁸ Vamos, no entanto, apresentar vários métodos de aproximação que surgem de modo muito natural em problemas de inferência bayesiana.

7.3.1 Normalidade Assintótica da Distribuição a Posteriori

Em muitas circunstâncias, a distribuição a posteriori de \(\theta \in R^1\) acaba sendo aproximadamente normal. Podemos então usar isso para calcular regiões de credibilidade aproximadas para o verdadeiro valor de \(\theta\), fazer avaliação de hipóteses etc. Um resultado desse tipo diz que, sob condições que não vamos descrever aqui, quando \((x_1, \ldots, x_n)\) é uma amostra de \(f_\theta\), então \[ \Pi\left( \frac{\theta - \hat{\theta}(x_1, \ldots, x_n)}{\hat{\sigma}(x_1, \ldots, x_n)} \le z \;\middle|\; x_1, \ldots, x_n \right) \to \Phi(z) \] quando \(n \to \infty\), em que \(\hat{\theta}(x_1, \ldots, x_n)\) é a moda a posteriori e \[ \hat{\sigma}^2(x_1, \ldots, x_n) = \left( - \left. \frac{\partial^2 \ln(L(\theta \,|\, x_1, \ldots, x_n)\pi(\theta))}{\partial \theta^2} \right|_{\theta = \hat{\theta}} \right)^{-1}. \] Note que esse resultado é parecido com o Teorema 6.5.3 para o EMV. Na verdade, podemos substituir \(\hat{\theta}(x_1, \ldots, x_n)\) pelo EMV e \(\hat{\sigma}^2(x_1, \ldots, x_n)\) pela informação observada (veja a Seção 6.5), e o resultado continua valendo. Quando \(\theta\) é \(k\)-dimensional, há um resultado parecido, porém mais complicado.

7.3.2 Amostragem da Distribuição a Posteriori

Em geral, há muitas coisas que queremos calcular ao implementar uma análise bayesiana. Muitas delas podem ser escritas como esperanças em relação à distribuição a posteriori de \(\theta\). Por exemplo, podemos querer calcular a probabilidade a posteriori de um subconjunto \(A \subset \negrito{\Omega}\), a saber, \[ \Pi(A \,|\, s) = E(I_A(\theta) \,|\, s). \] Mais em geral, queremos ser capazes de calcular a esperança a posteriori de uma função arbitrária \(w(\theta)\), a saber, \begin{equation} E(w(\theta) \,|\, s). \tag{7.3.1} \end{equation}

Certamente seria conveniente se pudéssemos calcular todas essas quantidades de forma exata, mas muitas vezes não conseguimos. Na verdade, não é realmente necessário avaliar (7.3.1) de forma exata. Isso porque naturalmente esperamos que qualquer inferência que façamos sobre o verdadeiro valor do parâmetro esteja sujeita a erro amostral (conjuntos de dados diferentes, de mesmo tamanho, levam a inferências diferentes). Não é necessário realizar nossas computações com um grau de precisão muito maior do que aquele que o erro amostral permite. Por exemplo, se o erro amostral só nos permite conhecer o valor de um parâmetro com margem de \(\pm 0{,}1\) unidade, então não faz sentido calcular uma estimativa com muito mais dígitos de precisão.

Diante disso, muitos dos problemas computacionais associados à implementação da inferência bayesiana ficam efetivamente resolvidos se conseguimos gerar amostras da distribuição a posteriori de \(\theta\). Pois, quando isso é possível, simplesmente geramos uma sequência i.i.d. \(\theta_1, \theta_2, \ldots, \theta_N\) da distribuição a posteriori de \(\theta\) e estimamos (7.3.1) por \[ \bar{w} = \frac{1}{N} \sum_{i=1}^{N} w(\theta_i). \] Sabemos então, pela lei forte dos grandes números⁶⁹ (veja o Teorema 4.3.2), que \(\bar{w} \xrightarrow{\text{q.c.}} E(w(\theta) \,|\, x)\) quando \(N \to \infty\).⁷⁰

É claro que, para qualquer \(N\) dado, o valor de \(\bar{w}\) só aproxima (7.3.1); gostaríamos de saber que escolhemos \(N\) grande o bastante para que a aproximação seja adequadamente precisa. Quando \(E(w^2(\theta) \,|\, s) < \infty\), o teorema central do limite⁷¹ (veja o Teorema 4.4.3) nos diz que \[ \frac{\bar{w} - E(w(\theta) \,|\, s)}{\sigma_w / \sqrt{N}} \xrightarrow{D} N(0, 1) \] quando \(N \to \infty\), em que \(\sigma_w^2 = \Var(w(\theta) \,|\, s)\). Em geral, não conhecemos o valor de \(\sigma_w^2\), mas podemos estimá-lo por \[ s_w^2 = \frac{1}{N - 1} \sum_{i=1}^{N} (w(\theta_i) - \bar{w})^2 \] quando \(w(\theta)\) é uma variável quantitativa, e por \(s_w^2 = \bar{w}(1 - \bar{w})\) quando \(w = I_A\) para \(A \subset \negrito{\Omega}\). Como mostrado na Seção 4.4.2, em qualquer dos casos \(s_w^2\) é uma estimativa consistente⁷² de \(\sigma_w^2\). Então, pelo Corolário 4.4.4, temos que \[ \frac{\bar{w} - E(w(\theta) \,|\, s)}{s_w / \sqrt{N}} \xrightarrow{D} N(0, 1) \] quando \(N \to \infty\).

Por esse resultado, sabemos que \[ \bar{w} \pm 3 \frac{s_w}{\sqrt{N}} \] é um intervalo de confiança aproximado de 100% para \(E(w(\theta) \,|\, s)\), de modo que podemos olhar para \(3 s_w / \sqrt{N}\) para decidir se \(N\) é ou não grande o bastante para a precisão exigida.

Um cuidado com essa maneira de avaliar o erro é que o próprio \(3 s_w / \sqrt{N}\) está sujeito a erro, já que \(s_w\) é uma estimativa de \(\sigma_w\), e isso pode enganar. Uma recomendação comum, então, é acompanhar o valor de \(3 s_w / \sqrt{N}\) para valores sucessivamente maiores de \(N\) e interromper a amostragem só quando estiver claro que o valor de \(3 s_w / \sqrt{N}\) é pequeno o bastante para a precisão desejada e parece estar diminuindo como deveria. Mesmo essa abordagem, porém, não dá uma cota garantida para a precisão das computações, de modo que é preciso ter cautela.

Também é importante lembrar que a aplicação desses resultados exige que \(\sigma_w^2 < \infty\). Para \(w\) limitada, isso sempre vale, pois toda variável aleatória limitada tem variância finita. Para \(w\) ilimitada⁷³, porém, isso precisa ser verificado — e às vezes é muito difícil fazê-lo.

Consideramos um exemplo em que é possível gerar amostras exatas da distribuição a posteriori.

Quando não conseguimos gerar amostras diretamente da distribuição a posteriori, precisamos dos métodos da seção seguinte.

7.3.3 Amostragem da Distribuição a Posteriori via Amostragem de Gibbs (Avançado)

A amostragem da distribuição a posteriori, como descrita na Seção 7.3.2, é muito eficaz quando pode ser implementada. Infelizmente, muitas vezes é difícil ou até impossível fazer isso diretamente, como fizemos no Exemplo 7.3.1. Há, porém, vários algoritmos que nos permitem gerar amostras aproximadas da distribuição a posteriori. Um deles, conhecido como amostragem de Gibbs⁷⁵, é aplicável em muitos contextos estatísticos.

Para descrever esse algoritmo, suponha que queremos gerar amostras da distribuição conjunta de \((Y_1, \ldots, Y_k) \in R^k\). Suponha ainda que conseguimos gerar valores de cada uma das distribuições condicionais completas \(Y_i \,|\, Y_{-i} = y_{-i}\), em que \[ Y_{-i} = (Y_1, \ldots, Y_{i-1}, Y_{i+1}, \ldots, Y_k), \] isto é, conseguimos gerar valores da distribuição condicional de \(Y_i\) dados os valores de todas as outras coordenadas. O amostrador de Gibbs⁷⁶ procede então iterativamente, da seguinte maneira.

1. Especifique um valor inicial \((y_{1(0)}, \ldots, y_{k(0)})\) para \((Y_1, \ldots, Y_k)\).
2. Para \(N > 0\), gere \(Y_{i(N)}\) da sua distribuição condicional dados \((y_{1(N)}, \ldots, y_{i-1(N)}, y_{i+1(N-1)}, \ldots, y_{k(N-1)})\), para cada \(i = 1, \ldots, k\).

Por exemplo, se \(k = 3\), primeiro especificamos \((y_{1(0)}, y_{2(0)}, y_{3(0)})\). Então geramos \begin{align*} Y_{1(1)} \,|\, Y_{2(0)} &= y_{2(0)},\ Y_{3(0)} = y_{3(0)} \\ Y_{2(1)} \,|\, Y_{1(1)} &= y_{1(1)},\ Y_{3(0)} = y_{3(0)} \\ Y_{3(1)} \,|\, Y_{1(1)} &= y_{1(1)},\ Y_{2(1)} = y_{2(1)} \end{align*} para obter \((Y_{1(1)}, Y_{2(1)}, Y_{3(1)})\). Em seguida, geramos \begin{align*} Y_{1(2)} \,|\, Y_{2(1)} &= y_{2(1)},\ Y_{3(1)} = y_{3(1)} \\ Y_{2(2)} \,|\, Y_{1(2)} &= y_{1(2)},\ Y_{3(1)} = y_{3(1)} \\ Y_{3(2)} \,|\, Y_{1(2)} &= y_{1(2)},\ Y_{2(2)} = y_{2(2)} \end{align*} para obter \((Y_{1(2)}, Y_{2(2)}, Y_{3(2)})\) etc. Note que, na verdade, não precisávamos especificar \(Y_{1(0)}\), já que ele nunca é usado.

Pode-se mostrar então (veja a Seção 11.3) que, em circunstâncias bastante gerais, \((Y_{1(N)}, \ldots, Y_{k(N)})\) converge em distribuição para a distribuição conjunta de \((Y_1, \ldots, Y_k)\) quando \(N \to \infty\). Assim, para \(N\) grande, a distribuição de \((Y_{1(N)}, \ldots, Y_{k(N)})\) é aproximadamente igual à distribuição conjunta de \((Y_1, \ldots, Y_k)\) da qual queremos gerar amostras. Desse modo, a amostragem de Gibbs fornece um método aproximado para gerar amostras de uma distribuição de interesse.

Além disso, e este é o resultado mais relevante para simulações, pode-se mostrar que, sob certas condições, \[ \bar{w} = \frac{1}{N} \sum_{i=1}^{N} w(Y_{1(i)}, \ldots, Y_{k(i)}) \xrightarrow{\text{q.c.}} E(w(Y_1, \ldots, Y_k)). \] A estimação da variância de \(\bar{w}\) é diferente da do caso i.i.d., em que usamos a variância amostral, porque agora os termos \(w(Y_{1(i)}, \ldots, Y_{k(i)})\) não são independentes.

Há várias abordagens para estimar a variância de \(\bar{w}\), mas talvez a mais usada seja a técnica das médias em lotes⁷⁷. Para isso, dividimos a sequência \[ w(Y_{1(0)}, \ldots, Y_{k(0)}), \ldots, w(Y_{1(N)}, \ldots, Y_{k(N)}) \] em \(N/m\) lotes sequenciais sem sobreposição, de tamanho \(m\) (supondo aqui que \(N\) é divisível por \(m\)), calculamos a média de cada lote, obtendo \(\bar{w}_1, \ldots, \bar{w}_{N/m}\), e então estimamos a variância de \(\bar{w}\) por \begin{equation} \frac{s_b^2}{N/m}, \tag{7.3.4} \end{equation} em que \(s_b^2\) é a variância amostral obtida das médias dos lotes, isto é, \[ s_b^2 = \frac{1}{N/m - 1} \sum_{i=1}^{N/m} (\bar{w}_i - \bar{w})^2. \]

Pode-se mostrar que \((Y_{1(i)}, \ldots, Y_{k(i)})\) e \((Y_{1(i+m)}, \ldots, Y_{k(i+m)})\) são aproximadamente independentes para \(m\) grande o bastante. Assim, escolhemos o tamanho de lote \(m\) grande o bastante para que as médias dos lotes sejam aproximadamente independentes, mas não tão grande a ponto de deixar pouquíssimos graus de liberdade para a estimação da variância. Em condições ideais, \(\bar{w}_1, \ldots, \bar{w}_{N/m}\) é uma sequência i.i.d. com média amostral \[ \bar{w} = \frac{1}{N/m} \sum_{i=1}^{N/m} \bar{w}_i, \] e, como de costume, estimamos a variância de \(\bar{w}\) por (7.3.4).

Às vezes, nem mesmo a amostragem de Gibbs pode ser implementada diretamente, porque não conseguimos obter algoritmos para gerar valores de todas as condicionais completas. Há diversas técnicas para lidar com isso, mas em muitas aplicações estatísticas a técnica das variáveis latentes costuma funcionar. Para isso, procuramos algumas variáveis aleatórias, digamos \((V_1, \ldots, V_l)\), tais que cada \(Y_i\) seja função de \((V_1, \ldots, V_l)\) e que possamos aplicar a amostragem de Gibbs à distribuição conjunta de \((V_1, \ldots, V_l)\). Ilustramos a amostragem de Gibbs via variáveis latentes no exemplo a seguir.

É justo dizer que a introdução da amostragem de Gibbs provocou uma revolução nas aplicações estatísticas, por causa da grande variedade de problemas antes intratáveis que ela resolve com sucesso. Há várias modificações e algoritmos intimamente relacionados. Remetemos o leitor interessado ao Capítulo 11, onde se discute a teoria geral do que se chama Monte Carlo via cadeias de Markov (MCMC).

Exercícios

7.3.1 Suponha que temos a seguinte amostra de uma distribuição \(N(\mu, 2)\), em que \(\mu\) é desconhecido.

Se a a priori de \(\mu\) é \(\text{Uniforme}(2, 6)\), determine um intervalo de credibilidade 0,95 aproximado para \(\mu\) com base nos resultados para grandes amostras descritos na Seção 7.3.1.

7.3.2 Determine a forma do intervalo de credibilidade 0,95 aproximado da Seção 7.3.1 para o modelo de Bernoulli com uma a priori \(\text{Beta}(\alpha, \beta)\), discutido no Exemplo 7.2.2.

7.3.3 Determine a forma dos intervalos de credibilidade 0,95 aproximados da Seção 7.3.1 para o modelo normal de locação com uma a priori \(N(\mu_0, \tau_0^2)\), discutido no Exemplo 7.2.3.

7.3.4 Suponha que \(X \sim \text{Uniforme}[0, 1/\theta]\) e \(\theta \sim \text{Exponencial}(1)\). Obtenha um algoritmo de Monte Carlo simples, baseado na geração de valores de uma distribuição gama, para gerar um valor da distribuição condicional \(\theta \,|\, X = x\). Generalize isso para uma amostra de tamanho \(n\) da distribuição \(\text{Uniforme}[0, 1/\theta]\). Quando esse algoritmo será ineficiente, no sentido de precisarmos de muita computação para gerar um único valor?

7.3.5 Suponha que \(X \sim N(\theta, 1)\) e \(\theta \sim \text{Uniforme}[0, 1]\). Obtenha um algoritmo de Monte Carlo simples, baseado na geração de valores de uma distribuição normal, para gerar valores da distribuição condicional \(\theta \,|\, X = x\). Generalize isso para uma amostra de tamanho \(n\) da distribuição \(N(\theta, 1)\). Quando esse algoritmo será ineficiente, no sentido de precisarmos de muita computação para gerar um único valor?

7.3.6 Suponha que \(X \sim 0{,}5 N(\theta, 1)\) \({}+ 0{,}5 N(\theta, 2)\) e \(\theta \sim \text{Uniforme}[0, 1]\). Obtenha um algoritmo de Monte Carlo simples, baseado na geração de valores de uma mistura de distribuições normais, para gerar valores da distribuição condicional \(\theta \,|\, X = x\). Generalize isso para uma amostra de tamanho \(n = 2\) da distribuição \(0{,}5 N(\theta, 1) + 0{,}5 N(\theta, 2)\).

Exercícios computacionais

7.3.7 No contexto do Exemplo 7.3.1, construa um histograma de densidade da distribuição a posteriori de \(\psi = \mu + \sigma z_{0{,}25}\), isto é, o primeiro quartil da população, usando \(N = 5 \times 10^3\) e \(N = 10^4\), e compare os resultados. Estime a média a posteriori dessa distribuição e avalie o erro da sua aproximação. (Sugestão: modifique o programa do Apêndice B.)

7.3.8 Suponha que um fabricante retira uma amostra aleatória de itens fabricados e testa cada item para saber se é defeituoso ou não. Considera-se que as respostas são i.i.d. \(\text{Bernoulli}(\theta)\), em que \(\theta\) é a probabilidade de o item ser defeituoso. O fabricante coloca uma distribuição \(\text{Beta}(0{,}5;\ 10)\) sobre \(\theta\). Se uma amostra de \(n = 100\) itens é retirada e são observados 5 defeituosos, então, usando uma amostra de Monte Carlo com \(N = 1000\), estime a probabilidade a posteriori de que \(\theta < 0{,}1\) e avalie o erro da sua estimativa.

7.3.9 Suponha que se sabe que os tempos de vida (em anos) de um item fabricado seguem uma distribuição \(\text{Exponencial}(\lambda)\), em que \(\lambda > 0\) é desconhecido, e que tomamos como a priori \(\lambda \sim \text{Gama}(10, 2)\). Suponha que foram observados os tempos de vida 4,3; 6,2; 8,4; 3,1; 6,0; 5,5 e 7,8. (a) Usando uma amostra de Monte Carlo de tamanho \(N = 10^3\), aproxime a probabilidade a posteriori de que \(\lambda \in [3, 6]\) e avalie o erro da sua estimativa.(b) Usando uma amostra de Monte Carlo de tamanho \(N = 10^3\), aproxime a função de probabilidade a posteriori de \(\lfloor 1/\lambda \rfloor\) (\(\lfloor x \rfloor\) é o maior inteiro menor ou igual a \(x\)).(c) Usando uma amostra de Monte Carlo de tamanho \(N = 10^3\), aproxime a esperança a posteriori de \(\lfloor 1/\lambda \rfloor\) e avalie o erro da sua aproximação.

7.3.10 Gere uma amostra de tamanho \(n = 10\) de uma distribuição \(\text{Pareto}(2)\). Agora finja que você sabe apenas que tem uma amostra de uma distribuição \(\text{Pareto}(\alpha)\), em que \(\alpha > 0\) é desconhecido, e coloque uma a priori \(\text{Gama}(2, 1)\) sobre \(\alpha\). Usando uma amostra de Monte Carlo de tamanho \(N = 10^4\), aproxime a esperança a posteriori de \(1/(\alpha + 1)\) com base na amostra observada e avalie a precisão da sua aproximação dando um intervalo que contenha o valor exato praticamente com certeza. (Sugestão: Problema 2.10.15.)

Problemas

7.3.11 Suponha que \(X_1, \ldots, X_n\) é uma amostra do modelo \(\{f_\theta : \theta \in \negrito{\Omega}\}\) e que todas as condições de regularidade da Seção 6.5 valem. Suponha que a a priori \(\pi(\theta)\) é uma função contínua de \(\theta\) e que a moda a posteriori \(\hat{\theta}(X_1, \ldots, X_n) \xrightarrow{\text{q.c.}} \theta\) quando \(X_1, \ldots, X_n\) é uma amostra de \(f_\theta\) (esta última hipótese vale sob condições muito gerais). (a) Usando o fato de que, se \(Y_n \xrightarrow{\text{q.c.}} Y\) e \(g\) é uma função contínua, então \(g(Y_n) \xrightarrow{\text{q.c.}} g(Y)\), prove que \[ -\frac{1}{n} \left. \frac{\partial^2 \ln(L(\theta \,|\, x_1, \ldots, x_n)\pi(\theta))}{\partial \theta^2} \right|_{\theta = \hat{\theta}} \xrightarrow{\text{q.c.}} I(\theta) \] quando \(X_1, \ldots, X_n\) é uma amostra de \(f_\theta\).(b) Explique até que ponto os métodos aproximados para grandes amostras da Seção 7.3.1 dependem da a priori, se valem as hipóteses que acabamos de descrever.

7.3.12 No Exercício 7.3.10, explique por que o intervalo que você construiu para conter a média a posteriori de \(1/(\alpha + 1)\) praticamente com certeza pode conter ou não o verdadeiro valor de \(1/(\alpha + 1)\).

7.3.13 Suponha que \((X, Y)\) tem distribuição \(\text{Normal Bivariada}(\mu_1, \mu_2, \sigma_1, \sigma_2, \rho)\). Determine um algoritmo de amostragem de Gibbs para gerar valores dessa distribuição. Suponha que você tem um algoritmo para gerar valores de distribuições normais univariadas. Essa é a melhor maneira de gerar amostras dessa distribuição? (Sugestão: Problema 2.8.27.)

7.3.14 Suponha que a densidade conjunta de \((X, Y)\) é dada por \(f_{X,Y}(x, y) = 8xy\) para \(0 < x < y < 1\). Descreva por completo um algoritmo de amostragem de Gibbs para essa distribuição. Em particular, indique como você geraria todas as variáveis aleatórias. Você consegue projetar um algoritmo para gerar valores exatamente dessa distribuição?

7.3.15 No Exemplo 7.3.1, prove que a média a posteriori de \(\psi = \sigma / \mu\) não existe. (Sugestão: use o Problema 7.2.24 e o teorema da esperança total para dividir a integral em duas partes, em que uma parte tem valor \(\infty\) e a outra tem valor \(-\infty\).)

7.3.16 (Amostragem por importância⁸³ baseada na a priori) Suponha que temos um algoritmo para gerar valores da a priori. (a) Indique como você poderia usá-lo para aproximar uma esperança a posteriori usando amostragem por importância (veja o Problema 4.5.21).(b) Qual você imagina ser a principal fraqueza dessa abordagem?

Problemas computacionais

7.3.17 No contexto do Exemplo 7.3.2, construa um histograma de densidade da distribuição a posteriori de \(\psi = \mu + \sigma z_{0{,}25}\), isto é, o primeiro quartil da população, usando \(N = 10^4\). Estime a média a posteriori dessa distribuição e avalie o erro da sua aproximação.⁸⁴

7.4 Escolha de Distribuições a Priori

A questão de escolher uma priori para um problema é importante. Naturalmente, a ideia é escolher uma priori que reflita as nossas crenças a priori sobre o valor verdadeiro de \(\theta\). Como isso costuma variar de estatístico para estatístico, esse procedimento é muitas vezes criticado como subjetivo demais para estudos científicos. Convém lembrar, porém, que o modelo amostral \(\{f_\theta : \theta \in \negrito{\Omega}\}\) também é uma escolha subjetiva do estatístico. Essas escolhas são guiadas pelo julgamento do estatístico. O que justifica, então, escolher um modelo estatístico ou uma priori em vez de outro?

Na prática, quando os estatísticos escolhem uma priori e um modelo, estão prescrevendo uma distribuição conjunta para \((\theta, s)\). A única maneira de avaliar se foi feita ou não uma escolha adequada é verificar se o \(s\) observado é razoável diante dessa escolha. Se \(s\) for surpreendente quando comparado à distribuição prescrita pelo modelo e pela priori, então temos evidência contra as escolhas do estatístico. Os métodos criados para avaliar isso se chamam procedimentos de verificação de modelos⁸⁵ e são discutidos no Capítulo 9. Neste ponto, porém, devemos reconhecer a subjetividade que entra nas análises estatísticas, mas nos confortar com o fato de termos uma metodologia para verificar se as escolhas feitas pelo estatístico fazem sentido ou não.

Muitas vezes, o estatístico considera uma família particular \(\{\pi_\lambda : \lambda \in \Lambda\}\) de prioris para um problema e tenta escolher uma priori adequada \(\pi_{\lambda_0} \in \{\pi_\lambda : \lambda \in \Lambda\}\). Nesse contexto, o parâmetro \(\lambda\) é chamado de hiperparâmetro. Note que essa família poderia ser o conjunto de todas as prioris possíveis, de modo que essa formulação não impõe nenhuma restrição. Discutimos agora algumas famílias \(\{\pi_\lambda : \lambda \in \Lambda\}\) de uso comum e métodos para escolher \(\lambda_0 \in \Lambda\).

7.4.1 Prioris Conjugadas

Dependendo do modelo amostral, a família pode ser conjugada.

A conjugação costuma ser muito conveniente, pois começamos com alguma escolha \(\lambda_0 \in \Lambda\) para a priori e depois encontramos o \(\lambda_s \in \Lambda\) correspondente para a posteriori, muitas vezes sem muito cálculo. Embora a conjugação possa ser criticada como mera conveniência matemática, é preciso reconhecer que muitas famílias conjugadas oferecem variedade suficiente para permitir a expressão de um amplo espectro de crenças a priori.

Naturalmente, usar uma família conjugada não nos diz como escolher \(\lambda_0\). Talvez a abordagem mais justificável seja usar a elicitação da priori.

7.4.2 Elicitação

A elicitação consiste em usar explicitamente as crenças do estatístico sobre o valor verdadeiro de \(\theta\) para escolher uma priori em \(\{\pi_\lambda : \lambda \in \Lambda\}\) que reflita essas crenças. Em geral, isso envolve o estatístico fazer perguntas a si mesmo, ou a especialistas na área de aplicação, de tal modo que as respostas especifiquem uma priori da família.

A elicitação é uma parte importante de qualquer análise estatística bayesiana. Se os especialistas consultados realmente conhecem bem a aplicação, parece intuitivamente claro que vamos melhorar a análise estatística ao incluir essa informação a priori.

O processo de elicitação, no entanto, pode ser um tanto trabalhoso em problemas complicados. Além disso, há várias considerações que precisam ser levadas em conta, envolvendo preconceitos e falhas na maneira como raciocinamos sobre probabilidade fora de uma formulação matemática. Ver Garthwaite, Kadane e O'Hagan (2005), “Statistical methods for eliciting probability distributions”, Journal of the American Statistical Association (v. 100, n. 470, p. 680–700), para uma discussão mais profunda dessas questões.

7.4.3 Bayes Empírico

Quando a escolha de \(\lambda_0\) se baseia nos dados \(s\), esses métodos são chamados de métodos bayesianos empíricos. Logicamente, esses métodos pareceriam violar um princípio básico da inferência, a saber, o princípio da probabilidade condicional. Isso porque, quando calculamos a distribuição a posteriori de \(\theta\) usando uma priori baseada em \(s\), em geral ela deixa de ser a distribuição condicional de \(\theta\) dados os dados. Embora essa seja, sem dúvida, uma preocupação importante, em muitos problemas a aplicação de Bayes empírico leva a inferências com propriedades satisfatórias.

Por exemplo, um método bayesiano empírico consiste em calcular a preditiva a priori \(m_\lambda(s)\) para os dados \(s\) e então basear a escolha de \(\lambda\) nesses valores. Note que a preditiva a priori é como uma função de verossimilhança para \(\lambda\) (já que é a função densidade ou a função de probabilidade do \(s\) observado), e por isso os métodos do Capítulo 6 se aplicam à inferência sobre \(\lambda\). Por exemplo, poderíamos escolher o valor \(\lambda_s\) de \(\lambda\) que maximiza \(m_\lambda(s)\). Os cálculos necessários podem ser extensos, já que \(\lambda\) costuma ser multidimensional. Ilustramos com um exemplo simples.

Há muitas questões envolvendo os métodos de Bayes empírico. Esta é uma área ativa de pesquisa estatística.

7.4.4 Bayes Hierárquico

Uma alternativa à escolha de uma priori para \(\theta\) em \(\{\pi_\lambda : \lambda \in \Lambda\}\) consiste em pôr ainda outra distribuição a priori \(\omega\), chamada de hiperpriori, sobre \(\lambda\). Essa abordagem costuma ser chamada de Bayes hierárquico. A priori para \(\theta\) passa a ser, basicamente, \(\pi(\theta) = \int_\Lambda \pi_\lambda(\theta)\omega(\lambda)\, d\lambda\), de modo que, na prática, eliminamos o hiperparâmetro por integração. O problema, então, é como escolher a priori \(\omega\). Em essência, simplesmente trocamos o problema de escolher a priori sobre \(\theta\) pelo de escolher a hiperpriori sobre \(\lambda\). Nas aplicações que usam Bayes hierárquico, é comum fazer escolhas padrão para \(\omega\), embora também pudéssemos recorrer a técnicas de elicitação. Discutiremos isso mais a fundo na Seção 7.4.5.

Assim, nessa situação, a densidade a posteriori de \(\theta\) é igual a \[ \pi(\theta \mid s) = \frac{f_\theta(s) \int_\Lambda \pi_\lambda(\theta)\omega(\lambda)\, d\lambda}{m(s)} = \int_\Lambda \frac{f_\theta(s)\pi_\lambda(\theta)}{m_\lambda(s)} \frac{m_\lambda(s)\omega(\lambda)}{m(s)}\, d\lambda, \] em que \(m(s) = \int_\Lambda \int_{\negrito{\Omega}} f_\theta(s)\pi_\lambda(\theta)\omega(\lambda)\, d\theta\, d\lambda\) \({}= \int_\Lambda m_\lambda(s)\omega(\lambda)\, d\lambda\) e, para \(\lambda\) fixo, \(m_\lambda(s)\) \({}= \int f_\theta(s)\pi_\lambda(\theta)\, d\theta\) (supondo \(\lambda\) contínuo, com densidade a priori dada por \(\omega\)). Note que a densidade a posteriori de \(\lambda\) é \(m_\lambda(s)\omega(\lambda)/m(s)\), enquanto \(f_\theta(s)\pi_\lambda(\theta)/m_\lambda(s)\) é a densidade a posteriori de \(\theta\) dado \(\lambda\).

Portanto, podemos usar \(\pi(\theta \mid s)\) para inferências sobre o parâmetro do modelo \(\theta\) (por exemplo, estimação, regiões de credibilidade e avaliação de hipóteses) e \(m_\lambda(s)\omega(\lambda)/m(s)\) para inferências sobre \(\lambda\). Em geral, porém, não estamos interessados em \(\lambda\) e, na verdade, não faz muito sentido falar no valor “verdadeiro” de \(\lambda\). O valor verdadeiro de \(\theta\) corresponde à distribuição que de fato produziu os dados observados \(s\), ao menos quando o modelo está correto, ao passo que não pensamos em \(\lambda\) como gerado a partir de \(\omega\). Isso implica também outra distinção entre \(\theta\) e \(\lambda\): \(\theta\) faz parte da função de verossimilhança, baseada em como os dados foram gerados, enquanto \(\lambda\) não faz.

7.4.5 Prioris Impróprias e Não Informatividade

Uma abordagem para escolher uma priori, e para interromper a cadeia de prioris numa abordagem de Bayes hierárquico, é prescrever uma priori não informativa⁸⁶ baseada na ignorância. Essa priori também é chamada de priori padrão ou priori de referência. A motivação é especificar uma priori que ponha o mínimo possível de informação na análise e que, em certo sentido, caracterize a ignorância. Surpreendentemente, em muitos contextos, os estatísticos foram levados a escolher prioris não informativas que são impróprias, isto é, \(\int_{\negrito{\Omega}} \pi(\theta)\, d\theta\) \({}= \infty\), de modo que não correspondem a distribuições de probabilidade.

A ideia aqui é dar uma regra tal que, se um estatístico não tiver nenhuma crença a priori sobre o valor de um parâmetro ou hiperparâmetro, seja prescrita uma priori que reflita isso. Na abordagem de Bayes hierárquico, sobe-se pela cadeia até que o estatístico declare ignorância, e uma priori padrão completa a especificação.

Infelizmente, a maneira exata de exprimir a ignorância acaba sendo uma questão bastante sutil. Em muitos casos, as prioris padrão acabam sendo impróprias, isto é, a integral ou a soma da priori sobre todo o espaço paramétrico é igual a \(\infty\), por exemplo, \(\int_{\negrito{\Omega}} \pi(\theta)\, d\theta\) \({}= \infty\), de modo que a priori não é uma distribuição de probabilidade. A interpretação de uma priori imprópria⁸⁷ não é nada clara, e o seu uso é um tanto controverso. Naturalmente, \((s, \theta)\) deixa de ter uma distribuição de probabilidade conjunta quando usamos prioris impróprias, e não podemos usar o princípio da probabilidade condicional para justificar que as nossas inferências se baseiem na posteriori.

Houve inúmeras dificuldades associadas ao uso de prioris impróprias, o que talvez não surpreenda. Em particular, é importante notar que, em geral, não há razão para que a posteriori de \(\theta\) exista como uma distribuição de probabilidade própria quando \(\pi\) é imprópria. Se estivermos usando uma priori imprópria, devemos sempre verificar se a posteriori é própria, pois as inferências não farão sentido se estivermos usando uma posteriori imprópria.

Ao usar uma priori imprópria \(\pi\), é totalmente equivalente usar, em vez dela, a priori \(c\pi\) para qualquer \(c > 0\), pois a posteriori sob \(\pi\) é própria se e somente se a posteriori sob \(c\pi\) for própria; nesse caso, as posterioris são idênticas (ver o Exercício 7.4.6).

O exemplo a seguir ilustra o uso de uma priori imprópria.

Um método muito usado para escolher uma priori padrão é usar, quando disponível, a priori dada por \(I^{1/2}(\theta)\) quando \(\theta \in R^1\) (e por \((\det I(\theta))^{1/2}\) no caso multidimensional), em que \(I\) é a informação de Fisher⁸⁸ do modelo estatístico, conforme definida na Seção 6.5. Ela é chamada de priori de Jeffreys⁸⁹. Note que a priori de Jeffreys depende do modelo.

A priori de Jeffreys tem uma importante propriedade de invariância. Pelo Desafio 6.5.19, temos que, sob certas condições de regularidade, se fizermos uma transformação 1–1 do parâmetro real \(\theta\) por meio de \(\psi = \Psi(\theta)\), então a informação de Fisher de \(\psi\) é dada por \[ I\left(\Psi^{-1}(\psi)\right)\left(\left(\Psi^{-1}\right)'(\psi)\right)^2. \] Portanto, a priori padrão de Jeffreys para \(\psi\) é \begin{equation} I^{1/2}\left(\Psi^{-1}(\psi)\right)\left\lvert\left(\Psi^{-1}\right)'(\psi)\right\rvert. \tag{7.4.1} \end{equation} Vemos agora que, se tivéssemos começado com a priori padrão \(I^{1/2}(\theta)\) para \(\theta\) e feito a mudança de variável⁹⁰ para \(\psi\), essa priori se transformaria em (7.4.1), pelos Teoremas 2.6.2 e 2.6.3. Um resultado semelhante pode ser obtido quando \(\theta\) é multidimensional.

A priori de Jeffreys muitas vezes acaba sendo imprópria, como ilustra o próximo exemplo.

A pesquisa sobre regras para determinar prioris não informativas e sobre as consequências de usar essas prioris é uma área ativa da estatística. Embora a impropriedade pareça contraintuitiva, o seu uso muitas vezes produz inferências com boas propriedades.

Exercícios

7.4.1 Prove que a família \(\{\text{Gama}(\alpha, \beta) : \alpha > 0, \beta > 0\}\) é uma família conjugada de prioris com respeito à amostragem do modelo dado pelas distribuições \(\text{Pareto}(\lambda)\) com \(\lambda > 0\).

7.4.2 Prove que a família \(\{\pi_{\alpha,\beta}(\theta) : \alpha > 1, \beta > 0\}\) de prioris dada por \[ \pi_{\alpha,\beta}(\theta) = \frac{\theta^{-\alpha} I_{[\beta,\infty)}(\theta)}{(\alpha - 1)\beta^{\alpha - 1}} \] é uma família conjugada de prioris com respeito à amostragem do modelo dado pelas distribuições \(\text{Uniforme}[0, \theta]\) com \(\theta > 0\).

7.4.3 Suponha que o modelo estatístico é dado por

e que consideramos a família de prioris dada por

e que observamos a amostra \(x_1 = 1\), \(x_2 = 1\), \(x_2 = 3\).⁹¹ (a) Se usarmos o valor máximo da preditiva a priori para os dados para determinar o valor de \(\tau\) e, com ele, a priori, qual priori é escolhida aqui?(b) Determine a posteriori de \(\theta\) com base na priori escolhida.

7.4.4 Para a situação descrita no Exercício 7.4.3, ponha uma priori uniforme no hiperparâmetro \(\tau\) e determine a posteriori de \(\theta\). (Sugestão: teorema da probabilidade total.)

7.4.5 Para o modelo de proporções descrito no Exemplo 7.1.1, determine a densidade preditiva a priori. Se \(n = 10\) e \(n\bar{x} = 7\), qual das prioris dadas por \((\alpha, \beta) = (1, 1)\) ou \((\alpha, \beta) = (5, 5)\) o critério da preditiva a priori escolheria para as inferências seguintes sobre \(\theta\)?

7.4.6 Prove que, ao usar uma priori imprópria \(\pi\), a posteriori sob \(\pi\) é própria se e somente se a posteriori sob \(c\pi\) for própria para \(c > 0\), e que, nesse caso, as posterioris são idênticas.

7.4.7 Determine a priori de Jeffreys para o modelo \(\text{Bernoulli}(\theta)\) e determine a distribuição a posteriori de \(\theta\) com base nessa priori.

7.4.8 Suponha que estamos amostrando de um modelo \(\text{Uniforme}[0, \theta]\), \(\theta > 0\), e queremos usar a priori imprópria \(\pi(\theta) \equiv 1\). (a) A posteriori existe nesse contexto?(b) A priori de Jeffreys existe nesse contexto?

7.4.9 Suponha que um estudante quer pôr uma priori na nota média, de 0 a 100, que a sua turma vai obter na próxima prova de estatística. O estudante acha que uma priori normal centrada em 66 é adequada e que o intervalo \((40, 92)\) deve conter 99% das notas. Identifique a priori completamente.

7.4.10 Um laboratório fez, no passado, muitas medições em amostras de água de uma fonte específica para determinar a presença de um certo contaminante. Pelos seus registros, determinou-se que 50% das amostras tinham contaminação inferior a 5,3 partes por milhão, enquanto 95% tinham contaminação inferior a 7,3 partes por milhão. Se uma priori normal for usada numa análise futura, que priori esses dados determinam?

7.4.11 Suponha que um fabricante quer construir um intervalo de credibilidade 0,95 para o tempo de vida⁹² médio \(\theta\) de um item vendido pela empresa. Um engenheiro consultor tem 99% de certeza de que o tempo de vida médio é inferior a 50 meses. Se a priori de \(\theta\) for uma \(\text{Exponencial}(\lambda)\), determine \(\lambda\) com base nessa informação.

7.4.12 Suponha que a priori de um parâmetro do modelo \(\mu\) é tomada como \(N(\mu_0, \sigma_0^2)\), em que \(\mu_0\) e \(\sigma_0^2\) são hiperparâmetros. O estatístico consegue elicitar um valor para \(\mu_0\), mas sente-se incapaz de fazer isso para \(\sigma_0^2\). Por isso, o estatístico põe em \(\sigma_0^2\) uma hiperpriori dada por \(1/\sigma_0^2 \sim \text{Gama}(\alpha_0, 1)\) para algum valor de \(\alpha_0\). Determine a priori de \(\mu\). (Sugestão: escreva \(\mu = \mu_0 + \sigma_0 z\), em que \(z \sim N(0, 1)\).)

Exercícios computacionais

7.4.13 Considere a situação discutida no Exercício 7.4.5. (a) Se observarmos \(n = 10\), \(n\bar{x} = 7\) e estivermos usando uma priori simétrica, isto é, \(\alpha = \beta\), faça o gráfico da preditiva a priori como função de \(\alpha\) no intervalo \((0, 20)\) (você vai precisar de um pacote estatístico que calcule valores da função gama⁹³ para isso). Esse gráfico escolhe claramente um valor para \(\alpha\)?(b) Se observarmos \(n = 10\), \(n\bar{x} = 9\), faça o gráfico da preditiva a priori como função de \(\alpha\) no intervalo \((0, 20)\). Compare esse gráfico com o do item (a).

7.4.14 Reproduza o gráfico dado no Exemplo 7.4.3 e verifique que o máximo ocorre perto de \(\lambda = 2{,}3\).

Problemas

7.4.15 Mostre que uma distribuição da família \(\{N(\mu_0, \tau_0^2) : \mu_0 \in R^1, \tau_0^2 > 0\}\) fica completamente determinada quando especificamos dois quantis da distribuição.

7.4.16 (Modelo normal de escala) Considere a família de distribuições \(N(\mu_0, \sigma^2)\), em que \(\mu_0\) é conhecido e \(\sigma^2 > 0\) é desconhecido. Determine a priori de Jeffreys para esse modelo.

7.4.17 Suponha que, para o modelo normal de locação e escala descrito no Exemplo 7.1.4, usamos a priori formada pela priori de Jeffreys para o modelo de locação (apenas uma constante) vezes a priori de Jeffreys para o modelo normal de escala. Determine a distribuição a posteriori de \((\mu, \sigma^2)\).

7.4.18 Considere o modelo normal de locação descrito no Exemplo 7.1.2. (a) Determine a densidade preditiva a priori \(m\). (Sugestão: escreva a densidade conjunta da amostra e de \(\mu\). Use (7.1.2) para eliminar \(\mu\) por integração e não se preocupe em pôr \(m\) numa forma reconhecível.)(b) Como você geraria um valor \((X_1, \ldots, X_n)\) dessa distribuição?(c) \(X_1, \ldots, X_n\) são mutuamente independentes? Justifique a sua resposta. (Sugestão: escreva \(X_i = \mu + \sigma_0 Z_i\), \(\mu = \mu_0 + \tau_0 Z\), em que \(Z, Z_1, \ldots, Z_n\) são i.i.d. \(N(0, 1)\).)

7.4.19 Considere o Exemplo 7.3.2, mas desta vez use a priori \(\pi(\mu, \sigma^2) = 1/\sigma^2\). Desenvolva o algoritmo do amostrador de Gibbs para essa situação. (Sugestão: basta ajustar adequadamente cada condicional completa do Exemplo 7.3.2.)

Problemas computacionais

7.4.20 Use a formulação descrita no Problema 7.4.17 e os dados da tabela a seguir

para gerar uma amostra de tamanho \(N = 10^4\) da posteriori. Faça o gráfico de uma estimativa da densidade a posteriori de \(\psi = \sigma/\mu\) por histograma de densidade, com base nessa amostra.

Desafios

7.4.21 Quando \(\theta = (\theta_1, \theta_2)\), a matriz de informação de Fisher \(I(\theta_1, \theta_2)\) é definida no Problema 6.5.15. A priori de Jeffreys é então definida como \((\det I(\theta_1, \theta_2))^{1/2}\). Determine a priori de Jeffreys para o modelo normal de locação e escala e compare-a com a priori usada no Problema 7.4.17.

Tópicos para discussão

7.4.22 Usar métodos de Bayes empírico para determinar uma priori viola o princípio bayesiano de que a todas as incógnitas devem ser atribuídas distribuições de probabilidade. Comente isso. A abordagem bayesiana hierárquica é uma solução para esse problema?

7.5 Demonstrações Adicionais (Avançado)

Dedução da Distribuição a Posteriori para o Modelo Normal de Locação e Escala

No Exemplo 7.1.4, a função de verossimilhança é dada por \[ L(\theta \mid x_1, \ldots, x_n) = (2\pi\sigma^2)^{-n/2} \exp\left(-\frac{n}{2\sigma^2}(\bar{x} - \mu)^2\right) \exp\left(-\frac{n - 1}{2\sigma^2}s^2\right). \] A priori de \((\mu, \sigma^2)\) é dada por \(\mu \mid \sigma^2 \sim N(\mu_0, \tau_0^2\sigma^2)\) e \(1/\sigma^2 \sim \text{Gama}(\alpha_0, \beta_0)\), em que \(\mu_0\), \(\tau_0^2\), \(\alpha_0\) e \(\beta_0\) são fixos e conhecidos.

A densidade a posteriori de \((\mu, \sigma^{-2})\) é então proporcional à verossimilhança vezes a priori conjunta. Portanto, mantendo apenas as partes da verossimilhança e da priori que dependem de \(\mu\) e \(\sigma^2\), a densidade a posteriori conjunta é proporcional a \begin{align*} &\left\{\left(\frac{1}{\sigma^2}\right)^{n/2} \exp\left(-\frac{n}{2\sigma^2}(\bar{x} - \mu)^2\right) \exp\left(-\frac{n - 1}{2\sigma^2}s^2\right)\right\} \times \\ &\left\{\left(\frac{1}{\sigma^2}\right)^{1/2} \exp\left(-\frac{1}{2\tau_0^2\sigma^2}(\mu - \mu_0)^2\right)\right\} \left\{\left(\frac{1}{\sigma^2}\right)^{\alpha_0 - 1} \exp\left(-\frac{\beta_0}{\sigma^2}\right)\right\} \\ ={}& \exp\left(-\frac{n}{2\sigma^2}(\bar{x} - \mu)^2 - \frac{1}{2\tau_0^2\sigma^2}(\mu - \mu_0)^2\right) \left(\frac{1}{\sigma^2}\right)^{\alpha_0 + n/2 - 1/2} \times \\ &\exp\left(-\left[\beta_0 + \frac{n - 1}{2}s^2\right]\frac{1}{\sigma^2}\right) \\ ={}& \exp\left(-\frac{1}{2\sigma^2}\left[\left(n + \frac{1}{\tau_0^2}\right)\mu^2 - 2\left(n\bar{x} + \frac{\mu_0}{\tau_0^2}\right)\mu\right]\right) \times \\ &\left(\frac{1}{\sigma^2}\right)^{\alpha_0 + n/2 - 1/2} \exp\left(-\left[\beta_0 + \frac{n}{2}\bar{x}^2 + \frac{1}{2\tau_0^2}\mu_0^2 + \frac{n - 1}{2}s^2\right]\frac{1}{\sigma^2}\right) \\ ={}& \left(\frac{1}{\sigma^2}\right)^{1/2} \exp\left(-\frac{1}{2\sigma^2}\left(n + \frac{1}{\tau_0^2}\right) \left[\mu - \left(n + \frac{1}{\tau_0^2}\right)^{-1} \left(\frac{\mu_0}{\tau_0^2} + n\bar{x}\right)\right]^2\right) \times \\ &\left(\frac{1}{\sigma^2}\right)^{\alpha_0 + n/2 - 1} \exp\left(-\left[\begin{array}{c} \beta_0 + \frac{n}{2}\bar{x}^2 + \frac{1}{2\tau_0^2}\mu_0^2 + \frac{n - 1}{2}s^2 \\[2pt] -\frac{1}{2}\left(n + \frac{1}{\tau_0^2}\right)^{-1} \left(\frac{\mu_0}{\tau_0^2} + n\bar{x}\right)^2 \end{array}\right]\frac{1}{\sigma^2}\right). \end{align*} Daí deduzimos que a distribuição a posteriori de \((\mu, \sigma^2)\) é dada por \[ \mu \mid \sigma^2, x \sim N\left(\mu_x, \left(n + \frac{1}{\tau_0^2}\right)^{-1}\sigma^2\right) \] e \[ \frac{1}{\sigma^2} \,\Big|\, x \sim \text{Gama}(\alpha_0 + n/2, \beta_x), \] em que \[ \mu_x = \left(n + \frac{1}{\tau_0^2}\right)^{-1}\left(\frac{\mu_0}{\tau_0^2} + n\bar{x}\right) \] e \begin{align*} \beta_x &= \beta_0 + \frac{n}{2}\bar{x}^2 + \frac{\mu_0^2}{2\tau_0^2} + \frac{n - 1}{2}s^2 - \frac{1}{2}\left(n + \frac{1}{\tau_0^2}\right)^{-1} \left(\frac{\mu_0}{\tau_0^2} + n\bar{x}\right)^2 \\ &= \beta_0 + \frac{n - 1}{2}s^2 + \frac{1}{2}\frac{n(\bar{x} - \mu_0)^2}{1 + n\tau_0^2}. \end{align*}

Dedução de \(J(\theta(\psi_0, \lambda))\) para a Normal de Locação e Escala

Aqui temos que \[ \psi = \psi(\mu, \sigma^{-2}) = \frac{\sigma}{\mu} = \frac{1}{\mu}\left(\frac{1}{\sigma^2}\right)^{-1/2} \] e \[ \lambda = \lambda(\mu, \sigma^{-2}) = \frac{1}{\sigma^2}. \] Temos que \begin{align*} \left\lvert \det\begin{pmatrix} \frac{\partial\psi}{\partial\mu} & \frac{\partial\psi}{\partial\left(\frac{1}{\sigma^2}\right)} \\[6pt] \frac{\partial\lambda}{\partial\mu} & \frac{\partial\lambda}{\partial\left(\frac{1}{\sigma^2}\right)} \end{pmatrix}\right\rvert &= \left\lvert \det\begin{pmatrix} -\mu^{-2}\left(\frac{1}{\sigma^2}\right)^{-1/2} & -\frac{1}{2}\mu^{-1}\left(\frac{1}{\sigma^2}\right)^{-3/2} \\[4pt] 0 & 1 \end{pmatrix}\right\rvert \\ &= \left\lvert \det\begin{pmatrix} -\psi^2\lambda^{1/2} & -\frac{1}{2}\psi\lambda^{-1} \\ 0 & 1 \end{pmatrix}\right\rvert = \psi^2\lambda^{1/2}, \end{align*} e assim \[ J(\theta(\psi_0, \lambda)) = (\psi^2\lambda^{1/2})^{-1}. \]