Capítulo 9Verificação de Modelos

Os métodos de inferência estatística desenvolvidos nos Capítulos 6 a 8 dependem todos de várias suposições. Por exemplo, no Capítulo 6 supusemos que os dados \(s\) foram gerados por uma distribuição do modelo estatístico \(\{P_\theta : \theta \in \Omega\}\). No Capítulo 7, supusemos também que nossa incerteza sobre o verdadeiro valor do parâmetro \(\theta\) do modelo podia ser descrita por uma distribuição de probabilidade a priori¹ \(\Pi\). Assim, quaisquer inferências obtidas têm validade questionável se essas suposições não fizerem sentido numa aplicação particular.

De fato, toda metodologia estatística se baseia em suposições ou escolhas feitas pelo analista estatístico, e elas precisam ser verificadas se quisermos ter confiança de que nossas inferências são relevantes. Chamamos o processo de verificar essas suposições de verificação de modelos², o tema deste capítulo. Obviamente, isso tem enorme importância nas aplicações da estatística, e a boa prática estatística exige que se faça uma verificação de modelos eficaz. Os métodos vão desde métodos gráficos bastante informais até avaliações de hipóteses mais elaboradas, e discutiremos vários deles.

9.1 Verificação do Modelo Amostral

Os métodos de inferência baseados em frequência começam com um modelo estatístico \(\{f_\theta : \theta \in \Omega\}\) para a verdadeira distribuição que gerou os dados \(s\). Isso significa que estamos supondo que a verdadeira distribuição dos dados observados está nesse conjunto. Se essa suposição não for verdadeira, então parece razoável questionar a relevância de quaisquer inferências que façamos depois sobre \(\theta\).

Exceto em circunstâncias relativamente raras, nunca podemos saber de modo categórico que um modelo está correto. O máximo que podemos esperar é conseguir avaliar se os dados observados \(s\) poderiam plausivelmente ter surgido do modelo.

Se os dados observados forem surpreendentes para cada distribuição do modelo, então temos evidência de que o modelo está incorreto. Isso nos leva a pensar em calcular um valor-p para verificar se o modelo está correto. É claro que, nessa situação, a hipótese nula³ é que o modelo está correto; a alternativa é que o modelo poderia ser qualquer um dos outros modelos possíveis para o tipo de dados com que estamos lidando.

Recordemos agora nossa discussão sobre valores-p no Capítulo 6, onde distinguimos entre significância prática e significância estatística. Observou-se que, embora um valor-p possa indicar que uma hipótese nula é falsa, em termos práticos o desvio em relação à hipótese nula pode ser tão pequeno que não tem importância para a aplicação. Quando o tamanho da amostra⁴ fica grande, é inevitável que qualquer abordagem razoável por meio de valores-p detecte esse desvio e indique que a hipótese nula é falsa. Isso também vale quando fazemos a verificação de modelos usando valores-p. A solução é estimar, de alguma forma, o tamanho do desvio do modelo em relação ao modelo correto e, assim, determinar se o modelo será ou não adequado para a aplicação. Mesmo que no fim aceitemos usar o modelo, ainda assim é valioso saber que detectamos evidência de que o modelo está incorreto, quando for esse o caso.

Uma abordagem de verificação de modelos por valor-p consiste em especificar uma estatística de discrepância⁵ \(D : S \to R^1\) que mede os desvios em relação ao modelo em consideração. Tipicamente, valores grandes de \(D\) devem indicar que ocorreu um desvio. O valor efetivo \(D(s)\), é claro, não é necessariamente uma indicação disso. A questão relevante é se o valor observado \(D(s)\) é ou não surpreendente sob a suposição de que o modelo está correto. Portanto, precisamos avaliar se \(D(s)\) está ou não numa região de baixa probabilidade para a distribuição dessa quantidade quando o modelo está correto. Por exemplo, considere a densidade de uma possível estatística \(D\) desenhada na Figura 9.1.1. Aqui, um valor \(D(s)\) na cauda esquerda (perto de 0), na cauda direita (além de 15) ou entre as duas modas (no intervalo de cerca de 7 a 9) indicaria, em qualquer dos casos, que o modelo está incorreto, porque esses valores têm baixa probabilidade de ocorrer quando o modelo está correto.

A discussão acima impõe a restrição de que, quando o modelo está correto, \(D\) tenha uma única distribuição, isto é, a distribuição não pode depender de \(\theta\). Para muitas estatísticas de discrepância de uso comum, essa distribuição é unimodal. Um valor na cauda direita indica então uma falta de ajuste, ou subajuste⁶, do modelo (as discrepâncias são anormalmente grandes); um valor na cauda esquerda indica então sobreajuste⁷ do modelo (as discrepâncias são anormalmente pequenas).

Há dois métodos gerais disponíveis para obter uma única distribuição para o cálculo de valores-p. Um dos métodos exige que \(D\) seja ancilar.

Se \(D\) é ancilar, então ela tem uma única distribuição especificada pelo modelo. Se \(D(s)\) é um valor surpreendente para essa distribuição, então temos evidência contra a veracidade do modelo.

Não é verdade que qualquer \(D\) ancilar sirva como estatística de discrepância útil. Por exemplo, se \(D\) é uma constante, então ela é ancilar, mas obviamente não é útil para verificar o modelo. Portanto, precisamos ter cuidado ao escolher \(D\).

Muitas vezes conseguimos encontrar estatísticas ancilares úteis para um modelo olhando para os resíduos. Em termos gerais, os resíduos se baseiam na informação dos dados que sobra depois de ajustarmos o modelo. Se usamos toda a informação relevante dos dados para o ajuste, então os resíduos não devem conter nenhuma informação útil para a inferência sobre o parâmetro \(\theta\). O Exemplo 9.1.1 vai ilustrar com mais clareza o que entendemos por resíduos. Os resíduos têm um papel importante na verificação de modelos.

O segundo método funciona com qualquer estatística de discrepância \(D\). Para isso, usamos a distribuição condicional⁸ de \(D\) dado o valor de uma estatística suficiente⁹ \(T\). Pelo Teorema 8.1.2, essa distribuição condicional é a mesma para todo valor de \(\theta\). Se \(D(s)\) é um valor surpreendente para essa distribuição, então temos evidência contra a veracidade do modelo.

Às vezes as duas abordagens que acabamos de descrever concordam, mas nem sempre. Considere alguns exemplos.

Os exemplos a seguir apresentam contextos em que as duas abordagens para calcular um valor-p na verificação de modelos não coincidem.

Outra abordagem para a verificação de modelos procede da seguinte forma. Ampliamos o modelo para incluir mais distribuições e então testamos a hipótese nula de que o verdadeiro modelo é o submodelo com que começamos. Se pudermos aplicar os métodos da Seção 8.2 para chegar a um teste uniformemente mais poderoso¹⁹ (UMP) dessa hipótese nula, então teremos uma verificação de desvios em relação ao modelo de interesse — pelo menos dos desvios expressos pelas alternativas possíveis no modelo ampliado. Se o modelo passar nessa verificação, porém, ainda precisamos verificar a validade do modelo ampliado. Isso pode ser visto como uma técnica para gerar estatísticas de discrepância \(D\) relevantes.

9.1.1 Gráficos de Resíduos e de Probabilidade

Há outra abordagem, mais informal, para verificar se o modelo está correto, que é frequentemente usada quando temos resíduos disponíveis. Esses métodos envolvem vários gráficos dos resíduos, que devem exibir características específicas se o modelo estiver correto. Embora essa abordagem não tenha o rigor da abordagem por valor-p, ela é boa para mostrar desvios grosseiros das suposições do modelo. Ilustramos isso com alguns exemplos.

É muito comum, nas aplicações estatísticas, supor alguma forma básica para a distribuição dos dados; por exemplo, podemos supor que estamos amostrando de uma distribuição normal com alguma média e variância. Para avaliar essa suposição, o uso de um gráfico de probabilidade tem se mostrado muito útil.

Para ilustrar, suponha que \((x_1, \ldots, x_n)\) seja uma amostra de uma distribuição \(N(\mu, \sigma^2)\). Então pode-se mostrar que, quando \(n\) é grande, a esperança²² da \(i\)-ésima estatística de ordem satisfaz \begin{equation} E(X_{(i)}) \approx \mu + \sigma\Phi^{-1}(i/(n + 1)). \tag{9.1.5} \end{equation} Se o valor \(x_j\) dos dados corresponde à estatística de ordem \(x_{(i)}\) (isto é, \(x_{(i)} = x_j\)), então chamamos \(\Phi^{-1}(i/(n + 1))\) de escore normal²³ de \(x_j\) na amostra. Então (9.1.5) indica que, se fizermos o gráfico dos pontos \((x_{(i)}, \Phi^{-1}(i/(n + 1)))\), eles devem ficar aproximadamente sobre uma reta com intercepto \(\mu\) e inclinação \(\sigma\). Chamamos esse gráfico de gráfico de probabilidade normal²⁴ ou gráfico de quantis normais. Gráficos semelhantes podem ser obtidos para outras distribuições.

Veremos no Capítulo 10 que o uso de gráficos de probabilidade normal de resíduos padronizados é uma parte importante da verificação de modelos mais complicados. Assim, embora eles não sejam realmente necessários aqui, consideramos algumas das características desses gráficos ao avaliar se uma amostra vem ou não de um modelo normal de locação ou de locação-escala.

Suponha que \(n\) seja grande, de modo que possamos considerar os resíduos padronizados, dados por (9.1.3) ou (9.1.4), como uma amostra aproximada da distribuição \(N(0, 1)\). Então, um gráfico de probabilidade normal dos resíduos padronizados deve ser aproximadamente linear, com intercepto em \(y\) aproximadamente igual a 0 e inclinação aproximadamente igual a 1. Se obtivermos um desvio substancial disso, então temos evidência de que o modelo suposto está incorreto.

Na Figura 9.1.7, fizemos um gráfico de probabilidade normal dos resíduos padronizados de uma amostra de \(n = 25\) de uma distribuição \(N(0, 1)\). Na Figura 9.1.8, fizemos um gráfico de probabilidade normal dos resíduos padronizados de uma amostra de \(n = 25\) da distribuição dada por \(X = 3^{-1/2}Z\), em que \(Z \sim t(3)\). As duas distribuições têm média 0 e variância 1, de modo que a diferença entre os gráficos de probabilidade normal se deve a outras diferenças entre as distribuições.

9.1.2 O Teste Qui-quadrado de Aderência

O teste qui-quadrado de aderência²⁶ tem um lugar histórico importante em qualquer discussão sobre a avaliação da correção de modelos. Usamos esse teste para avaliar se uma variável aleatória²⁷ categórica \(W\), que assume valores no espaço amostral²⁸ finito \(\{1, 2, \ldots, k\}\), tem ou não uma medida de probabilidade²⁹ especificada \(P\), depois de observar uma amostra \((w_1, \ldots, w_n)\). Quando temos uma variável aleatória discreta que assume infinitos valores, dividimos os valores possíveis em \(k\) categorias e fazemos \(W\) simplesmente indicar qual categoria ocorreu. Se temos uma variável aleatória quantitativa, então dividimos \(R^1\) em \(k\) subintervalos e fazemos \(W\) indicar em qual intervalo a resposta ocorreu. Na prática, queremos verificar se um modelo de probabilidade³⁰ específico, dado por \(P\), está ou não correto para \(W\), com base numa amostra observada.

Sejam \((X_1, \ldots, X_k)\) as contagens, ou frequências, observadas de \(1, \ldots, k\), respectivamente. Se \(P\) está correta, então, pelo Exemplo 2.8.5, \[ (X_1, \ldots, X_k) \sim \text{Multinomial}(n, p_1, \ldots, p_k), \] em que \(p_i = P(\{i\})\). Isso implica que \(E(X_i) = np_i\) e \(\Var(X_i) = np_i(1 - p_i)\) (lembre que \(X_i \sim \text{Binomial}(n, p_i)\)). Disso, deduzimos que \begin{equation} R_i = \frac{X_i - np_i}{\sqrt{np_i(1 - p_i)}} \xrightarrow{D} N(0, 1) \tag{9.1.6} \end{equation} quando \(n \to \infty\) (ver Exemplo 4.4.9).

Para \(n\) finito, a distribuição de \(R_i\), quando o modelo está correto, depende de \(P\), mas a distribuição limite³¹ não depende. Assim, podemos pensar nos \(R_i\) como resíduos padronizados quando \(n\) é grande. Portanto, pareceria que uma estatística de discrepância razoável é dada pela soma dos quadrados dos resíduos padronizados, com \(\sum_{i=1}^{k} R_i^2\) distribuída aproximadamente como \(\chi^2(k)\). No entanto, vale a restrição \(x_1 + \cdots + x_k = n\); logo, os \(R_i\) não são independentes, e a distribuição limite não é \(\chi^2(k)\). Temos, porém, o seguinte resultado, que fornece uma estatística de discrepância semelhante.

A demonstração desse resultado é um pouco complicada demais para este texto; veja, por exemplo, o Teorema 17.2 de Asymptotic Statistics, de A. W. van der Vaart (Cambridge University Press, Cambridge, 1998), que usaremos aqui.

Chamamos \(X^2\) de estatística qui-quadrado. O processo de avaliar se o modelo está correto calculando o valor-p \(P(X^2 \ge X_0^2)\), em que \(X^2 \sim \chi^2(k - 1)\) e \(X_0^2\) é o valor observado da estatística qui-quadrado, é chamado teste qui-quadrado de aderência. Valores-p pequenos, perto de 0, fornecem evidência de que o modelo de probabilidade está incorreto. Valores-p pequenos indicam que alguns dos resíduos são grandes demais.

Observe que o \(i\)-ésimo termo da estatística qui-quadrado pode ser escrito como \[ \frac{(X_i - np_i)^2}{np_i} = \frac{(\text{número na casela $i$} - \text{número esperado na casela $i$})^2} {\text{número esperado na casela $i$}}. \] Recomenda-se, por exemplo em Statistical Methods, de G. Snedecor e W. Cochran (Iowa State Press, 6.^a ed., Ames, 1967), que se use agrupamento (combinação de caselas) para garantir que \(E(X_i) = np_i \ge 1\) para todo \(i\), pois simulações mostraram que isso melhora a precisão da aproximação do valor-p.

Consideramos uma aplicação importante.

De modo mais geral, não teremos uma distribuição de probabilidade prescrita \(P\) para \(X\), mas sim um modelo estatístico \(\{P_\theta : \theta \in \Omega\}\), em que cada \(P_\theta\) é uma medida de probabilidade no conjunto finito \(\{1, 2, \ldots, k\}\). Então, com base na amostra do modelo, temos que \[ (X_1, \ldots, X_k) \sim \text{Multinomial}(n, p_1(\theta), \ldots, p_k(\theta)), \] em que \(p_i(\theta) = P_\theta(\{i\})\).

Talvez uma maneira natural de avaliar se esse modelo se ajusta ou não aos dados seja encontrar o EMV \(\hat{\theta}\) a partir da função de verossimilhança \[ L(\theta \mid x_1, \ldots, x_k) = (p_1(\theta))^{x_1} \cdots (p_k(\theta))^{x_k} \] e então olhar para os resíduos padronizados \[ r_i(\hat{\theta}) = \frac{x_i - np_i(\hat{\theta})} {\sqrt{np_i(\hat{\theta})(1 - p_i(\hat{\theta}))}}. \] Temos o seguinte resultado, que enunciamos sem demonstração.

Por \(\dim\Omega\) entendemos a dimensão do conjunto \(\Omega\). Em termos gerais, ela é o número mínimo de coordenadas necessárias para especificar um ponto do conjunto; por exemplo, uma reta exige uma coordenada (a distância positiva ou negativa a partir de um ponto fixo), uma circunferência exige uma coordenada, um plano em \(R^3\) exige duas coordenadas etc. É claro que esse resultado implica que o número de caselas precisa satisfazer \(k > 1 + \dim\Omega\).

Considere um exemplo.

O teste qui-quadrado de aderência é apenas uma das muitas estatísticas de discrepância que foram propostas para a verificação de modelos na literatura estatística. A abordagem geral é selecionar uma estatística de discrepância \(D\), como \(X^2\), tal que a distribuição exata ou assintótica de \(D\) não dependa de \(\theta\) e seja conhecida. Calculamos então um valor-p baseado em \(D\). O teste de Kolmogorov–Smirnov e o teste de Cramer–von Mises são outros exemplos dessas estatísticas de discrepância, mas não os discutimos aqui.

9.1.3 Predição e Validação Cruzada

Talvez o teste mais rigoroso a que um modelo ou uma teoria científica pode ser submetido seja avaliar quão bem ele prediz dados novos depois de ter sido ajustado a um conjunto de dados independente. De fato, essa é uma etapa crucial na aceitação de qualquer teoria científica nova desenvolvida empiricamente — para ser aceita, ela precisa predizer resultados novos, além dos dados que levaram à sua formulação.

Se um modelo não faz um bom trabalho ao predizer dados novos, é razoável dizer que temos evidência contra a correção do modelo. Se o modelo for simples demais, o modelo ajustado vai subajustar os dados observados e também os dados futuros. Se o modelo for complicado demais, ele vai sobreajustar os dados originais, e isso será detectado quando considerarmos os dados novos à luz desse modelo ajustado.

Em aplicações estatísticas, em geral não podemos esperar até que dados novos sejam gerados para verificar o modelo. Por isso, os estatísticos usam uma técnica chamada validação cruzada³⁷. Para isso, dividimos um conjunto de dados original \(x_1, \ldots, x_n\) em duas partes: o conjunto de treinamento³⁸ \(T\), formado por \(k\) dos valores dos dados e usado para ajustar o modelo; e o conjunto de validação³⁹ \(V\), formado pelos \(n - k\) valores restantes. Com base nos dados de treinamento, construímos preditores de vários aspectos dos dados de validação. Usando as discrepâncias entre os valores preditos e os reais, avaliamos então se o conjunto de validação \(V\) é ou não surpreendente como uma possível amostra futura do modelo.

É claro que existem \[ \binom{n}{k} \] divisões possíveis desse tipo dos dados, e não gostaríamos de tomar uma decisão com base em apenas uma delas. Assim, uma análise de validação cruzada terá de levar isso em conta. Além disso, teremos de decidir como medir as discrepâncias entre \(T\) e \(V\) e escolher um valor para \(k\). Não aprofundamos mais esse tema neste texto.

9.1.4 O Que Fazemos Quando um Modelo Falha?

Até aqui nos preocupamos em determinar se um modelo suposto é ou não apropriado, dados os dados observados. Suponha que o resultado da nossa verificação do modelo seja que decidimos que um determinado modelo é inapropriado. O que fazemos agora?

Talvez a resposta óbvia seja dizer que temos de encontrar um modelo mais apropriado — um que passe na nossa verificação do modelo. Não é óbvio como devemos proceder, mas os estatísticos desenvolveram algumas técnicas.

Uma das técnicas mais simples é o método das transformações. Por exemplo, suponha que observamos uma amostra \(y_1, \ldots, y_n\) da distribuição dada por \(Y = \exp(X)\) com \(X \sim N(\mu, \sigma^2)\). Um gráfico de probabilidade normal baseado nos \(y_i\), como na Figura 9.1.10, vai detectar evidência de não normalidade da distribuição. Transformar esses valores \(y_i\) em \(\ln y_i\), porém, vai produzir um gráfico de probabilidade normal de aparência razoável, como na Figura 9.1.11.

Assim, nesse caso, uma transformação simples da amostra produz um conjunto de dados que passa nessa verificação. Na verdade, isso é algo que os estatísticos fazem com frequência. Várias transformações da família das transformações de potência, dadas por \(Y^p\) para \(p \neq 0\), ou a transformação logarítmica \(\ln Y\), são testadas para ver se uma suposição sobre a distribuição pode ser satisfeita por uma amostra transformada. Veremos algumas aplicações disso no Capítulo 10. Surpreendentemente, essa técnica simples muitas vezes funciona, embora não haja garantia de que sempre funcionará.

Talvez a transformação mais aplicada seja a logarítmica, quando os valores dos dados são positivos (note que isso é uma necessidade para essa transformação). Outra transformação muito comum é a da raiz quadrada, isto é, \(p = 1/2\), quando temos dados de contagem. É claro que não é correto testar muitas, muitas transformações até encontrar uma que faça os gráficos de probabilidade ou os gráficos de resíduos parecerem aceitáveis. Em vez disso, testamos algumas transformações simples.

Exercícios

9.1.1 Suponha que se admite que a amostra a seguir vem de uma distribuição \(N(\theta, 4)\), com \(\theta \in R^1\) desconhecido.

Verifique esse modelo usando a estatística de discrepância do Exemplo 9.1.1.

9.1.2 Suponha que se admite que a amostra a seguir vem de uma distribuição \(N(\theta, 2)\), com \(\theta\) desconhecido.

(a) Faça o gráfico dos resíduos padronizados.(b) Construa um gráfico de probabilidade normal dos resíduos padronizados.(c) Que conclusões você tira com base nos resultados dos itens (a) e (b)?

9.1.3 Suponha que se admite que a amostra a seguir vem de uma distribuição \(N(\mu, \sigma^2)\), em que \(\mu \in R^1\) e \(\sigma^2 > 0\) são desconhecidos.

(a) Faça o gráfico dos resíduos padronizados.(b) Construa um gráfico de probabilidade normal dos resíduos padronizados.(c) Que conclusões você tira com base nos resultados dos itens (a) e (b)?

9.1.4 Suponha que a tabela a seguir foi obtida classificando os membros de uma amostra de \(n = 10\) de uma população de estudantes segundo as variáveis de classificação \(A\) e \(B\), em que \(A = 0, 1\) indica homem, mulher e \(B = 0, 1\) indica conservador, liberal.

Verifique o modelo que diz que gênero e orientação política são independentes, usando o teste exato de Fisher.

9.1.5 A amostra de \(n = 20\) a seguir deveria vir de uma distribuição Uniforme\([0, 1]\).

Depois de agrupar os dados, usando uma partição em cinco intervalos de mesmo comprimento, faça o teste qui-quadrado de aderência para avaliar se temos ou não evidência contra essa suposição. Registre os resíduos padronizados.

9.1.6 Suponha que um dado é lançado 1000 vezes e que se obtêm as seguintes frequências para o número de pontos na face de cima quando o dado para.

Usando o teste qui-quadrado de aderência, avalie se temos evidência de que esse dado não é simétrico. Registre os resíduos padronizados.

9.1.7 Suponha que o espaço amostral de uma resposta é dado por \(S = \{0, 1, 2, 3, \ldots\}\). (a) Suponha que um estatístico acredita que, na verdade, a resposta vai estar no conjunto \(S = \{10, 11, 12, 13, \ldots\}\) e, por isso, escolhe uma medida de probabilidade \(P\) que reflete isso. Quando os dados são coletados, porém, observa-se o valor \(s = 3\). Qual é um valor-p apropriado para informar como medida de quão surpreendente esse valor é como valor possível de \(P\)?(b) Suponha, em vez disso, que \(P\) seja uma distribuição Geométrica\((0{,}1)\). Determine um valor-p apropriado para informar como medida de quão surpreendente \(s = 3\) é como valor possível de \(P\).

9.1.8 Suponha que observamos \(s = 3\) caras em \(n = 10\) lançamentos independentes de uma moeda supostamente honesta. Calcule um valor-p que avalie quão surpreendente esse valor é como valor possível da distribuição prescrita. Não use o teste qui-quadrado.

9.1.9 Suponha que você verifica um modelo calculando um valor-p baseado em alguma estatística de discrepância e conclui que não há evidência contra o modelo. Isso significa que o modelo é correto? Explique sua resposta.

9.1.10 Suponha que lhe dizem que as notas padronizadas numa prova têm distribuição \(N(0, 1)\). A nota padronizada de um estudante é \(-4\). Calcule um valor-p apropriado para avaliar se a afirmação é ou não correta.

9.1.11 Afirma-se que uma moeda está sendo lançada em lançamentos independentes. Você está um tanto cético quanto à independência dos lançamentos, porque sabe que algumas pessoas treinam o lançamento de moedas para aumentar a frequência de obter cara. Assim, você quer avaliar a independência de \((x_1, \ldots, x_n)\) de uma distribuição Bernoulli\((\theta)\). (a) Mostre que a distribuição condicional de \((x_1, \ldots, x_n)\) dado \(\bar{x}\) é uniforme no conjunto de todas as sequências de comprimento \(n\) com entradas em \(\{0, 1\}\).(b) Usando essa distribuição condicional, determine a distribuição do número de 1s observados nas primeiras \(\lfloor n/2 \rfloor\) observações. (Sugestão: a distribuição hipergeométrica.)(c) Suponha que você observa \((1, 1, 1, 1, 1, 0, 0, 0, 0, 1)\). Calcule um valor-p apropriado para avaliar a independência desses lançamentos usando (b).

Exercícios computacionais

9.1.12 Para os dados do Exercício 9.1.1, apresente um gráfico de probabilidade normal dos resíduos padronizados e comente-o.

9.1.13 Gere 25 amostras da distribuição \(N(0, 1)\) com \(n = 10\) e observe seus gráficos de probabilidade normal. Tire as conclusões gerais que puder.

9.1.14 Suponha que a tabela a seguir foi obtida classificando os membros de uma amostra de \(n = 100\) de uma população de estudantes segundo as variáveis de classificação \(A\) e \(B\), em que \(A = 0, 1\) indica homem, mulher e \(B = 0, 1\) indica conservador, liberal.

Verifique o modelo de que gênero e orientação política são independentes usando o teste exato de Fisher.

9.1.15 Usando um software, gere uma amostra de \(n = 1000\) da distribuição Binomial\((10;\, 0{,}2)\). Depois, usando o teste qui-quadrado de aderência, verifique que essa amostra vem de fato dessa distribuição. Use agrupamento para garantir que \(E(X_i) = np_i \geq 1\). O que você concluiria se obtivesse um valor-p próximo de 0?

9.1.16 Usando um pacote estatístico, gere uma amostra de \(n = 1000\) da distribuição Poisson\((5)\). Depois, usando o teste qui-quadrado de aderência baseado no agrupamento das observações em cinco caselas escolhidas para garantir que \(E(X_i) = np_i \geq 1\), verifique que essa amostra vem de fato dessa distribuição. O que você concluiria se obtivesse um valor-p próximo de 0?

9.1.17 Usando um pacote estatístico, gere uma amostra de \(n = 1000\) da distribuição \(N(0, 1)\). Depois, usando o teste qui-quadrado de aderência baseado no agrupamento das observações em cinco caselas escolhidas para garantir que \(E(X_i) = np_i \geq 1\), verifique que essa amostra vem de fato dessa distribuição. O que você concluiria se obtivesse um valor-p próximo de 0?

Problemas

9.1.18 (Distribuição normal multivariada⁴⁰) Diz-se que um vetor aleatório \(Y = (Y_1, \ldots, Y_k)\) tem distribuição normal multivariada com vetor de médias \(\mu \in R^k\) e matriz de variâncias \(\Sigma = (\sigma_{ij}) \in R^{k \times k}\) se \[ a_1 Y_1 + \cdots + a_k Y_k \sim N\!\left(\sum_{i=1}^{k} a_i \mu_i,\ \sum_{i=1}^{k} \sum_{j=1}^{k} a_i a_j \sigma_{ij}\right) \] para toda escolha de \(a_1, \ldots, a_k \in R^1\). Escrevemos \(Y \sim N_k(\mu, \Sigma)\). Prove que \(E(Y_i) = \mu_i\), \(\Cov(Y_i, Y_j) = \sigma_{ij}\) e que \(Y_i \sim N(\mu_i, \sigma_{ii})\). (Sugestão: Teorema 3.3.4.)

9.1.19 No Exemplo 9.1.1, prove que o resíduo \(R = (R_1, \ldots, R_n)\) tem distribuição normal multivariada (veja o Problema 9.1.18) com vetor de médias \(\mu = (0, \ldots, 0)\) e matriz de variâncias \(\Sigma = (\sigma_{ij}) \in R^{k \times k}\)⁴¹, em que \(\sigma_{ij} = -\sigma_0^2/n\) quando \(i \neq j\) e \(\sigma_{ii} = \sigma_0^2(1 - 1/n)\). (Sugestão: Teorema 4.6.1.)

9.1.20 Se \(Y = (Y_1, \ldots, Y_k)\) tem distribuição normal multivariada com vetor de médias \(\mu \in R^k\) e matriz de variâncias \(\Sigma = (\sigma_{ij}) \in R^{k \times k}\), e se \(X = (X_1, \ldots, X_l)\) tem distribuição normal multivariada com vetor de médias \(\nu \in R^l\) e matriz de variâncias \(\Upsilon = (\tau_{ij}) \in R^{l \times l}\), pode-se mostrar que \(Y\) e \(X\) são independentes sempre que \(\sum_{i=1}^{k} a_i Y_i\) e \(\sum_{i=1}^{l} b_i X_i\) forem independentes para toda escolha de \((a_1, \ldots, a_k)\) e \((b_1, \ldots, b_l)\). Use esse fato para mostrar que, no Exemplo 9.1.1, \(\bar{X}\) e \(R\) são independentes. (Sugestão: Teorema 4.6.2 e Problema 9.1.19.)

9.1.21 No Exemplo 9.1.4, prove que \((\hat{\alpha}_1, \hat{\beta}_1)\) \({}= (x_{1\cdot}/n, x_{\cdot 1}/n)\) é o EMV.

9.1.22 No Exemplo 9.1.4, prove que o número de amostras que satisfazem as restrições (9.1.2) é igual a \[ \binom{n}{x_{1\cdot}} \binom{n}{x_{\cdot 1}}. \] (Sugestão: usando \(i\) para a contagem \(x_{11}\), mostre que o número dessas amostras é igual a \[ \binom{n}{x_{1\cdot}} \sum_{i = \max\{0,\, x_{1\cdot} + x_{\cdot 1} - n\}}^{\min\{x_{1\cdot},\, x_{\cdot 1}\}} \binom{x_{1\cdot}}{i} \binom{n - x_{1\cdot}}{x_{\cdot 1} - i} \] e some isso usando o fato de que a soma das probabilidades da distribuição Hipergeométrica\((n, x_{\cdot 1}, x_{1\cdot})\) é igual a 1.)

Problemas computacionais

9.1.23 Para os dados do Exercício 9.1.3, faça uma simulação para estimar o valor-p da estatística de discrepância do Exemplo 9.1.2. Faça um histograma de densidade dos valores simulados. (Sugestão: veja o Apêndice B para o código apropriado.)

9.1.24 Com \(n = 10\), gere \(10^4\) valores da estatística de discrepância do Exemplo 9.1.2 quando temos uma amostra de uma distribuição \(N(0, 1)\). Faça um histograma de densidade com eles. Repita isso, mas agora gerando de uma distribuição de Cauchy⁴². Compare os histogramas (não se esqueça de garantir que os dois gráficos tenham as mesmas escalas).

9.1.25 Os dados a seguir deveriam vir de uma distribuição Exponencial\((\theta)\), em que \(\theta > 0\) é desconhecido.

Verifique esse modelo usando um teste qui-quadrado de aderência baseado nos intervalos \[ (-\infty; 2{,}0],\ (2{,}0; 4{,}0],\ (4{,}0; 6{,}0],\ (6{,}0; 8{,}0],\ (8{,}0; 10{,}0],\ (10{,}0; \infty). \] (Sugestão: calcule o EMV fazendo o gráfico da log-verossimilhança em intervalos sucessivamente menores.)

9.1.26 A tabela a seguir, tirada de Introduction to the Practice of Statistics, de D. Moore e G. McCabe (W. H. Freeman, Nova York, 1999), dá as medidas, em miligramas, da ingestão diária de cálcio de 38 mulheres com idades entre 18 e 24 anos.

(a) Suponha que o modelo especifica um modelo normal de locação para esses dados com \(\sigma_0^2 = (500)^2\). Faça um teste qui-quadrado de aderência nesses dados usando os intervalos \((-\infty, 600]\), \((600, 1200]\), \((1200, 1800]\), \((1800, \infty)\). (Sugestão: faça o gráfico da log-verossimilhança em intervalos sucessivamente menores para determinar o EMV com cerca de uma casa decimal. Para determinar o intervalo inicial do gráfico, use do EMV global de \(\mu\) menos três erros padrão até o EMV global mais três erros padrão.)(b) Compare o EMV de \(\mu\) obtido no item (a) com o EMV dos dados não agrupados.(c) Seria mais realista supor que a variância \(\sigma^2\) também é desconhecida. Registre a log-verossimilhança dos dados agrupados. (Métodos numéricos mais sofisticados são necessários para encontrar o EMV de \((\mu, \sigma^2)\) nesse caso.)

9.1.27 Gere \(10^4\) valores das estatísticas de discrepância \(D_{\mathrm{skew}}\) e \(D_{\mathrm{kurtosis}}\) do Exemplo 9.1.2 quando temos uma amostra de \(n = 10\) de uma distribuição \(N(0, 1)\). Faça histogramas de densidade com eles. Indique como você usaria esses histogramas para avaliar a suposição de normalidade quando tivéssemos uma amostra real de tamanho 10. Repita isso para \(n = 20\) e compare as distribuições.

Desafios

9.1.28 (MV) Prove que, quando \((x_1, \ldots, x_n)\) é uma amostra da distribuição dada por \(\mu + \sigma Z\), em que \(Z\) tem uma distribuição conhecida e \((\mu, \sigma^2) \in R^1 \times (0, \infty)\) é desconhecido, a estatística \[ r(x_1, \ldots, x_n) = \left(\frac{x_1 - \bar{x}}{s}, \ldots, \frac{x_n - \bar{x}}{s}\right) \] é ancilar. (Sugestão: escreva um elemento da amostra como \(x_i = \mu + \sigma z_i\) e depois mostre que \(r(x_1, \ldots, x_n)\) pode ser escrita como função dos \(z_i\).)

9.2 Verificação de Conflito entre a Priori e Dados

A metodologia bayesiana acrescenta a medida de probabilidade a priori \(\Pi\) ao modelo estatístico \(\{P_\theta : \theta \in \negrito{\Omega}\}\), para a análise estatística subsequente. Os métodos da Seção 9.1 foram concebidos para verificar se os dados observados podem, de forma realista, ser considerados provenientes de uma distribuição em \(\{P_\theta : \theta \in \negrito{\Omega}\}\). Ao acrescentar a priori, estamos, na prática, dizendo que o nosso conhecimento sobre a distribuição verdadeira nos leva a atribuir a probabilidade preditiva a priori⁴³ \(M\), dada por \(M(A) = E_\Pi(P_\theta(A))\) para \(A \subset \negrito{\Omega}\), para descrever o processo que gera os dados. Pareceria, então, que uma abordagem bayesiana sensata de verificação do modelo seria comparar os dados observados \(s\) com a distribuição dada por \(M\), para ver se eles são surpreendentes ou não.

Suponha que concluíssemos que o modelo bayesiano é incorreto depois de decidir que \(s\) é um valor surpreendente segundo \(M\). Isso nos diz apenas, porém, que é improvável que a medida de probabilidade \(M\) tenha produzido os dados, e não que o modelo \(\{P_\theta : \theta \in \negrito{\Omega}\}\) estava errado. Considere o exemplo a seguir.

A lição do Exemplo 9.2.1 é que o modelo pode falhar de duas maneiras no contexto bayesiano. Primeiro, os dados \(s\) podem ser surpreendentes à luz do modelo \(\{f_\theta : \theta \in \negrito{\Omega}\}\). Segundo, mesmo quando os dados provêm plausivelmente desse modelo, a priori e os dados podem estar em conflito. Esse conflito ocorre sempre que a priori atribui a maior parte da sua probabilidade a distribuições do modelo para as quais os dados são surpreendentes. Em qualquer das duas situações, as inferências tiradas do modelo bayesiano podem ser falhas.

Se, no entanto, a priori atribui probabilidade (ou densidade) positiva a todo valor possível de \(\theta\), então os resultados de consistência da inferência bayesiana mencionados no Capítulo 7 indicam que uma grande quantidade de dados supera um conflito entre a priori e dados (ver o Exemplo 9.2.4). Isso acontece porque o efeito da priori diminui à medida que a quantidade de dados aumenta. Assim, a existência de um conflito entre a priori e dados não significa necessariamente que as nossas inferências estejam erradas. Ainda assim, é útil saber se esse conflito existe ou não, pois muitas vezes é difícil detectar se temos ou não dados suficientes para evitar o problema.

Portanto, devemos primeiro usar as verificações discutidas na Seção 9.1 para garantir que os dados \(s\) provêm plausivelmente do modelo \(\{f_\theta : \theta \in \negrito{\Omega}\}\). Se aceitamos o modelo, procuramos então algum conflito entre a priori e dados. Vejamos agora como fazer isso.

A distribuição preditiva a priori de qualquer estatística ancilar é igual à sua distribuição sob o modelo amostral⁴⁵, isto é, a sua distribuição preditiva a priori não é afetada pela escolha da priori. Assim, o valor observado de uma estatística ancilar não pode nos dizer nada sobre a existência de um conflito entre a priori e dados. Concluímos daí que, se vamos usar alguma função dos dados para avaliar se há ou não conflito entre a priori e dados, então a distribuição marginal dela tem de depender de \(\theta\).

Mostramos agora que a distribuição condicional preditiva a priori dos dados, dada uma estatística suficiente minimal \(T\), é independente da priori.

Assim, pelo Teorema 9.2.1, concluímos que nenhum aspecto dos dados além do valor de uma estatística suficiente minimal pode nos dizer algo sobre a existência de um conflito entre a priori e dados. Portanto, se quisermos basear a nossa verificação de conflito entre a priori e dados na preditiva a priori, devemos usar a preditiva a priori de uma estatística suficiente minimal. Considere os exemplos a seguir.

Outra possibilidade de verificação do modelo nesse contexto é olhar para a distribuição preditiva a posteriori⁵² dos dados. Considere, porém, o exemplo a seguir.

O problema de usar a preditiva a posteriori para avaliar se existe ou não um conflito entre a priori e dados é que temos um caso do chamado uso duplo dos dados. Isso porque ajustamos o modelo, isto é, construímos a preditiva a posteriori, usando os dados observados, e depois tentamos usar essa preditiva a posteriori para avaliar se existe ou não um conflito entre a priori e dados. O uso duplo dos dados resulta em avaliações otimistas demais da validade do modelo bayesiano e muitas vezes não detecta discrepâncias. Não discutiremos mais a verificação do modelo a posteriori neste texto.

Aqui apenas tocamos no básico da verificação de conflito entre a priori e dados. Com modelos mais complicados, existe a possibilidade de verificar componentes individuais de uma priori, por exemplo, os componentes da priori especificada no Exemplo 7.1.4 para o modelo normal de locação e escala⁵⁴, para determinar com mais precisão onde surge um conflito entre a priori e dados. Além disso, as estatísticas ancilares têm um papel na verificação de conflito entre a priori e dados, pois precisamos remover toda variação ancilar ao calcular o valor-p, já que essa variação não depende da priori. Além disso, quando a distribuição preditiva a priori de uma estatística suficiente minimal é contínua, é preciso tratar de questões sobre como exatamente os valores-p devem ser calculados. Todos esses são temas para um curso mais avançado de estatística.

Exercícios

9.2.1 Suponha que observamos o valor \(s = 2\) do modelo dado pela tabela a seguir.

(a) Os dados observados nos levam a duvidar da validade do modelo? Explique por quê.(b) Suponha que a priori dada por \(\pi(1) = 0{,}3\) é colocada sobre o parâmetro \(\theta \in \{1, 2\}\). Há alguma evidência de conflito entre a priori e dados? (Sugestão: calcule a preditiva a priori de cada conjunto de dados possível e avalie se o conjunto de dados observado é surpreendente ou não.)(c) Repita o item (b) usando a priori dada por \(\pi(1) = 0{,}01\).

9.2.2 Suponha que uma amostra de \(n = 6\) é tirada de uma distribuição \(\text{Bernoulli}(\theta)\), em que \(\theta\) tem distribuição a priori \(\text{Beta}(3, 3)\). Se for obtido o valor \(n\bar{x} = 2\), determine se há algum conflito entre a priori e dados.

9.2.3 No Exemplo 9.2.3, mostre que a distribuição preditiva a priori de \(\bar{x}\) é dada pela distribuição \(N(\mu_0, \tau_0^2 + \sigma_0^2/n)\).

9.2.4 Suponha que temos uma amostra de \(n = 5\) de uma distribuição \(N(\mu, 2)\), em que \(\mu\) é desconhecido, e que é observado o valor \(\bar{x} = 7{,}3\). Uma priori \(N(0, 1)\) é colocada sobre \(\mu\). Calcule o valor-p apropriado para verificar se há conflito entre a priori e dados.

9.2.5 Suponha que \(x \sim \text{Uniforme}[0, \theta]\) e \(\theta \sim \text{Uniforme}[0, 1]\). Se for observado o valor \(x = 2{,}2\), determine um valor-p apropriado para verificar se há conflito entre a priori e dados.

Exercícios computacionais

9.2.6 Suponha que uma amostra de \(n = 20\) é tirada de uma distribuição \(\text{Bernoulli}(\theta)\), em que \(\theta\) tem distribuição a priori \(\text{Beta}(3, 3)\). Se for obtido o valor \(n\bar{x} = 6\), determine se há algum conflito entre a priori e dados.

Problemas

9.2.7 Suponha que \((x_1, \ldots, x_n)\) é uma amostra de uma distribuição \(N(\mu, \sigma_0^2)\), em que \(\mu \sim N(\mu_0, \tau_0^2)\). Determine a distribuição preditiva a priori de \(\bar{x}\).

9.2.8 Suponha que \((x_1, \ldots, x_n)\) é uma amostra de uma distribuição \(\text{Exponencial}(\theta)\), em que \(\theta \sim \text{Gama}(\alpha_0, \beta_0)\). Determine a distribuição preditiva a priori de \(\bar{x}\).

9.2.9 Suponha que \((s_1, \ldots, s_n)\) é uma amostra de uma distribuição \(\text{Multinomial}(1, \theta_1, \ldots, \theta_k)\), em que \((\theta_1, \ldots, \theta_{k-1}) \sim \text{Dirichlet}(\alpha_1, \ldots, \alpha_k)\). Determine a distribuição preditiva a priori de \((x_1, \ldots, x_k)\), em que \(x_i\) é a contagem na \(i\)-ésima categoria.

9.2.10 Suponha que \((x_1, \ldots, x_n)\) é uma amostra de uma distribuição \(\text{Uniforme}[0, \theta]\), em que \(\theta\) tem densidade a priori dada por \(\pi_{\alpha,\beta}(\theta)\) \({}= \theta^{-\alpha} I_{[\beta,\infty)}(\theta)/(\alpha - 1)\beta^{\alpha-1}\), com \(\alpha > 1\), \(\beta > 0\).⁵⁵ Determine a distribuição preditiva a priori de \(x_{(n)}\).

9.2.11 Suponha que estamos no contexto do Exemplo 9.2.3. Determine o valor-p limite para a verificação de conflito entre a priori e dados quando \(n \to \infty\). Interprete o significado desse valor-p em termos da priori e do valor verdadeiro de \(\mu\).

9.2.12 Suponha que \(x \sim\) distribuição \(\text{Geométrica}(\theta)\) e \(\theta \sim \text{Uniforme}[0, 1]\). (a) Determine o valor-p apropriado para verificar se há conflito entre a priori e dados.(b) Com base no valor-p determinado no item (a), descreva as circunstâncias em que haverá evidência de conflito entre a priori e dados.(c) Se usamos uma priori contínua que é positiva num ponto, isso é uma afirmação de que o ponto é possível. À luz disso, discuta se faz sentido ou não uma priori contínua que seja positiva em \(\theta = 0\) para a distribuição \(\text{Geométrica}(\theta)\).

Desafios

9.2.13 Suponha que \(X_1, \ldots, X_n\) é uma amostra de uma distribuição \(N(\mu, \sigma^2)\), em que \(\mu \mid \sigma^2 \sim N(\mu_0, \tau_0^2\sigma^2)\) e \(1/\sigma^2 \sim \text{Gama}(\alpha_0, \beta_0)\). Determine uma forma para a densidade preditiva a priori de \((\bar{X}, S^2)\) que você possa calcular sem integrar. (Sugestão: use as manipulações algébricas encontradas na Seção 7.5.)

9.3 O Problema das Verificações Múltiplas

Como mencionamos ao longo deste texto, a verificação do modelo faz parte da boa prática estatística. Em outras palavras, devemos sempre desconfiar do valor de um trabalho estatístico em que os pesquisadores não fizeram, e não relataram os resultados de, uma verificação do modelo razoavelmente rigorosa. Cabe de fato a quem relata resultados estatísticos nos convencer de que os seus modelos são razoáveis para os dados coletados, tendo em mente os efeitos tanto do subajuste quanto do sobreajuste.

Neste capítulo, apresentamos algumas das abordagens de verificação do modelo disponíveis. Concentramo-nos nas principais categorias de procedimentos e, talvez, nos métodos mais usados dentro delas. Há muitos outros. Neste ponto, não podemos dizer que alguma abordagem seja o melhor método possível. Talvez mais pesquisa sobre o tema traga uma compreensão maior nesse sentido, e então uma recomendação mais clara possa ser feita.

Uma recomendação que pode ser feita já, porém, é que não é razoável fazer a verificação do modelo aplicando todos os procedimentos de verificação do modelo possíveis. Um exemplo simples ilustra a insensatez de tal abordagem.

Podemos aprender uma lição importante com o Exemplo 9.3.1: se realizamos procedimentos de verificação do modelo demais, é quase certo que encontraremos algo errado, mesmo que o modelo esteja correto. O remédio para isso é decidir, antes de observar os dados de fato (para que as nossas escolhas não sejam determinadas pelos dados efetivamente obtidos), uns poucos procedimentos relevantes de verificação do modelo a serem realizados, e aplicar somente esses.

O problema que estamos discutindo aqui às vezes é chamado de problema das comparações múltiplas⁵⁷, que surge também em outras situações; por exemplo, ver a Seção 10.4.1, em que várias médias são comparadas por meio de testes dois a dois para diferenças entre as médias. Uma abordagem para evitar o problema das comparações múltiplas é simplesmente baixar o ponto de corte do valor-p, de modo que a probabilidade de cometer um engano seja adequadamente pequena. Por exemplo, se decidíssemos, no Exemplo 9.3.1, que só há evidência contra o modelo quando um valor-p individual é menor que \(0{,}0001\), então a probabilidade de cometer um engano seria \(0{,}01\) quando \(n = 100\). Uma dificuldade dessa abordagem, em geral, é que os nossos procedimentos de verificação do modelo não serão independentes, e nem sempre parece possível determinar um ponto de corte apropriado para os valores-p individuais. São necessários métodos mais avançados para lidar com esse problema.