Capítulo 10Relações entre Variáveis

Neste capítulo, tratamos daquela que talvez seja a aplicação mais importante da inferência estatística: o problema de analisar se existe ou não uma relação entre variáveis e que forma essa relação assume. Como exemplo particular disso, lembre o exemplo e a discussão da Seção 5.1.

Muitos dos problemas mais importantes da ciência e da sociedade dizem respeito a relações entre variáveis. Por exemplo, qual é a relação entre a quantidade de dióxido de carbono lançada na atmosfera e as temperaturas globais? Qual é a relação entre o tamanho da turma e o desempenho escolar dos alunos? Qual é a relação entre o peso e a ingestão de carboidratos em seres humanos? Qual é a relação entre o tempo de vida¹ e a dosagem de certo medicamento em pacientes com câncer? Todos esses são exemplos de perguntas cujas respostas envolvem relações entre variáveis. Veremos que a estatística tem um papel fundamental na resposta a perguntas como essas.

Na Seção 10.1, damos uma definição precisa do que significa dizer que variáveis estão relacionadas e distinguimos duas grandes categorias de relação, a saber, a associação e a relação de causa e efeito. Discutimos também algumas das ideias centrais envolvidas na coleta de dados quando queremos determinar se existe uma relação de causa e efeito. Nas seções restantes, examinamos as diversas metodologias estatísticas usadas para analisar dados quando estamos interessados em relações.

Neste capítulo, damos ênfase às metodologias frequentistas. Damos alguns exemplos da abordagem bayesiana, mas há certas complexidades nos problemas distribucionais associados aos métodos bayesianos que é melhor evitar nesta etapa. Já foram desenvolvidos algoritmos de amostragem para a abordagem bayesiana, nos moldes dos discutidos no Capítulo 7 (ver também o Capítulo 11), mas uma discussão completa deles nos levaria além do escopo deste texto. Vale notar, porém, que análises bayesianas com prioris difusas muitas vezes produzem resultados muito parecidos com os obtidos pela abordagem frequentista.

Como discutido no Capítulo 9, a verificação do modelo² é uma parte importante de qualquer análise estatística. Para os modelos usados neste capítulo, uma discussão completa da abordagem mais rigorosa da verificação do modelo, baseada em valores-p, exige mais desenvolvimento do que podemos fazer neste texto. Por isso, damos ênfase à abordagem informal da verificação do modelo, por meio de gráficos de resíduos e de probabilidade. Isso não deve ser interpretado como uma recomendação de que esses sejam os métodos preferidos para tais modelos.

10.1 Variáveis Relacionadas

Considere uma população \(\Pi\) com duas variáveis \(X, Y : \Pi \to R^1\) definidas nela. O que significa dizer que as variáveis \(X\) e \(Y\) estão relacionadas? Talvez nossa primeira inclinação seja dizer que deve haver uma fórmula que relacione as duas variáveis, como \(Y = a + bX^2\) para alguma escolha das constantes \(a\) e \(b\), ou \(Y = \exp(X)\) etc. Mas considere uma população \(\Pi\) de seres humanos e suponha que \(X(\pi)\) seja o peso de \(\pi\) em quilogramas e \(Y(\pi)\) seja a altura do indivíduo \(\pi \in \Pi\) em centímetros. Por experiência, sabemos que pessoas mais altas tendem a ser mais pesadas, e por isso acreditamos que exista algum tipo de relação entre altura e peso. Sabemos também que não pode haver uma fórmula exata que descreva essa relação, porque pessoas com o mesmo peso muitas vezes têm alturas diferentes, e pessoas com a mesma altura muitas vezes têm pesos diferentes.

10.1.1 A Definição de Relação

Se pensarmos em todas as pessoas com um dado peso \(x\), haverá uma distribuição de alturas para todos os indivíduos \(\pi\) que têm peso \(x\). Chamamos essa distribuição de distribuição condicional³ de \(Y\), dado que \(X = x\).

Podemos agora exprimir o que queremos dizer com nossa ideia intuitiva de que \(X\) e \(Y\) estão relacionados, pois, à medida que mudamos o valor do peso em que condicionamos, esperamos que a distribuição condicional mude. Em particular, à medida que \(x\) aumenta, esperamos que a posição da distribuição condicional aumente, embora outras características da distribuição também possam mudar. Por exemplo, na Figura 10.1.1, apresentamos um gráfico possível de duas densidades aproximadas para as distribuições condicionais de \(Y\) dado \(X = 70\) kg e a distribuição condicional de \(Y\) dado \(X = 90\) kg.

Vemos que a distribuição condicional se deslocou para cima quando \(X\) passa de 70 para 90 kg, mas também que a forma da distribuição mudou um pouco. Assim, podemos dizer que existe com certeza uma relação entre \(X\) e \(Y\), ao menos nessa população. Observe que, da forma como foram definidas até aqui, \(X\) e \(Y\) não são variáveis aleatórias, mas passam a ser quando selecionamos \(\pi\) aleatoriamente da população. Nesse caso, as distribuições condicionais mencionadas passam a ser as distribuições de probabilidade condicionais da variável aleatória⁴ \(Y\), dado que observamos \(X = 70\) e \(X = 90\), respectivamente.

Adotaremos a definição a seguir para especificar com precisão o que queremos dizer quando afirmamos que variáveis estão relacionadas.

Poderíamos, em vez disso, definir o que significa variáveis serem não relacionadas. Dizemos que as variáveis \(X\) e \(Y\) são não relacionadas se forem independentes. Isso é equivalente à Definição 10.1.1, porque duas variáveis são independentes se e somente se a distribuição condicional de uma, dada a outra, não depende da condição (Exercício 10.1.1).

Há uma assimetria⁵ aparente na Definição 10.1.1, porque a definição considera apenas a distribuição condicional de \(Y\) dado \(X\), e não a distribuição condicional de \(X\) dado \(Y\). Mas, se há uma mudança na distribuição condicional de \(Y\) dado \(X = x\) quando mudamos \(x\), então, pelo comentário acima, \(X\) e \(Y\) não são independentes; portanto, deve haver uma mudança na distribuição condicional de \(X\) dado \(Y = y\) quando mudamos \(y\) (ver também o Problema 10.1.23).

Observe que a definição se aplica qualquer que seja o tipo de variável com que estamos lidando. Assim, ambas podem ser variáveis quantitativas, ou ambas variáveis categóricas, ou uma pode ser uma variável quantitativa e a outra uma variável categórica.

A Definição 10.1.1 diz que \(X\) e \(Y\) estão relacionadas se qualquer mudança for observada na distribuição condicional. Na realidade, isso significaria que praticamente sempre existe uma relação entre as variáveis \(X\) e \(Y\). Parece provável que sempre detectaremos alguma diferença se fizermos um censo e calcularmos todas as distribuições condicionais relevantes. É aqui que a ideia da força de uma relação entre variáveis se torna relevante, pois, se virmos grandes mudanças nas distribuições condicionais, podemos dizer que existe uma relação forte. Se virmos apenas mudanças muito pequenas, podemos dizer que existe uma relação muito fraca, talvez sem importância prática.

O Papel dos Modelos Estatísticos

Se existe uma relação entre duas variáveis, então sua forma é completamente descrita pelo conjunto das distribuições condicionais de \(Y\) dado \(X\). Às vezes, pode ser necessário descrever a relação usando todas essas distribuições condicionais. Em muitos problemas, porém, procuramos uma apresentação mais simples. De fato, muitas vezes supomos um modelo estatístico que prescreve uma forma simples para o modo como as distribuições condicionais mudam quando mudamos \(X\).

Considere o exemplo a seguir.

Modelos estatísticos como o descrito no Exemplo 10.1.1 podem estar errados. Nada exige que duas variáveis quantitativas tenham de estar relacionadas dessa maneira. Por exemplo, a variância condicional⁶ de \(Y\) pode variar com \(x\), e a própria forma da distribuição condicional também pode variar com \(x\). O modelo do Exemplo 10.1.1 é um caso de hipótese simplificadora que é adequada em muitos contextos práticos. Contudo, métodos como os discutidos no Capítulo 9 precisam ser empregados para verificar as hipóteses do modelo antes de aceitar inferências estatísticas baseadas nesse modelo. Sempre consideraremos a verificação do modelo como parte de nossa discussão dos diversos modelos usados para examinar a relação entre variáveis.

Variáveis Resposta e Preditoras

Muitas vezes, pensamos em \(Y\) como uma variável dependente (que depende de \(X\)) e em \(X\) como uma variável independente (livre para variar). Nosso objetivo, então, é predizer o valor de \(Y\) dado o valor de \(X\). Nessa situação, chamamos \(Y\) de variável resposta⁷ e \(X\) de variável preditora⁸.

Às vezes, porém, não há realmente nada que distinga os papéis de \(X\) e \(Y\). Por exemplo, suponha que \(X\) seja o peso de um indivíduo em quilogramas e \(Y\) seja a altura em centímetros. Poderíamos então pensar em predizer o peso a partir da altura ou o contrário. É indiferente, então, qual delas escolhemos para condicionar.

Em muitas aplicações, há mais de uma variável resposta e mais de uma variável preditora \(X\). Não consideraremos a situação em que temos mais de uma variável resposta, mas consideraremos o caso em que \(X = (X_1, \ldots, X_k)\) é \(k\)-dimensional. Aqui, os vários preditores que compõem \(X\) podem ser todos categóricos, todos quantitativos ou alguma mistura de variáveis categóricas e quantitativas.

A definição de existência de uma relação entre a variável resposta \(Y\) e o conjunto de preditores \((X_1, \ldots, X_k)\) é exatamente como na Definição 10.1.1. Em particular, existe uma relação entre \(Y\) e \((X_1, \ldots, X_k)\) se há alguma mudança na distribuição condicional de \(Y\) dado \((X_1, \ldots, X_k) = (x_1, \ldots, x_k)\) quando \((x_1, \ldots, x_k)\) varia. Se essa relação existe, então a forma da relação é especificada pelo conjunto completo das distribuições condicionais. Novamente, muitas vezes se usam modelos estatísticos em que se fazem hipóteses simplificadoras sobre a forma da relação. Considere o exemplo a seguir.

Quando dividimos um conjunto de variáveis \(Y, X_1, \ldots, X_k\) em resposta \(Y\) e preditores \((X_1, \ldots, X_k)\), estamos dizendo implicitamente que nos interessam diretamente apenas as distribuições condicionais de \(Y\) dado \((X_1, \ldots, X_k)\). Pode haver relações entre os preditores \(X_1, \ldots, X_k\), porém, e elas podem ser de interesse.

Por exemplo, suponha que temos dois preditores \(X_1\) e \(X_2\), e que a distribuição condicional de \(X_1\) dado \(X_2\) seja praticamente degenerada num valor \(a + cX_2\) para certas constantes \(a\) e \(c\). Então não é uma boa ideia incluir \(X_1\) e \(X_2\) ao mesmo tempo num modelo como o discutido no Exemplo 10.1.2, pois isso pode tornar a análise muito sensível a pequenas mudanças nos dados. Esse é o chamado problema da multicolinearidade. O efeito da multicolinearidade, e como evitá-lo, não será mais discutido neste texto. Esse é, porém, um tema de considerável importância prática.

Modelos de Regressão

Suponha que a resposta \(Y\) seja quantitativa e que tenhamos \(k\) preditores \((X_1, \ldots, X_k)\). Uma das hipóteses simplificadoras mais importantes usadas na prática é a hipótese de regressão, isto é, supomos que, à medida que mudamos \((X_1, \ldots, X_k)\), a única coisa que pode mudar na distribuição condicional de \(Y\) dado \((X_1, \ldots, X_k)\) é a média condicional \(E(Y \mid X_1, \ldots, X_k)\). A importância dessa hipótese é que, para analisar a relação entre \(Y\) e \((X_1, \ldots, X_k)\), precisamos agora considerar apenas como \(E(Y \mid X_1, \ldots, X_k)\) muda quando \((X_1, \ldots, X_k)\) muda. De fato, se \(E(Y \mid X_1, \ldots, X_k)\) não muda quando \((X_1, \ldots, X_k)\) muda, então não há relação entre \(Y\) e os preditores. É claro que esse tipo de análise depende de a hipótese de regressão valer, e os métodos da Seção 9.1 precisam ser usados para verificar isso. Os modelos de regressão — isto é, modelos estatísticos em que fazemos a hipótese de regressão — estão entre os modelos estatísticos mais importantes usados na prática. As Seções 10.3 e 10.4 discutem vários casos de modelos de regressão.

Os modelos de regressão costumam ser apresentados na forma \begin{equation} Y = E(Y \mid X_1, \ldots, X_k) + Z, \tag{10.1.1} \end{equation} em que \(Z = Y - E(Y \mid X_1, \ldots, X_k)\) é chamado de termo de erro. Vemos imediatamente que, se a hipótese de regressão vale, então a distribuição condicional de \(Z\) dado \((X_1, \ldots, X_k)\) fica fixa quando mudamos \((X_1, \ldots, X_k)\) e, reciprocamente, se a distribuição condicional de \(Z\) dado \((X_1, \ldots, X_k)\) fica fixa quando mudamos \((X_1, \ldots, X_k)\), então a hipótese de regressão vale. Assim, quando a hipótese de regressão vale, (10.1.1) fornece uma decomposição de \(Y\) em duas partes: (1) uma parte que possivelmente depende de \((X_1, \ldots, X_k)\), a saber, \(E(Y \mid X_1, \ldots, X_k)\), e (2) uma parte que é sempre independente de \((X_1, \ldots, X_k)\), a saber, o erro \(Z\). Observe que os Exemplos 10.1.1 e 10.1.2 podem ser escritos na forma (10.1.1), com \(Z \sim N(0, \sigma^2)\).

10.1.2 Relações de Causa e Efeito e Experimentos

Suponha agora que temos as variáveis \(X\) e \(Y\) definidas numa população \(\Pi\) e que concluímos que existe uma relação de acordo com a Definição 10.1.1. Isso pode se basear na realização de um censo completo de \(\Pi\) ou, o que é mais comum, teremos tirado uma amostra aleatória simples de \(\Pi\) e usado os métodos das seções restantes deste capítulo para concluir que essa relação existe. Se \(Y\) faz o papel da resposta e \(X\) é o preditor¹⁰, então muitas vezes queremos poder afirmar que as mudanças em \(X\) estão causando as mudanças observadas nas distribuições condicionais de \(Y\). É claro que, se não há mudanças nas distribuições condicionais, então não há relação entre \(X\) e \(Y\) e, portanto, também não há relação de causa e efeito.

Por exemplo, suponha que a quantidade de gás dióxido de carbono liberada na atmosfera esteja aumentando e que observemos que as temperaturas globais médias estão subindo. Se temos razões para acreditar que a quantidade de dióxido de carbono liberada pode ter efeito sobre a temperatura, então talvez seja sensato acreditar que o aumento das emissões de dióxido de carbono está causando o aumento observado nas temperaturas globais médias. Como outro exemplo, há muitos anos se observa que os fumantes sofrem de doenças respiratórias com muito mais frequência do que os não fumantes. Parece razoável, então, concluir que fumar causa um aumento do risco de doença respiratória. Por outro lado, suponha que consideremos a relação entre peso e altura. Parece claro que existe uma relação, mas não faz nenhum sentido dizer que as mudanças numa das variáveis estão causando as mudanças nas distribuições condicionais da outra.

Variáveis de Confusão

Quando podemos dizer que uma relação observada entre \(X\) e \(Y\) é uma relação de causa e efeito? Se existe uma relação entre \(X\) e \(Y\), então sabemos que há pelo menos dois valores \(x_1\) e \(x_2\) tais que \(f_Y(\cdot \mid X = x_1) \ne f_Y(\cdot \mid X = x_2)\), isto é, essas duas distribuições condicionais não são iguais. Se quisermos dizer que essa diferença é causada pela mudança em \(X\), então precisamos saber categoricamente que não há nenhuma outra variável \(Z\) definida em \(\Pi\) que se confunda com \(X\). O exemplo a seguir ilustra a ideia de duas variáveis que se confundem.

Uma análise mais cuidadosa poderia salvar a situação descrita no Exemplo 10.1.3, pois, se \(X\) e \(Z\) denotam as variáveis que se confundem, então poderíamos coletar dados também sobre \(Z\) e examinar as distribuições condicionais \(f_Y(\cdot \mid X = x, Z = z)\). No Exemplo 10.1.3, essas serão as distribuições condicionais do GPA, dados o gênero e a situação de trabalho em tempo parcial. Se essas distribuições condicionais mudarem quando mudamos \(x\), para algum valor fixo de \(z\), então poderíamos afirmar que existe uma relação de causa e efeito entre \(X\) e \(Y\), desde que não haja outras variáveis de confusão. É claro que provavelmente ainda há mais variáveis de confusão, e deveríamos, na verdade, condicionar em todas elas. Isso traz à tona o fato de que, em qualquer aplicação prática, quase certamente¹¹ nunca saberemos sequer quais são todas as possíveis variáveis de confusão.

Controle da Atribuição de Valores à Variável Preditora

Felizmente, às vezes há uma forma de contornar as dificuldades criadas pelas variáveis de confusão. Suponha que possamos controlar o valor da variável \(X\) para qualquer \(\pi \in \Pi\), isto é, que possamos atribuir o valor \(x\) a \(\pi\) de modo que \(X(\pi) = x\) para qualquer um dos valores possíveis de \(x\). No Exemplo 10.1.3, isso significaria que poderíamos atribuir uma situação de trabalho em tempo parcial a qualquer estudante da população. Considere agora a seguinte situação idealizada. Imagine atribuir a todo elemento \(\pi \in \Pi\) o valor \(X(\pi) = x_1\) e então fazer um censo para obter a distribuição condicional \(f_Y(\cdot \mid X = x_1)\). Imagine agora atribuir a todo \(\pi \in \Pi\) o valor \(X(\pi) = x_2\) e então fazer um censo para obter a distribuição condicional \(f_Y(\cdot \mid X = x_2)\). Se há alguma diferença entre \(f_Y(\cdot \mid X = x_1)\) e \(f_Y(\cdot \mid X = x_2)\), então a única razão possível é que o valor de \(X\) difere. Portanto, se \(f_Y(\cdot \mid X = x_1) \ne f_Y(\cdot \mid X = x_2)\), podemos afirmar que existe uma relação de causa e efeito.

Uma dificuldade do argumento acima é que, em geral, nunca conseguimos determinar exatamente \(f_Y(\cdot \mid X = x_1)\) e \(f_Y(\cdot \mid X = x_2)\). Mas, na verdade, talvez possamos tirar amostras delas; então os métodos de inferência estatística passam a estar disponíveis para inferirmos se há ou não alguma diferença. Suponha que tomemos uma amostra aleatória \(\pi_1, \ldots, \pi_{n_1 + n_2}\) de \(\Pi\) e atribuamos aleatoriamente a \(n_1\) deles o valor \(X = x_1\), com os \(\pi\) restantes recebendo o valor \(x_2\). Obtemos os valores de \(Y\), \(y_{11}, \ldots, y_{1n_1}\), para os \(\pi\) que receberam o valor \(x_1\) e os valores de \(Y\), \(y_{21}, \ldots, y_{2n_2}\), para os \(\pi\) que receberam o valor \(x_2\). Fica então evidente que \(y_{11}, \ldots, y_{1n_1}\) é uma amostra de \(f_Y(\cdot \mid X = x_1)\) e \(y_{21}, \ldots, y_{2n_2}\) é uma amostra de \(f_Y(\cdot \mid X = x_2)\). De fato, desde que \(n_1 + n_2\) seja pequeno em relação ao tamanho da população, podemos considerá-las amostras i.i.d. dessas distribuições condicionais.

Vemos, assim, que em certas circunstâncias é possível coletar dados de tal forma que podemos fazer inferências sobre a existência ou não de uma relação de causa e efeito. Especificamos agora as características da técnica de coleta de dados relevante.

Condições para Relações de Causa e Efeito

Primeiro, se nossas inferências devem se aplicar a uma população \(\Pi\), então precisamos ter uma amostra aleatória dessa população. Essa é justamente a característica do que chamamos de estudo amostral na Seção 5.4, e precisamos fazer isso para evitar quaisquer efeitos de seleção. Assim, se o objetivo de um estudo é examinar a relação entre a duração das crises de enxaqueca e a dosagem de certo medicamento, o pesquisador precisa ter uma amostra aleatória da população das pessoas que sofrem de enxaqueca.

Segundo, precisamos ser capazes de atribuir qualquer valor possível da variável preditora \(X\) a qualquer \(\pi\) selecionado. Se não pudermos fazer isso, ou não o fizermos, então pode haver variáveis de confusão escondidas (às vezes chamadas de variáveis ocultas) influenciando as distribuições condicionais de \(Y\). Assim, num estudo dos efeitos da dosagem de um medicamento sobre as enxaquecas, o pesquisador precisa ser capaz de impor a dosagem a cada participante do estudo.

Terceiro, depois de decidir quais valores de \(X\) usaremos no estudo, precisamos alocar aleatoriamente esses valores aos membros da amostra. Isso é feito para evitar a possibilidade de efeitos de seleção. Assim, depois de decidir quais dosagens usar no estudo dos efeitos da dosagem de um medicamento sobre as enxaquecas, e quantos participantes receberão cada dosagem, o pesquisador precisa selecionar aleatoriamente os indivíduos que receberão cada dosagem. Isso (espera-se) evitará efeitos de seleção, como apenas os indivíduos mais saudáveis receberem a menor dosagem etc.

Quando essas exigências são atendidas, chamamos o processo de coleta de dados de experimento. A inferência estatística baseada em dados coletados por meio de um experimento tem a capacidade de inferir que existem relações de causa e efeito, e por isso representa uma ferramenta científica importante e poderosa.

Uma Hierarquia de Estudos

Combinando esta discussão com a Seção 5.4, vemos uma hierarquia de métodos de coleta de dados. Os estudos observacionais ficam na base da hierarquia. As inferências tiradas de estudos observacionais devem ser tomadas com certa cautela, pois efeitos de seleção podem fazer com que os resultados não se apliquem à população pretendida, e a existência de variáveis de confusão significa que não podemos fazer inferências sobre relações de causa e efeito. Nos estudos amostrais, sabemos que quaisquer inferências tiradas dizem respeito à população adequada; mas a existência de variáveis de confusão novamente causa dificuldades para quaisquer afirmações sobre a existência de relações de causa e efeito; por exemplo, apenas tomar amostras aleatórias de homens e mulheres da população \(\Pi\) do Exemplo 10.1.3 não evitará as variáveis de confusão. No topo da hierarquia ficam os experimentos.

Provavelmente já está claro que muitas vezes é impossível realizar um experimento. No Exemplo 10.1.3, não podemos atribuir o valor do gênero, e assim nada se pode dizer sobre a existência de uma relação de causa e efeito entre o GPA e o gênero.

Há muitos exemplos notórios em que se fazem afirmações sobre a existência de relações de causa e efeito, mas para os quais nenhum experimento é possível. Por exemplo, foram realizados vários estudos em que se notaram diferenças entre as distribuições de QI de vários grupos raciais. É impossível, porém, controlar a variável origem racial, e por isso é impossível afirmar que as diferenças observadas nas distribuições condicionais do QI, dada a raça, são causadas por mudanças na raça.

Outro exemplo diz respeito ao fumo e ao câncer de pulmão em seres humanos. Já se observou que é impossível realizar um experimento, pois não podemos atribuir valores da variável preditora (talvez diferentes quantidades de fumo) a seres humanos ao nascer e depois observar a resposta, isto é, se a pessoa contrai ou não câncer de pulmão. Isso levanta uma questão importante. Não rejeitamos simplesmente os resultados de análises baseadas em estudos observacionais ou estudos amostrais porque os dados não vieram de um experimento. Em vez disso, tratamos esses resultados como evidência — evidência possivelmente falha, mas ainda assim evidência.

Pense no testemunho ocular, num tribunal, sugerindo que um crime foi cometido por determinado indivíduo. O testemunho ocular pode não ser confiável, mas, se duas ou três testemunhas oculares sem ligação entre si dão relatos semelhantes, então nossa confiança na credibilidade da evidência aumenta. Do mesmo modo, se muitos estudos observacionais e amostrais parecem indicar que fumar leva a um aumento do risco de contrair câncer de pulmão, então aumenta nossa confiança de que realmente existe uma relação de causa e efeito. Além disso, se conseguirmos identificar possíveis variáveis de confusão, então podem ser realizados estudos observacionais ou amostrais que as levem em conta, aumentando ainda mais nossa confiança. Em última análise, talvez não sejamos capazes de resolver a questão de modo definitivo por meio de um experimento, mas ainda é possível construir evidências esmagadoras de que o fumo e o câncer de pulmão têm, de fato, uma relação de causa e efeito.

10.1.3 Planejamento de Experimentos

Suponha que temos uma resposta \(Y\) e um preditor \(X\) (às vezes chamado de fator em contextos experimentais) definidos numa população \(\Pi\), e que queremos coletar dados para determinar se existe uma relação de causa e efeito entre eles. Seguindo a discussão da Seção 10.1.1, vamos realizar um experimento. Há agora uma série de decisões a tomar, e nossas escolhas constituem o que chamamos de planejamento do experimento.

Por exemplo, vamos atribuir valores de \(X\) aos elementos amostrados de \(\Pi\), agora chamados de unidades experimentais, \(\pi_1, \ldots, \pi_n\). Quais dos valores possíveis de \(X\) devemos usar? Quando \(X\) só pode assumir um número finito pequeno de valores, é natural usar esses valores. Por outro lado, quando o número de valores possíveis de \(X\) é muito grande ou até infinito, como acontece com preditores quantitativos, temos de escolher os valores de \(X\) que serão usados no experimento.

Suponha que escolhemos os valores \(x_1, \ldots, x_k\) para \(X\). Chamamos \(x_1, \ldots, x_k\) de níveis de \(X\); cada atribuição particular de um \(x_i\) a um \(\pi_j\) da amostra será chamada de tratamento¹². Em geral, escolhemos os níveis de modo que cubram a faixa de valores possíveis de \(X\) de forma mais ou menos uniforme. Por exemplo, se \(X\) é a temperatura em graus Celsius e queremos examinar a relação entre \(Y\) e \(X\) para \(X\) no intervalo \([0, 100]\), então, usando \(k = 5\) níveis, poderíamos tomar \(x_1 = 0\), \(x_2 = 25\), \(x_3 = 50\), \(x_4 = 75\) e \(x_5 = 100\).

Escolhidos os níveis de \(X\), temos então de escolher quantos tratamentos de cada nível vamos usar no experimento, isto é, decidir quantos valores da resposta \(n_i\) vamos observar no nível \(x_i\), para \(i = 1, \ldots, k\).

Em qualquer experimento, teremos à nossa disposição uma quantidade finita de recursos (dinheiro, tempo etc.), que determina o tamanho da amostra¹³ \(n\) retirada de \(\Pi\). A questão, então, é como escolher os \(n_i\) de modo que \(n_1 + \cdots + n_k = n\). Se não sabemos nada sobre as distribuições condicionais \(f_Y(\cdot \mid X = x_i)\), faz sentido usar balanceamento, isto é, escolher \(n_1 = \cdots = n_k\).

Por outro lado, suponha que sabemos que algumas das \(f_Y(\cdot \mid X = x_i)\) apresentarão variabilidade maior que outras. Por exemplo, poderíamos medir a variabilidade pela variância¹⁴ de \(f_Y(\cdot \mid X = x_i)\). Nesse caso, faz sentido alocar mais tratamentos aos níveis de \(X\) em que a resposta é mais variável. Isso porque serão necessárias mais observações para fazer inferências precisas sobre características de uma tal \(f_Y(\cdot \mid X = x_i)\) do que para as distribuições condicionais menos variáveis.

Como discutido nas Seções 6.3.4 e 6.3.5, também queremos escolher os \(n_i\) de modo que as inferências que fizermos tenham a precisão desejada. Métodos para escolher os tamanhos de amostra \(n_i\), parecidos com os discutidos no Capítulo 7, foram desenvolvidos para esses planejamentos mais complicados, mas não vamos discuti-los aqui.

Suponha, então, que determinamos \(\{(x_1, n_1), \ldots, (x_k, n_k)\}\). Chamamos esse conjunto de pares ordenados de planejamento experimental¹⁵.

Vejamos alguns exemplos.

Tratamento Controle, o Efeito Placebo e o Cegamento

Note que, no Exemplo 10.1.5, incluímos o nível \(X = 0\), que corresponde a não aplicar o aditivo. Esse é chamado de tratamento controle, porque fornece uma base de comparação com a qual podemos avaliar o efeito do preditor. Em muitos experimentos, é importante incluir um tratamento controle.

Em experimentos médicos, costuma haver um efeito placebo — isto é, um portador de uma doença que recebe qualquer tratamento frequentemente registra uma melhora dos sintomas. Acredita-se que o efeito placebo se deva ao fato de que o doente começa a se sentir melhor simplesmente porque alguém está dando atenção à sua condição. Por isso, em qualquer experimento para determinar a eficácia de um medicamento no alívio dos sintomas de uma doença, é importante usar também um tratamento controle. Por exemplo, se queremos investigar se um certo medicamento alivia ou não as enxaquecas, então, entre as dosagens escolhidas para o experimento, devemos garantir que haja um comprimido sem nada do medicamento (a chamada pílula de açúcar); assim, podemos avaliar a extensão do efeito placebo. É claro que quem recebe o comprimido não deve saber se está recebendo a pílula de açúcar ou o medicamento. Isso se chama um experimento cego. Se também ocultamos a identidade do tratamento dos experimentadores, para evitar qualquer viés da parte deles nos resultados, o experimento se chama duplo-cego.

No Exemplo 10.1.5, supusemos que é possível retirar uma amostra da população de todas as vacas leiteiras. A rigor, isso é necessário se queremos evitar efeitos de seleção e garantir que nossas inferências se apliquem à população de interesse. Na prática, porém, muitas vezes não é viável retirar uma amostra de unidades experimentais da população de interesse inteira. Por exemplo, muitos experimentos médicos são feitos em animais, e estes definitivamente não são amostras aleatórias da população do animal em questão, por exemplo, ratos.

Nesses casos, porém, simplesmente reconhecemos a possibilidade de que efeitos de seleção ou variáveis ocultas possam invalidar as conclusões tiradas dessas análises quando forem aplicadas à população de interesse. Mas ainda consideramos os resultados como evidência sobre o fenômeno em estudo. Cabe ao experimentador chegar o mais perto possível da situação idealizada especificada por um experimento válido; por exemplo, a aleatorização continua sendo empregada na atribuição dos tratamentos às unidades experimentais, para que os efeitos de seleção sejam evitados tanto quanto possível.

Interações

Nos experimentos discutidos até aqui, havia um único preditor. Em muitos contextos práticos, há mais de um preditor. Suponha, então, que há dois preditores \(X\) e \(W\) e que decidimos usar os níveis \(x_1, \ldots, x_k\) para \(X\) e os níveis \(w_1, \ldots, w_l\) para \(W\). Uma possibilidade é olhar para as distribuições condicionais \(f_Y(\cdot \mid X = x_i)\), para \(i = 1, \ldots, k\), e \(f_Y(\cdot \mid W = w_j)\), para \(j = 1, \ldots, l\), para determinar se \(X\) e \(W\) têm, individualmente, relação com a resposta \(Y\). Essa abordagem, porém, ignora o efeito dos dois preditores em conjunto. Em particular, a maneira como as distribuições condicionais \(f_Y(\cdot \mid X = x, W = w)\) mudam quando mudamos \(x\) pode depender de \(w\); quando isso acontece, dizemos que há uma interação¹⁶ entre os preditores.

Para investigar a possibilidade de existir uma interação entre \(X\) e \(W\), temos de amostrar de cada uma das \(kl\) distribuições \(f_Y(\cdot \mid X = x_i, W = w_j)\), para \(i = 1, \ldots, k\) e \(j = 1, \ldots, l\). O planejamento experimental assume então a forma \[ \{(x_1, w_1, n_{11}), (x_2, w_1, n_{21}), \ldots, (x_k, w_l, n_{kl})\}, \] em que \(n_{ij}\) é o número de aplicações do tratamento \((x_i, w_j)\). Dizemos que os dois preditores \(X\) e \(W\) são completamente cruzados num planejamento desse tipo, porque cada valor de \(X\) usado no experimento ocorre com cada valor de \(W\) usado no experimento. É claro que podemos estender esta discussão ao caso em que há mais de dois preditores. Na Seção 10.4.3, discutiremos como analisar os dados para determinar se há interações entre os preditores.

Às vezes, incluímos preditores adicionais num planejamento experimental mesmo quando não estamos interessados principalmente nos efeitos deles sobre a resposta \(Y\). Fazemos isso porque sabemos que essa variável tem relação com \(Y\). Incluir esses preditores permite condicionar nos valores deles e, assim, investigar com mais precisão a relação de \(Y\) com os demais preditores. Chamamos uma variável desse tipo de variável de bloqueio¹⁷.

Exercícios

10.1.1 Prove que as variáveis aleatórias discretas \(X\) e \(Y\) são não relacionadas se e somente se \(X\) e \(Y\) são independentes.

10.1.2 Suponha que duas variáveis \(X\) e \(Y\) definidas numa população finita \(\Pi\) são funcionalmente relacionadas por \(Y = g(X)\), para alguma função não constante desconhecida \(g\). Explique como essa situação é coberta pela Definição 10.1.1, isto é, como a definição nos leva a concluir que \(X\) e \(Y\) são relacionadas. E a situação em que \(g(x) = c\) para algum valor \(c\), para todo \(x\)? (Sugestão: use as funções de frequência relativa²⁰ das variáveis.)

10.1.3 Suponha que um censo é realizado numa população e que a distribuição conjunta²¹ de \((X, Y)\) obtida é a da tabela a seguir.

Determine se existe ou não uma relação entre \(Y\) e \(X\).

10.1.4 Suponha que um censo é realizado numa população e que a distribuição conjunta de \((X, Y)\) obtida é a da tabela a seguir.

Determine se existe ou não uma relação entre \(Y\) e \(X\).

10.1.5 Suponha que \(X\) é uma variável aleatória e que \(Y = X^2\). Determine se \(X\) e \(Y\) são ou não relacionadas. O que acontece quando \(X\) tem uma distribuição degenerada²²?

10.1.6 Suponha que um pesquisador quer investigar a relação entre o peso ao nascer e o desempenho num teste padronizado aplicado a crianças de dois anos de idade. Se uma relação for encontrada, pode-se afirmar que ela é uma relação de causa e efeito? Explique por quê.

10.1.7 Suponha que um grande estudo com todos os médicos do Canadá foi feito para determinar a relação entre diversas escolhas de estilo de vida e o tempo de vida. Se a distribuição condicional do tempo de vida dados diversos hábitos de fumo muda, discuta o que pode ser concluído desse estudo.

10.1.8 Suponha que um professor quer determinar se uma prova com consulta ou sem consulta é o modo mais adequado de avaliar os alunos sobre um certo tópico. A variável resposta é a nota obtida na prova, de 0 a 100. Discuta como o professor poderia proceder para responder a essa questão.

10.1.9 Suponha que um pesquisador quer determinar se existe ou não uma relação de causa e efeito entre o tipo de propaganda política (negativa ou positiva) vista por um eleitor de uma certa população e o modo como esse eleitor vota. Discuta que conselho você daria ao pesquisador sobre a melhor maneira de conduzir o estudo.

10.1.10 Se duas variáveis aleatórias têm correlação²³ diferente de zero, elas são necessariamente relacionadas? Explique por quê.

10.1.11 Um experimentador quer determinar a relação entre a variação de peso \(Y\) ao longo de um período especificado e o uso de uma dieta especialmente elaborada. A variável preditora \(X\) é uma variável categórica que indica se uma pessoa está ou não na dieta. Um total de 200 voluntários se inscreveu no estudo; uma seleção aleatória de 100 deles recebeu a dieta, e os 100 restantes continuaram com sua dieta habitual. (a) Registre o planejamento experimental.(b) Se os resultados do estudo forem aplicados à população de todos os seres humanos, que preocupações você tem sobre o modo como o estudo foi conduzido?(c) Acredita-se que a quantidade de peso perdida ou ganha também depende do peso inicial \(W\) do participante. Como você proporia alterar o experimento para levar isso em conta?

10.1.12 Um estudo será realizado, envolvendo a população de pessoas de 15 a 19 anos de um certo país, para determinar se existe uma relação entre a resposta \(Y\) (valor gasto, em dólares, numa semana com downloads de música) e os preditores \(W\) (gênero) e \(X\) (idade em anos). (a) Se forem tomadas observações de cada distribuição condicional possível de \(Y\) dados os dois fatores, quantas distribuições condicionais desse tipo existem?(b) Identifique o tipo de cada variável envolvida no estudo.(c) Suponha que há recursos suficientes para acompanhar 2000 membros da população. Como você recomendaria alocar esses recursos entre as diversas combinações de fatores?(d) Se uma relação for encontrada entre a resposta e os preditores, pode-se afirmar que ela é uma relação de causa e efeito? Explique por quê.(e) Suponha que, além disso, se acredite que a renda familiar provavelmente tem efeito sobre \(Y\) e que as famílias podem ser classificadas em renda baixa e renda alta. Indique como você modificaria o estudo para levar isso em conta.

10.1.13 Uma amostra aleatória de 100 domicílios, do conjunto de todos os domicílios com dois ou mais moradores numa dada área geográfica, é selecionada, e seus hábitos de assistir à televisão são acompanhados durante seis meses. Uma seleção aleatória de 50 desses domicílios recebe, toda semana, um folheto que anuncia um certo programa. O objetivo do estudo é determinar se existe alguma relação entre a exposição ao folheto e o fato de esse programa ser assistido ou não. (a) Identifique variáveis resposta e preditora adequadas.(b) Se uma relação for encontrada, pode-se afirmar que ela é uma relação de causa e efeito? Explique por quê.

10.1.14 Suponha que temos uma variável resposta quantitativa \(Y\) e duas variáveis preditoras categóricas \(W\) e \(X\), ambas assumindo valores em \(\{0, 1\}\). Suponha que as distribuições condicionais de \(Y\) são dadas por \begin{align*} Y \mid W = 0, X = 0 &\sim N(3, 5) \\ Y \mid W = 1, X = 0 &\sim N(3, 5) \\ Y \mid W = 0, X = 1 &\sim N(4, 5) \\ Y \mid W = 1, X = 1 &\sim N(4, 5). \end{align*} \(W\) tem relação com \(Y\)? \(X\) tem relação com \(Y\)? Explique suas respostas.

10.1.15 Suponha que temos uma variável resposta quantitativa \(Y\) e duas variáveis preditoras categóricas \(W\) e \(X\), ambas assumindo valores em \(\{0, 1\}\). Suponha que as distribuições condicionais de \(Y\) são dadas por \begin{align*} Y \mid W = 0, X = 0 &\sim N(2, 5) \\ Y \mid W = 1, X = 0 &\sim N(3, 5) \\ Y \mid W = 0, X = 1 &\sim N(4, 5) \\ Y \mid W = 1, X = 1 &\sim N(4, 5). \end{align*} \(W\) tem relação com \(Y\)? \(X\) tem relação com \(Y\)? Explique suas respostas.

10.1.16 Os preditores interagem no Exercício 10.1.14? Os preditores interagem no Exercício 10.1.15? Explique suas respostas.

10.1.17 Suponha que temos variáveis \(X\) e \(Y\) definidas na população \(\Pi = \{1, 2, \ldots, 10\}\), em que \(X(i) = 1\) quando \(i\) é ímpar e \(X(i) = 0\) quando \(i\) é par, e \(Y(i) = 1\) quando \(i\) é divisível por 3 e \(Y(i) = 0\) caso contrário. (a) Determine a função de frequência relativa de \(X\).(b) Determine a função de frequência relativa de \(Y\).(c) Determine a função de frequência relativa conjunta de \((X, Y)\).(d) Determine todas as distribuições condicionais de \(Y\) dado \(X\).(e) \(X\) e \(Y\) são relacionadas? Justifique sua resposta.

10.1.18 Uma abordagem matemática para examinar a relação entre as variáveis \(X\) e \(Y\) é ver se existe uma função \(g\) tal que \(Y = g(X)\). Explique por que essa abordagem não funciona em muitas aplicações práticas em que examinamos a relação entre variáveis. Explique como a estatística trata esse problema.

10.1.19 Suponha que uma variável \(X\) assume os valores 1 e 2 numa população e que as distribuições condicionais de \(Y\) dado \(X\) são \(N(0, 5)\) quando \(X = 1\) e \(N(0, 7)\) quando \(X = 2\). Determine se \(X\) e \(Y\) são relacionadas e, se forem, descreva a relação entre elas.

10.1.20 Uma variável \(Y\) tem distribuição condicional dado \(X\) especificada por \(N(1 + 2x, \lvert x\rvert)\) quando \(X = x\). Determine se \(X\) e \(Y\) são relacionadas e, se forem, descreva qual é a relação entre elas.

10.1.21 Suponha que \(X \sim \text{Uniforme}[-1, 1]\) e \(Y = X^2\). Determine a correlação entre \(Y\) e \(X\). \(X\) e \(Y\) são relacionadas?

Problemas

10.1.22 Se há mais de um preditor envolvido num experimento, você acha preferível que os preditores interajam ou não? Explique sua resposta. O experimentador pode controlar se os preditores interagem ou não?

10.1.23 Prove diretamente, usando a Definição 10.1.1, que, quando \(X\) e \(Y\) são variáveis relacionadas definidas numa população finita \(\Pi\), então \(Y\) e \(X\) também são relacionadas.

10.1.24 Suponha que \(X, Y, Z\) são variáveis aleatórias \(N(0, 1)\) independentes e que \(U = X + Z\), \(V = Y + Z\). Determine se as variáveis \(U\) e \(V\) são ou não relacionadas. (Sugestão: calcule \(\Cov(U, V)\).)

10.1.25 Suponha que \((X, Y, Z) \sim \text{Multinomial}(n, 1/3, 1/3, 1/3)\). \(X\) e \(Y\) são relacionadas?

10.1.26 Suponha que \((X, Y) \sim \text{Normal Bivariada}(\mu_1, \mu_2, \sigma_1, \sigma_2, \rho)\). Mostre que \(X\) e \(Y\) são não relacionadas se e somente se \(\Corr(X, Y) = 0\).

10.1.27 Suponha que \((X, Y, Z)\) tem função de probabilidade²⁴ \(p_{X,Y,Z}\). Se \(Y\) é relacionada a \(X\), mas não a \(Z\), prove que \(p_{X,Y,Z}(x, y, z)\) \({}= p_{Y \mid X}(y \mid x)\, p_{X \mid Z}(x \mid z)\, p_Z(z)\).

10.2 Resposta e Preditores Categóricos

Há duas situações possíveis quando temos uma única resposta categórica \(Y\) e um único preditor categórico \(X\). O preditor categórico é aleatório ou determinístico, dependendo de como fazemos a amostragem. Examinamos essas duas situações separadamente.

10.2.1 Preditor Aleatório

Consideramos a situação em que \(X\) é categórica, assumindo valores em \(\{1, \ldots, a\}\), e \(Y\) é categórica, assumindo valores em \(\{1, \ldots, b\}\). Se tomamos uma amostra \(\pi_1, \ldots, \pi_n\) da população, então os valores \(X(\pi_i) = x_i\) são aleatórios, assim como os valores \(Y(\pi_i) = y_j\).

Suponha que o tamanho da amostra \(n\) seja muito pequeno em relação ao tamanho da população (de modo que podemos supor que a amostragem i.i.d. é aplicável). Então, tomando \(\theta_{ij} = P(X = i, Y = j)\), obtemos a função de verossimilhança²⁵ (veja o Problema 10.2.15) \begin{equation} L(\theta_{11}, \ldots, \theta_{ab} \mid (x_1, y_1), \ldots, (x_n, y_n)) = \prod_{i=1}^{a} \prod_{j=1}^{b} \theta_{ij}^{f_{ij}}, \tag{10.2.1} \end{equation} em que \(f_{ij}\) é o número de valores amostrais com \((X, Y) = (i, j)\). Uma conta fácil (veja o Problema 10.2.16) mostra que o EMV de \((\theta_{11}, \ldots, \theta_{kl})\) é dado por \(\hat{\theta}_{ij} = f_{ij}/n\) e que o erro padrão²⁶ dessa estimativa²⁷ (porque a ocorrência de um membro da amostra cair na \((i, j)\)-ésima casela tem distribuição Bernoulli\((\theta_{ij})\), e usando o Exemplo 6.3.2) é dado por \[ \sqrt{\frac{\hat{\theta}_{ij}(1 - \hat{\theta}_{ij})}{n}}. \]

Queremos saber se existe ou não uma relação entre \(X\) e \(Y\). Para responder a isso, olhamos as distribuições condicionais de \(Y\) dado \(X\). As distribuições condicionais de \(Y\) dado \(X\), usando \(\theta_{i\cdot}\) \({}= \theta_{i1}\) \({}+ \cdots + \theta_{ib}\) \({}= P(X = i)\), são dadas na tabela a seguir.

Então, estimando \(\theta_{ij}/\theta_{i\cdot}\) por \(\hat{\theta}_{ij}/\hat{\theta}_{i\cdot}\) \({}= f_{ij}/f_{i\cdot}\), em que \(f_{i\cdot} = f_{i1} + \cdots + f_{ib}\), as distribuições condicionais estimadas são as da tabela a seguir.

Se concluirmos que existe uma relação entre \(X\) e \(Y\), então olhamos a tabela das distribuições condicionais estimadas para determinar a forma da relação, isto é, como as distribuições condicionais mudam à medida que mudamos o valor de \(X\) em que estamos condicionando.

Como, então, inferimos se existe ou não uma relação entre \(X\) e \(Y\)? Não existe relação entre \(Y\) e \(X\) se e somente se as distribuições condicionais de \(Y\) dado \(X = x\) não mudam com \(x\). Isso acontece se e somente se \(X\) e \(Y\) são independentes, e isso vale se e somente se \[ \theta_{ij} = P(X = i, Y = j) = P(X = i)P(Y = j) = \theta_{i\cdot}\theta_{\cdot j}, \] para todo \(i\) e \(j\), em que \(\theta_{\cdot j}\) \({}= \theta_{1j}\) \({}+ \cdots + \theta_{aj}\) \({}= P(Y = j)\). Portanto, avaliar se existe ou não uma relação entre \(X\) e \(Y\) equivale a avaliar a hipótese nula²⁸ \(H_0 : \theta_{ij}\) \({}= \theta_{i\cdot}\theta_{\cdot j}\) para todo \(i\) e \(j\).

Como devemos avaliar se os dados observados são ou não surpreendentes quando \(H_0\) vale? Os métodos da Seção 9.1.2, e em particular o Teorema 9.1.2, podem ser aplicados aqui, pois temos que \[ (F_{11}, F_{12}, \ldots, F_{ab}) \sim \text{Multinomial}(n, \theta_{1\cdot}\theta_{\cdot 1}, \theta_{1\cdot}\theta_{\cdot 2}, \ldots, \theta_{a\cdot}\theta_{\cdot b}) \] quando \(H_0\) vale, em que \(F_{ij}\) é a contagem na \((i, j)\)-ésima casela.

Para aplicar o Teorema 9.1.2, precisamos do EMV dos parâmetros do modelo sob \(H_0\). A verossimilhança²⁹, quando \(H_0\) vale, é \begin{multline} L(\theta_{1\cdot}, \ldots, \theta_{a\cdot}, \theta_{\cdot 1}, \ldots, \theta_{\cdot b} \mid (x_1, y_1), \ldots, (x_n, y_n)) \\ = \prod_{i=1}^{a} \prod_{j=1}^{b} \bigl(\theta_{i\cdot}\theta_{\cdot j}\bigr)^{f_{ij}}. \tag{10.2.2} \end{multline} Disso, deduzimos (veja o Problema 10.2.17) que os EMVs de \(\theta_{i\cdot}\) e \(\theta_{\cdot j}\) são dados por \(\hat{\theta}_{i\cdot} = f_{i\cdot}/n\) e \(\hat{\theta}_{\cdot j} = f_{\cdot j}/n\). Portanto, a estatística qui-quadrado relevante é \[ X^2 = \sum_{i=1}^{a} \sum_{j=1}^{b} \frac{(f_{ij} - n\hat{\theta}_{i\cdot}\hat{\theta}_{\cdot j})^2} {n\hat{\theta}_{i\cdot}\hat{\theta}_{\cdot j}}. \]

Sob \(H_0\), o espaço paramétrico³⁰ tem dimensão \((a - 1) + (b - 1) = a + b - 2\); assim, comparamos o valor observado de \(X^2\) com a distribuição \(\chi^2((a - 1)(b - 1))\), porque \(ab - 1 - a - b + 2 = (a - 1)(b - 1)\).

Vejamos um exemplo.

Também precisamos nos preocupar com a verificação do modelo, isto é, o modelo que supusemos para os dados \((x_1, y_1), \ldots, (x_n, y_n)\) está correto? Se essas observações são i.i.d., então de fato o modelo está correto, pois isso é tudo o que está efetivamente sendo suposto. Então precisamos verificar se as observações formam uma amostra i.i.d. plausível. Como a estatística suficiente minimal³¹ é dada por \((f_{11}, \ldots, f_{ab})\), um tal teste poderia se basear na distribuição condicional da amostra \((x_1, y_1), \ldots, (x_n, y_n)\) dado \((f_{11}, \ldots, f_{ab})\). A teoria de distribuições para esses testes é computacionalmente difícil de implementar, porém, e não seguimos com esse tema neste texto.

10.2.2 Preditor Determinístico

Considere novamente a situação em que \(X\) é categórica, assumindo valores em \(\{1, \ldots, a\}\), e \(Y\) é categórica, assumindo valores em \(\{1, \ldots, b\}\). Mas agora suponha que tomamos uma amostra \(\pi_1, \ldots, \pi_n\) da população em que especificamos que \(n_i\) membros da amostra têm o valor \(X = i\) etc. Isso poderia ser por atribuição, quando estamos tentando determinar se existe uma relação de causa e efeito; ou poderíamos ter \(a\) populações \(\Pi_1, \ldots, \Pi_a\) e querer ver se há alguma diferença na distribuição de \(Y\) entre as populações. Note que \(n_1 + \cdots + n_a = n\).

Nos dois casos, queremos de novo fazer inferências sobre as distribuições condicionais de \(Y\) dado \(X\), representadas pela tabela a seguir.

Uma diferença nas distribuições condicionais significa que existe uma relação entre \(Y\) e \(X\). Se denotamos por \(f_{ij}\) o número de observações na \(i\)-ésima amostra que têm \(Y = j\), então, supondo que os tamanhos das amostras sejam pequenos em relação aos tamanhos das populações, a função de verossimilhança é dada por \begin{equation} L(\theta_{1|X=1}, \ldots, \theta_{b|X=a} \mid (x_1, y_1), \ldots, (x_n, y_n)) = \prod_{i=1}^{a} \prod_{j=1}^{b} (\theta_{j|X=i})^{f_{ij}}, \tag{10.2.3} \end{equation} e o EMV é dado por \(\hat{\theta}_{j|X=i} = f_{ij}/n_i\) (Problema 10.2.18).

Não existe relação entre \(Y\) e \(X\) se e somente se as distribuições condicionais não variam quando variamos \(X\), ou seja, se e somente se \[ H_0 : \theta_{j|X=1} = \cdots = \theta_{j|X=a} = \theta_j \] para todo \(j = 1, \ldots, b\), para alguma distribuição de probabilidade \(\theta_1, \ldots, \theta_b\). Sob \(H_0\), a função de verossimilhança é dada por \begin{equation} L(\theta_1, \ldots, \theta_b \mid (x_1, y_1), \ldots, (x_n, y_n)) = \prod_{j=1}^{b} \theta_j^{f_{\cdot j}}, \tag{10.2.4} \end{equation} e o EMV de \(\theta_j\) é dado por \(\hat{\theta}_j = f_{\cdot j}/n\) (veja o Problema 10.2.19). Então, aplicando o Teorema 9.1.2, temos que a estatística \[ X^2 = \sum_{i=1}^{a} \sum_{j=1}^{b} \frac{(f_{ij} - n_i\hat{\theta}_j)^2}{n_i\hat{\theta}_j} \] tem distribuição aproximada \(\chi^2((a - 1)(b - 1))\) sob \(H_0\), porque há \(a(b - 1)\) parâmetros livres no modelo completo, \((b - 1)\) parâmetros no modelo de independência e \(a(b - 1) - (b - 1) = (a - 1)(b - 1)\).

Vejamos um exemplo.

10.2.3 Formulação Bayesiana

Agora acrescentamos uma densidade a priori³³ \(\pi\) para os valores desconhecidos dos parâmetros dos modelos discutidos nas Seções 10.2.1 e 10.2.2. Dependendo de como escolhemos \(\pi\), e dependendo da conta específica que queremos fazer, poderíamos nos deparar com alguns problemas computacionais difíceis. É claro que temos à disposição, nessas circunstâncias, os métodos de Monte Carlo, que muitas vezes tornam uma conta bastante simples.

A escolha mais comum de priori nessas circunstâncias é uma priori conjugada³⁴. Como as verossimilhanças discutidas nesta seção são como no Exemplo 7.1.3, vemos imediatamente que prioris Dirichlet serão conjugadas para o modelo completo da Seção 10.2.1 e que produtos de prioris Dirichlet independentes serão conjugados para o modelo completo da Seção 10.2.2.

Na Seção 10.2.1, a verossimilhança geral (isto é, sem restrições sobre os \(\theta_{ij}\)) tem a forma \[ L(\theta_{11}, \ldots, \theta_{ab} \mid (x_1, y_1), \ldots, (x_n, y_n)) = \prod_{i=1}^{a} \prod_{j=1}^{b} \theta_{ij}^{f_{ij}}. \] Se pusermos uma priori Dirichlet\((\alpha_{11}, \ldots, \alpha_{ab})\) sobre o parâmetro, então a densidade a posteriori³⁵ é proporcional a \[ \prod_{i=1}^{a} \prod_{j=1}^{b} \theta_{ij}^{f_{ij} + \alpha_{ij} - 1}, \] de modo que a posteriori³⁶ é uma distribuição Dirichlet³⁷\((f_{11} + \alpha_{11}, \ldots, f_{ab} + \alpha_{ab})\).

Na Seção 10.2.2, a verossimilhança geral tem a forma \[ L(\theta_{1|X=1}, \ldots, \theta_{b|X=a} \mid (x_1, y_1), \ldots, (x_n, y_n)) = \prod_{i=1}^{a} \prod_{j=1}^{b} (\theta_{j|X=i})^{f_{ij}}. \] Como \(\sum_{j=1}^{b} \theta_{j|X=i} = 1\) para cada \(i = 1, \ldots, a\), precisamos pôr uma priori sobre cada distribuição \((\theta_{1|X=i}, \ldots, \theta_{b|X=i})\). Se escolhermos a priori sobre a \(i\)-ésima distribuição como Dirichlet\((\alpha_{1|i}, \ldots, \alpha_{a|i})\), então a densidade a posteriori é proporcional a³⁸ \[ \prod_{i=1}^{a} \prod_{j=1}^{b} \theta_{j|i}^{f_{ij} + \alpha_{j|i} - 1}. \] Reconhecemos isso como o produto de distribuições Dirichlet independentes, com a distribuição a posteriori de \((\theta_{1|X=i}, \ldots, \theta_{b|X=i})\) igual a uma distribuição \[ \text{Dirichlet}(f_{i1} + \alpha_{1|i}, \ldots, f_{ib} + \alpha_{b|i}). \]

Um caso especial e importante das prioris Dirichlet corresponde à situação em que sentimos não ter nenhuma informação sobre o parâmetro. Nessa situação, faz sentido escolher todos os parâmetros da Dirichlet iguais a 1, de modo que as prioris sejam todas uniformes.

Há muitas características de uma distribuição Dirichlet que podem ser calculadas em forma fechada, por exemplo, a esperança³⁹ de qualquer polinômio (veja o Problema 10.2.20). Mesmo assim, haverá muitas quantidades para as quais não haverá contas exatas disponíveis. Acontece que sempre podemos gerar facilmente amostras de distribuições Dirichlet, desde que tenhamos acesso a um gerador de distribuições beta. Isso está disponível na maioria dos pacotes estatísticos. Discutimos agora como fazer isso.

Exercícios

10.2.1 A tabela a seguir dá as contagens de acidentes em dois anos sucessivos numa determinada cidade.

Há alguma evidência de diferença na distribuição dos acidentes nesses meses entre os dois anos?

10.2.2 Os dados a seguir são de um estudo de Linus Pauling (1971) (“The significance of the evidence about ascorbic acid and the common cold”, Proceedings of the National Academy of Sciences, Vol. 68, p. 2678), que examinou a relação entre tomar vitamina C e a incidência de resfriados. Dos 279 participantes do estudo, 140 receberam um placebo (pílula de açúcar) e 139 receberam vitamina C.

Avalie a hipótese nula de que não existe relação entre tomar vitamina C e a incidência de resfriado comum.

10.2.3 Um experimento de simulação é feito para ver se existe alguma relação entre o primeiro e o segundo dígitos de uma variável aleatória gerada de uma distribuição Uniforme⁴¹\([0, 1]\). Foram geradas, no total, 1000 uniformes; se o primeiro e o segundo dígitos estavam em \(\{0, 1, 2, 3, 4\}\), eram registrados como 0, e como 1 caso contrário. Os dados com a classificação cruzada são dados na tabela a seguir.

Avalie a hipótese nula de que não existe relação entre os dígitos.

10.2.4 As notas numa disciplina de cálculo do primeiro ano foram obtidas para estudantes selecionados aleatoriamente em duas universidades e classificadas como aprovado ou reprovado. Foram obtidos os dados a seguir.

Há alguma evidência de relação entre as notas de cálculo e a universidade?

10.2.5 Os dados a seguir estão registrados em Statistical Methods for Research Workers, de R. A. Fisher (Hafner Press, Nova York, 1922), e mostram a classificação de 3883 crianças escocesas por sexo (\(X\)) e cor do cabelo (\(Y\)).

(a) Há alguma evidência de relação entre a cor do cabelo e o sexo?(b) Faça o(s) gráfico(s) de barras apropriado(s).(c) Registre os resíduos e relacione-os com os resultados das partes (a) e (b). O que você conclui sobre o tamanho de qualquer desvio da independência?

10.2.6 Suponha que temos um preditor controlável \(X\) que assume quatro valores diferentes e que medimos uma resposta binária \(Y\). Uma amostra aleatória de 100 foi tirada da população, e o valor de \(X\) foi atribuído aleatoriamente a cada indivíduo de tal maneira que há 25 membros da amostra assumindo cada um dos valores possíveis de \(X\). Suponha que os dados a seguir foram obtidos.

(a) Avalie se há ou não alguma evidência contra a existência de uma relação de causa e efeito entre \(X\) e \(Y\).(b) Explique por que é possível, neste exemplo, afirmar que qualquer evidência encontrada de que existe uma relação é evidência de que existe uma relação de causa e efeito.

10.2.7 Escreva em detalhes como você geraria um valor de uma distribuição Dirichlet\((1, 1, 1, 1)\).

10.2.8 Suponha que temos duas variáveis categóricas definidas numa população \(\Pi\) e que fazemos um censo. Como você decidiria se existe ou não uma relação entre \(X\) e \(Y\)? Se você decidisse que existe uma relação, como distinguiria entre uma relação forte e uma fraca?

10.2.9 Suponha que você lança dois dados simultaneamente \(n\) vezes e registra os resultados. Com base nesses valores, como você avaliaria a hipótese nula de que o resultado de cada dado é independente do resultado do outro?

10.2.10 Suponha que um professor queira avaliar se há ou não alguma diferença nas distribuições das notas finais (A, B, C, D e F) entre homens e mulheres numa determinada turma. Para avaliar a hipótese nula de que não há diferença entre essas distribuições, o professor faz um teste qui-quadrado. (a) Discuta como o professor fez esse teste.(b) Se o professor obteve evidência contra a hipótese nula, discuta que preocupações você tem quanto ao uso do teste qui-quadrado.

10.2.11 Suponha que um teste qui-quadrado seja feito, com base numa amostra aleatória de tamanho \(n\) de uma população, para avaliar se duas variáveis categóricas \(X\) e \(Y\) são ou não independentes. Suponha que o valor-p seja igual a 0,001 e que o pesquisador conclua que há evidência contra a independência. Discuta como você verificaria se o desvio da independência tem significância prática.

Problemas

10.2.12 No Exemplo 10.2.1, ponha uma priori uniforme sobre os parâmetros (uma distribuição Dirichlet com todos os parâmetros iguais a 1) e então determine a distribuição a posteriori dos parâmetros.

10.2.13 No Exemplo 10.2.2, ponha uma priori uniforme sobre os parâmetros de cada população (uma distribuição Dirichlet com todos os parâmetros iguais a 1), de modo que as três prioris sejam independentes. Então determine a distribuição a posteriori.

10.2.14 Numa tabela \(2 \times 2\) com probabilidades \(\theta_{ij}\), prove que as variáveis de linha e de coluna são independentes se e somente se \[ \frac{\theta_{11}\theta_{22}}{\theta_{12}\theta_{21}} = 1, \] ou seja, temos independência se e somente se a razão cruzada é igual a 1.

10.2.15 Estabeleça que a verossimilhança em (10.2.1) está correta quando o tamanho da população é infinito (ou quando fazemos amostragem com reposição⁴² da população).

10.2.16 (MV) Prove que o EMV de \((\theta_{11}, \ldots, \theta_{ab})\) em (10.2.1) é dado por \(\hat{\theta}_{ij} = f_{ij}/n\). Suponha que \(f_{ij} > 0\) para todo \(i, j\). (Sugestão: use os fatos de que uma função contínua neste espaço paramétrico \(\negrito{\Omega}\) precisa atingir seu máximo em algum ponto de \(\negrito{\Omega}\) e de que, se a função for continuamente diferenciável num tal ponto, então todas as suas derivadas parciais de primeira ordem são nulas ali. Isso permitirá concluir que a única solução das equações escore deve ser o ponto em que a log-verossimilhança⁴³ é maximizada. Tente primeiro o caso em que \(a = 2\), \(b = 2\).)

10.2.17 (MV) Prove que o EMV de \((\theta_{1\cdot}, \ldots, \theta_{a\cdot}, \theta_{\cdot 1}, \ldots, \theta_{\cdot b})\) em (10.2.2) é dado por \(\hat{\theta}_{i\cdot} = f_{i\cdot}/n\) e \(\hat{\theta}_{\cdot j} = f_{\cdot j}/n\). Suponha que \(f_{i\cdot} > 0\), \(f_{\cdot j} > 0\) para todo \(i, j\). (Sugestão: use a sugestão do Problema 10.2.16.)

10.2.18 (MV) Prove que o EMV de \((\theta_{1|X=1}, \ldots, \theta_{b|X=a})\) em (10.2.3) é dado por \(\hat{\theta}_{j|X=i} = f_{ij}/n_i\). Suponha que \(f_{ij} > 0\) para todo \(i, j\). (Sugestão: use a sugestão do Problema 10.2.16.)

10.2.19 (MV) Prove que o EMV de \((\theta_1, \ldots, \theta_b)\) em (10.2.4) é dado por \(\hat{\theta}_j = f_{\cdot j}/n\). Suponha que \(f_{\cdot j} > 0\) para todo \(i, j\). (Sugestão: use a sugestão do Problema 10.2.16.)

10.2.20 Suponha que \(X = (X_1, \ldots, X_{k-1}) \sim \text{Dirichlet}(\alpha_1, \ldots, \alpha_k)\). Determine \(E(X_1^{l_1} \cdots X_k^{l_k})\) em termos da função gama⁴⁴, quando \(l_i > 0\) para \(i = 1, \ldots, k\).

Problemas computacionais

10.2.21 Suponha que \((\theta_1, \theta_2, \theta_3, \theta_4) \sim \text{Dirichlet}(1, 1, 1, 1)\), como no Exercício 10.2.7. Gere uma amostra de tamanho \(N = 10^4\) dessa distribuição e use-a para estimar as esperanças dos \(\theta_i\). Compare essas estimativas com seus valores exatos. (Sugestão: há código relevante no Apêndice B para a geração; veja o Apêndice C para as fórmulas dos valores exatos dessas esperanças.)

10.2.22 Para o Problema 10.2.12, gere uma amostra de tamanho \(N = 10^4\) da distribuição a posteriori dos parâmetros e use-a para estimar as esperanças a posteriori das probabilidades das caselas. Compare essas estimativas com seus valores exatos. (Sugestão: há código relevante no Apêndice B para a geração; veja o Apêndice C para as fórmulas dos valores exatos dessas esperanças.)

Desafios

10.2.23 (MV) Estabeleça a validade do método discutido no Exemplo 10.2.3 para gerar valores de uma distribuição Dirichlet\((\alpha_1, \ldots, \alpha_k)\).

10.3 Resposta e Preditores Quantitativos

Quando as variáveis resposta e preditoras são todas categóricas, pode ser difícil formular modelos simples que descrevam adequadamente a relação entre as variáveis. Resta-nos registrar as distribuições condicionais e representá-las em gráficos de barras. Quando a variável resposta é quantitativa, porém, foram formulados modelos úteis que dão uma expressão matemática precisa para a forma da relação que possa existir. Vamos estudar esses tipos de modelo nas próximas três seções. Esta seção se concentra na situação em que todas as variáveis são quantitativas.

10.3.1 O Método dos Mínimos Quadrados

O método dos mínimos quadrados⁴⁵ é um método geral para obter uma estimativa da média de uma distribuição. Ele não exige suposições específicas sobre a distribuição e, por isso, pode ser visto como um método livre de distribuição (ver Seção 6.4).

Suponha que temos uma variável aleatória \(Y\) e queremos estimar \(E(Y)\) com base em uma amostra \((y_1, \ldots, y_n)\). O princípio a seguir é muito usado para gerar estimativas.

Observe que uma estimativa de mínimos quadrados está definida para qualquer tamanho da amostra, mesmo \(n = 1\).

Para aplicar os mínimos quadrados, precisamos encontrar o ponto minimizador \(t(y_1, \ldots, y_n)\). Um primeiro palpite para esse valor talvez seja a média amostral \(\bar{y}\). Como \(\sum_{i=1}^{n} (y_i - \bar{y})(\bar{y} - t(y_1, \ldots, y_n))\) \({}= (\bar{y} - t(y_1, \ldots, y_n))\left(\sum_{i=1}^{n} y_i - n\bar{y}\right)\) \({}= 0\), temos \begin{align} &\sum_{i=1}^{n} (y_i - t(y_1, \ldots, y_n))^2 = \sum_{i=1}^{n} (y_i - \bar{y} + \bar{y} - t(y_1, \ldots, y_n))^2 \notag \\ &\quad = \sum_{i=1}^{n} (y_i - \bar{y})^2 + 2 \sum_{i=1}^{n} (y_i - \bar{y})(\bar{y} - t(y_1, \ldots, y_n)) + \sum_{i=1}^{n} (\bar{y} - t(y_1, \ldots, y_n))^2 \notag \\ &\quad = \sum_{i=1}^{n} (y_i - \bar{y})^2 + n(\bar{y} - t(y_1, \ldots, y_n))^2. \tag{10.3.1} \end{align}

Portanto, o menor valor possível de (10.3.1) é \(\sum_{i=1}^{n} (y_i - \bar{y}^2)\),⁴⁷ e ele é atingido tomando \(t(y_1, \ldots, y_n) = \bar{y}\). Observe, porém, que \(\bar{y}\) pode não ser um valor possível de \(E(Y)\) e, nesse caso, não será a estimativa de mínimos quadrados. Em geral, (10.3.1) diz que a estimativa de mínimos quadrados é o valor \(t(y_1, \ldots, y_n)\) que está mais próximo de \(\bar{y}\) e é um valor possível de \(E(Y)\).

Considere o exemplo a seguir.

Sempre que o conjunto de valores possíveis de \(E(Y)\) for um intervalo \((a, b)\) e \(P(Y \in (a, b)) = 1\), porém, teremos \(\bar{y} \in (a, b)\). Isso implica que \(\bar{y}\) é o estimador de mínimos quadrados de \(E(Y)\). Vemos, então, que em circunstâncias bastante gerais \(\bar{y}\) é a estimativa de mínimos quadrados.

Há uma equivalência entre os mínimos quadrados e o método da máxima verossimilhança quando lidamos com distribuições normais.

Algumas das aplicações mais importantes dos mínimos quadrados surgem quando a resposta é um vetor aleatório \(Y = (Y_1, \ldots, Y_n)' \in R^n\) (a linha \('\) indica que consideramos \(Y\) como uma coluna) e observamos uma única observação \(y = (y_1, \ldots, y_n)' \in R^n\). O valor esperado⁵¹ de \(Y \in R^n\) é definido como o vetor das esperanças das variáveis aleatórias que são suas componentes, isto é, \[ E(Y) = \begin{pmatrix} E(Y_1) \\ \vdots \\ E(Y_n) \end{pmatrix} \in R^n. \] O princípio de mínimos quadrados diz, então, que, com base na única observação \(y = (y_1, \ldots, y_n)\), precisamos encontrar⁵² \[ t(y) = t(y_1, \ldots, y_n) = t_1(y_1, \ldots, y_n), \ldots, t_n(y_1, \ldots, y_n))', \] no conjunto de valores possíveis de \(E(Y)\) (um subconjunto de \(R^n\)), que minimiza \begin{equation} \sum_{i=1}^{n} (y_i - t_i(y_1, \ldots, y_n))^2. \tag{10.3.2} \end{equation} Assim, \(t(y)\) é o valor possível de \(E(Y)\) que está mais próximo de \(y\), já que o quadrado da distância entre dois pontos \(x, y \in R^n\) é dado por \(\sum_{i=1}^{n} (x_i - y_i)^2\).

Como é comum nas aplicações estatísticas, suponha que existam variáveis preditoras que possam estar relacionadas com \(Y\) e cujos valores são observados. Nesse caso, vamos substituir \(E(Y)\) por sua média condicional, dados os valores observados dos preditores. A estimativa de mínimos quadrados da média condicional é, então, o valor \(t(y_1, \ldots, y_n)\), no conjunto de valores possíveis da média condicional de \(Y\), que minimiza (10.3.2). Usaremos essa definição nas seções seguintes.

Encontrar o valor minimizador de \(t(y)\) em (10.3.2) pode ser um problema de otimização difícil quando o conjunto de valores possíveis da média é complicado. Vamos agora aplicar os mínimos quadrados a alguns problemas importantes em que a solução de mínimos quadrados pode ser encontrada em forma fechada.

10.3.2 O Modelo de Regressão Linear Simples

Suponha que temos uma única variável resposta quantitativa \(Y\) e um único preditor quantitativo \(X\); por exemplo, \(Y\) poderia ser a pressão arterial medida em libras por polegada quadrada e \(X\) poderia ser a idade em anos. Para estudar a relação entre essas variáveis, examinamos as distribuições condicionais de \(Y\), dado \(X = x\), para ver como elas mudam quando mudamos \(x\).

Podemos escolher examinar uma característica específica dessas distribuições para ver como ela varia com \(x\). Talvez a característica mais usada seja a média condicional de \(Y\) dado \(X = x\), ou \(E(Y \mid X = x)\) (ver Seção 3.5).

No modelo de regressão (ver Seção 10.1), supomos que as distribuições condicionais têm forma constante e que elas mudam, quando mudamos \(x\), no máximo por meio da média condicional. No modelo de regressão linear simples⁵³, supomos que a única maneira de a média condicional mudar é por meio da relação \[ E(Y \mid X = x) = \beta_1 + \beta_2 x, \] para alguns valores desconhecidos \(\beta_1 \in R^1\) (o intercepto) e \(\beta_2 \in R^1\) (o coeficiente angular). Também chamamos \(\beta_1\) e \(\beta_2\) de coeficientes de regressão.

Suponha que observamos os valores independentes \((x_1, y_1), \ldots, (x_n, y_n)\) de \((X, Y)\). Então, usando o modelo de regressão linear simples, temos \begin{equation} E\left(\begin{pmatrix} Y_1 \\ \vdots \\ Y_n \end{pmatrix} \middle| \, X_1 = x_1, \ldots, X_n = x_n\right) = \begin{pmatrix} \beta_1 + \beta_2 x_1 \\ \vdots \\ \beta_1 + \beta_2 x_n \end{pmatrix}. \tag{10.3.3} \end{equation}

A equação (10.3.3) nos diz que o valor esperado condicional da resposta \((Y_1, \ldots, Y_n)'\) está num subconjunto específico de \(R^n\). Além disso, (10.3.2) se torna \begin{equation} \sum_{i=1}^{n} (y_i - t_i(y))^2 = \sum_{i=1}^{n} (y_i - \beta_1 - \beta_2 x_i)^2, \tag{10.3.4} \end{equation} e precisamos encontrar os valores de \(\beta_1\) e \(\beta_2\) que minimizam (10.3.4). Esses valores são chamados de estimativas de mínimos quadrados de \(\beta_1\) e \(\beta_2\).

Antes de mostrar como fazer isso, considere um exemplo.

Diagramas de Dispersão

Como parte do Exemplo 10.3.3, representamos os pontos \((x_1, y_1), \ldots, (x_n, y_n)\) num gráfico. Ele é chamado de diagrama de dispersão⁵⁴ e é um primeiro passo recomendado em qualquer análise da relação entre variáveis quantitativas \(X\) e \(Y\). Um diagrama de dispersão pode nos dar uma ideia bem geral de se existe ou não uma relação e de que forma ela pode ter.

É importante lembrar, porém, que a aparência de um gráfico assim depende muito das escalas que escolhemos para os eixos. Por exemplo, podemos fazer um diagrama de dispersão parecer praticamente plano (e, assim, indicar que não existe relação) escolhendo pôr marcas de escala ao longo de uma faixa larga demais no eixo \(y\). Assim, devemos sempre complementar⁵⁵ um diagrama de dispersão com uma análise estatística baseada em números.

Estimativas de Mínimos Quadrados, Predições e Erros Padrão

Para o modelo de regressão linear simples, podemos obter fórmulas exatas para as estimativas de mínimos quadrados de \(\beta_1\) e \(\beta_2\).

Chamamos a reta \(y = b_1 + b_2 x\) de reta de mínimos quadrados, ou reta de melhor ajuste, e \(b_1 + b_2 x\) é a estimativa de mínimos quadrados de \(E(Y \mid X = x)\). Observe que \(\sum_{i=1}^{n} (x_i - \bar{x})^2 = 0\) se e somente se \(x_1 = \cdots = x_n\). Nesse caso, não podemos usar mínimos quadrados para estimar \(\beta_1\) e \(\beta_2\), embora ainda possamos estimar \(E(Y \mid X = x)\) (ver Problema 10.3.19).

Agora que temos as estimativas \(b_1, b_2\) dos coeficientes de regressão, queremos usá-las para fazer inferências sobre \(\beta_1\) e \(\beta_2\). Essas estimativas têm a propriedade de serem não viesadas.

Observe que o Teorema 10.3.2 e o teorema da esperança total implicam que \(E(B_1) = \beta_1\) e \(E(B_2) = \beta_2\) também incondicionalmente.

Acrescentando a suposição de que as variâncias condicionais existem, temos o teorema a seguir.

Para a estimativa de mínimos quadrados \(b_1 + b_2 x\) da média \(E(Y \mid X = x) = \beta_1 + \beta_2 x\), temos o resultado a seguir.

Um preditor natural de um valor futuro de \(Y\), quando \(X = x\), é dado pela média condicional \(E(Y \mid X = x) = \beta_1 + \beta_2 x\). Como não conhecemos os valores de \(\beta_1\) e \(\beta_2\), usamos a média estimada \(b_1 + b_2 x\) como preditor.

Quando predizemos \(Y\) num valor de \(x\) que está dentro da faixa dos valores observados de \(X\), dizemos que se trata de uma interpolação. Quando queremos predizer num valor de \(x\) que está fora dessa faixa, dizemos que se trata de uma extrapolação. Extrapolações são muito menos confiáveis que interpolações. Intuitivamente, quanto mais longe \(x\) estiver da faixa observada de valores de \(X\), menos confiável nos parecerá essa predição⁵⁶. Considerações assim devem estar sempre em mente. Por (10.3.5), vemos que a variância da predição no valor \(X = x\) aumenta à medida que \(x\) se afasta de \(\bar{x}\). Assim, até certo ponto, o erro padrão reflete esse aumento da incerteza, mas observe que sua forma se baseia na suposição de que o modelo de regressão linear simples está correto. Mesmo que aceitemos o modelo de regressão linear simples com base nos dados observados (vamos discutir a verificação do modelo mais adiante nesta seção), esse modelo pode deixar de valer para valores muito diferentes de \(x\) e, então, as predições estariam erradas.

Queremos usar os resultados do Teorema 10.3.3 e do Corolário 10.3.1 para calcular erros padrão das estimativas de mínimos quadrados. Como não conhecemos \(\sigma^2\), porém, precisamos também de uma estimativa dessa quantidade. O resultado a seguir mostra que \begin{equation} s^2 = \frac{1}{n - 2} \sum_{i=1}^{n} (y_i - b_1 - b_2 x_i)^2 \tag{10.3.6} \end{equation} é uma estimativa não viesada de \(\sigma^2\).

Portanto, o erro padrão de \(b_1\) é dado por \[ s\left(\frac{1}{n} + \frac{\bar{x}^2}{\sum_{i=1}^{n} (x_i - \bar{x})^2}\right)^{1/2}, \] e o erro padrão de \(b_2\) é dado por \[ s\left(\sum_{i=1}^{n} (x_i - \bar{x})^2\right)^{-1/2}. \] Sob suposições adicionais, esses erros padrão podem ser interpretados exatamente como interpretamos os erros padrão das estimativas da média nos modelos normais de locação e de locação e escala.

A Decomposição ANOVA e a Estatística \(F\)

O resultado a seguir dá uma decomposição da soma de quadrados total \(\sum_{i=1}^{n} (y_i - \bar{y})^2\).

Chamamos \[ b_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2 \] de soma de quadrados da regressão (RSS) e chamamos \[ \sum_{i=1}^{n} (y_i - b_1 - b_2 x_i)^2 \] de soma de quadrados dos erros (ESS).

Se pensarmos na soma de quadrados total como uma medida da variação total observada nos valores da resposta \(y_i\), então o Lema 10.3.1 dá uma decomposição dessa variação em RSS, que mede as mudanças na resposta devidas a mudanças no preditor, e ESS, que mede as mudanças na resposta devidas à contribuição do erro aleatório.

É comum escrever essa decomposição numa tabela de análise de variância (ANOVA).

Aqui, GL indica os graus de liberdade⁵⁷ (vamos discutir como as entradas de GL são calculadas na Seção 10.3.4). As entradas da coluna Quadrado Médio são calculadas dividindo a soma de quadrados correspondente pela entrada de GL.

Para ver o significado da tabela ANOVA, observe que, pelo Teorema 10.3.3, \begin{equation} E\left(B_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2 \,\middle|\, X_1 = x_1, \ldots, X_n = x_n\right) = \sigma^2 + \beta_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2, \tag{10.3.7} \end{equation} que é igual a \(\sigma^2\) se e somente se \(\beta_2 = 0\) (estamos sempre supondo aqui que os \(x_i\) variam). Dado que o modelo de regressão linear simples está correto, temos \(\beta_2 = 0\) se e somente se não há relação entre a resposta e o preditor. Portanto, \(b_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2\) é um estimador não viesado⁵⁸ de \(\sigma^2\) se e somente se \(\beta_2 = 0\). Como \(s^2\) é sempre uma estimativa não viesada de \(\sigma^2\) (Teorema 10.3.4), uma estatística sensata para avaliar \(H_0 : \beta_2 = 0\) é dada por \begin{equation} F = \frac{\mathrm{RSS}}{\mathrm{ESS}/(n - 2)} = \frac{b_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2}{s^2}, \tag{10.3.8} \end{equation} pois essa é a razão de dois estimadores não viesados de \(\sigma^2\) quando \(H_0\) é verdadeira. Concluímos, então, que temos evidência contra \(H_0\) quando \(F\) é grande, já que (10.3.7) mostra também que o numerador tenderá a ser maior que \(\sigma^2\) quando \(H_0\) é falsa. Chamamos (10.3.8) de estatística \(F\). Mais adiante, vamos discutir a distribuição amostral⁵⁹ de \(F\) para ver como determinar quando o valor de \(F\) é grande o bastante para ser evidência contra \(H_0\).

O Coeficiente de Determinação e a Correlação

O Lema 10.3.1 implica que \[ R^2 = \frac{b_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2}{\sum_{i=1}^{n} (y_i - \bar{y})^2} \] satisfaz \(0 \le R^2 \le 1\). Portanto, quanto mais perto \(R^2\) estiver de 1, maior a parte da variação total observada na resposta que é explicada por mudanças no preditor. De fato, interpretamos \(R^2\), chamado de coeficiente de determinação⁶⁰, como a proporção da variação observada na resposta explicada por mudanças no preditor por meio da regressão linear simples.

O coeficiente de determinação é uma estatística descritiva importante, pois, mesmo que concluamos que existe uma relação, pode acontecer de a maior parte da variação observada se dever ao erro. Se quisermos usar o modelo para predizer novos valores da resposta, o coeficiente de determinação nos diz se podemos ou não esperar predições muito precisas. Um valor de \(R^2\) perto de 1 significa predições muito precisas, enquanto um valor perto de 0 significa que as predições não serão muito precisas.

Lembre que, na Seção 3.3, definimos o coeficiente de correlação entre as variáveis aleatórias \(X\) e \(Y\) como \[ \rho_{XY} = \Corr(X, Y) = \frac{\Cov(X, Y)}{\Sd(X)\Sd(Y)}. \] No Corolário 3.6.1, provamos que \(-1 \le \rho_{XY} \le 1\), com \(\rho_{XY} = \pm 1\) se e somente se \(Y = a \pm cX\) para algumas constantes \(a \in R^1\) e \(c > 0\). Assim, \(\rho_{XY}\) pode ser tomado como uma medida de quanto existe uma relação linear entre \(X\) e \(Y\).

Se não conhecemos a distribuição conjunta de \((X, Y)\), teremos de estimar \(\rho_{XY}\). Com base nas observações \((x_1, y_1), \ldots, (x_n, y_n)\), a estimativa natural a usar é o coeficiente de correlação amostral⁶¹ \[ r_{xy} = \frac{s_{xy}}{s_x s_y}, \] em que \[ s_{xy} = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}) \] é a covariância amostral⁶², que estima \(\Cov(X, Y)\), e \(s_x, s_y\) são os desvios padrão amostrais das variáveis \(X\) e \(Y\), respectivamente. Então, \(-1 \le r_{xy} \le 1\), com \(r_{xy} = \pm 1\) se e somente se \(y_i = a \pm c x_i\) para algumas constantes \(a \in R^1\) e \(c > 0\), para todo \(i\) (a demonstração é a mesma do Corolário 3.6.1, usando a distribuição conjunta que põe massa de probabilidade \(1/n\) em cada ponto \((x_i, y_i)\) — ver Problema 3.6.16).

O resultado a seguir mostra que o coeficiente de determinação é o quadrado da correlação entre os valores observados de \(X\) e \(Y\).

Intervalos de Confiança e Testes de Hipóteses

Precisamos fazer mais algumas suposições para discutir as distribuições amostrais das diversas estatísticas que introduzimos. Temos os resultados a seguir.

Pelo Corolário 10.3.2(i), temos que \[ b_1 \pm s\left(1/n + \bar{x}^2 \bigg/ \sum_{i=1}^{n} (x_i - \bar{x})^2\right)^{1/2} t_{(1+\gamma)/2}(n - 2) \] é um intervalo de confiança⁶⁴ \(\gamma\) exato para \(\beta_1\). Além disso, pelo Corolário 10.3.2(ii), \[ b_2 \pm s\left(\sum_{i=1}^{n} (x_i - \bar{x})^2\right)^{-1/2} t_{(1+\gamma)/2}(n - 2) \] é um intervalo de confiança \(\gamma\) exato para \(\beta_2\).

Pelo Corolário 10.3.2(iv), podemos testar \(H_0 : \beta_2 = 0\) calculando o valor-p \begin{equation} P\left(F \ge \frac{b_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2}{s^2}\right), \tag{10.3.9} \end{equation} em que \(F \sim F(1, n - 2)\), para ver se o valor observado (10.3.8) é ou não surpreendente. Isso às vezes é chamado de teste ANOVA. Observe que o Corolário 10.3.2(ii) implica que também podemos testar \(H_0 : \beta_2 = 0\) calculando o valor-p \begin{equation} P\left(\lvert T \rvert \ge \frac{b_2 \left(\sum_{i=1}^{n} (x_i - \bar{x})^2\right)^{1/2}}{s}\right), \tag{10.3.10} \end{equation} em que \(T \sim t(n - 2)\). A demonstração do Corolário 10.3.2(iv) revela que (10.3.9) e (10.3.10) são iguais.

Análise de Resíduos

Numa aplicação do modelo de regressão simples, precisamos verificar se as suposições fazem sentido à luz dos dados que coletamos. A verificação do modelo se baseia nos resíduos \(y_i - b_1 - b_2 x_i\) (depois de padronizados), como discutido na Seção 9.1. Observe que o \(i\)-ésimo resíduo é simplesmente a diferença entre o valor observado \(y_i\) em \(x_i\) e o valor predito \(b_1 + b_2 x_i\) em \(x_i\).

Da demonstração do Teorema 10.3.4, temos o resultado a seguir.

Isso leva à definição do \(i\)-ésimo resíduo padronizado⁶⁵ como \begin{equation} \frac{y_i - b_1 - b_2 x_i}{s\left(1 - \frac{1}{n} - (x_i - \bar{x})^2 \big/ \sum_{j=1}^{n} (x_j - \bar{x})^2\right)^{1/2}}. \tag{10.3.11} \end{equation}

O Corolário 10.3.3 diz que (10.3.11), com \(\sigma\) no lugar de \(s\), é um valor de uma distribuição com média condicional 0 e variância condicional 1. Além disso, quando a distribuição condicional da resposta dados os preditores é normal, a distribuição condicional dessa quantidade é \(N(0, 1)\) (ver Problema 10.3.21). Esses resultados valem aproximadamente para (10.3.11) quando \(n\) é grande. Além disso, pode-se mostrar (ver Problema 10.3.20) que \begin{align*} &\Cov(Y_i - B_1 - B_2 x_i, Y_j - B_1 - B_2 x_j \mid X_1 = x_1, \ldots, X_n = x_n) \\ &\quad = -\sigma^2 \left(\frac{1}{n} + \frac{(x_i - \bar{x})(x_j - \bar{x})}{\sum_{k=1}^{n} (x_k - \bar{x})^2}\right). \end{align*} Portanto, sob a suposição de normalidade, os resíduos são aproximadamente independentes quando \(n\) é grande e \[ \frac{x_i - \bar{x}}{\sqrt{\sum_{k=1}^{n} (x_k - \bar{x})^2}} \to 0 \] quando \(n \to \infty\). Esse será o caso sempre que \(\Var(X)\) for finita (ver Desafio 10.3.27) ou, no contexto de planejamento, quando os valores do preditor forem escolhidos de forma adequada. Assim, uma abordagem para a verificação do modelo aqui é ver se os valores dados por (10.3.11) se parecem de algum modo com uma amostra da distribuição \(N(0, 1)\). Para isso, podemos usar os gráficos discutidos no Capítulo 9.

O que fazemos se a verificação do modelo levar a uma falha do modelo? Como discutido no Capítulo 9, talvez a abordagem mais comum seja considerar várias transformações dos dados para ver se há uma modificação simples do modelo que passe na verificação. Podemos fazer transformações não só na variável resposta \(Y\), mas também na variável preditora \(X\).

Uma Aplicação da Análise de Regressão Linear Simples

O conjunto de dados a seguir foi extraído de Statistical Methods, 6ª ed., de G. Snedecor e W. Cochran (Iowa State University Press, Ames, 1967), e dá a velocidade recorde \(Y\), em milhas por hora, nas corridas de automóveis do Memorial Day de Indianapolis nos anos de 1911 a 1941, exceto 1917 e 1918. Codificamos o ano \(X\) começando em 0 em 1911 e aumentando 1 a cada ano. Há \(n = 29\) pontos de dados \((x_i, y_i)\). O objetivo da análise é obter a reta de mínimos quadrados e, se for o caso, fazer inferências sobre os coeficientes de regressão. Tomamos o modelo de regressão linear simples normal como nosso modelo estatístico. Observe que este é um estudo observacional⁶⁷.

Usando o Teorema 10.3.1, obtemos a reta de mínimos quadrados \(y = 77{,}5681 + 1{,}27793x\). Essa reta, junto com um diagrama de dispersão dos valores \((x_i, y_i)\), está representada na Figura 10.3.4. O ajuste parece bem bom, mas isso não garante que o modelo esteja correto, e precisamos fazer alguma forma de verificação do modelo.

A Figura 10.3.5 é um gráfico dos resíduos padronizados contra o preditor. Esse gráfico parece razoável, sem nenhum padrão particularmente incomum aparente. A Figura 10.3.6 é um gráfico de probabilidade normal dos resíduos padronizados. A curvatura no centro pode levantar alguma dúvida sobre a suposição de normalidade. Geramos algumas amostras de tamanho \(n = 29\) de uma distribuição \(N(0, 1)\), porém, e olhar os seus gráficos de probabilidade normal (o que é sempre recomendado) revela que isso não é motivo de muita preocupação. É claro que também deveríamos aplicar procedimentos de verificação do modelo baseados nos resíduos padronizados e usando valores-p, mas não vamos avançar nesse tema aqui.

Com base nos resultados da verificação do modelo, decidimos passar às inferências sobre os coeficientes de regressão. As estimativas e seus erros padrão estão na tabela a seguir, em que usamos a estimativa de \(\sigma^2\) dada por \(s^2 = (2{,}999)^2\) para calcular os erros padrão. Registramos também as estatísticas \(t\) adequadas para testar cada uma das hipóteses \(H_0 : \beta_1 = 0\) e \(H_0 : \beta_2 = 0\).

Com isso, vemos que o valor-p para avaliar \(H_0 : \beta_2 = 0\) é dado por \[ P(\lvert T \rvert \ge 20{,}55) = 0{,}000, \] quando \(T \sim t(27)\), de modo que temos forte evidência contra \(H_0\). Parece claro que há uma forte relação positiva entre \(Y\) e \(X\). Como o ponto 0,975 da distribuição \(t(27)\) é igual a \(2{,}0518\), um intervalo de confiança 0,95 para \(\beta_2\) é dado por \[ 1{,}278 \pm (0{,}062)\,2{,}0518 = [1{,}1508;\ 1{,}4052]. \]

A decomposição ANOVA está na tabela a seguir.

Assim, temos \(F = 3797{,}0/9{,}0 = 421{,}888\) e, como \(F \sim F(1, 27)\) quando \(H_0 : \beta_2 = 0\) é verdadeira, \(P(F > 421{,}888) = 0{,}000\), o que simplesmente confirma (como tinha de ser) o que obtivemos com o teste \(t\) anterior.

O coeficiente de determinação é dado por \(R^2 = 3797{,}0/4039{,}8 = 0{,}94\). Portanto, 94% da variação observada na variável resposta podem ser explicados pelas mudanças no preditor por meio da regressão linear simples. O valor de \(R^2\) indica que o modelo ajustado será um excelente preditor de valores futuros, desde que o valor de \(X\) em que queremos predizer esteja na faixa (ou perto dela) dos valores de \(X\) usados para ajustar o modelo.

10.3.3 Modelo Linear Simples Bayesiano (Avançado)

Para a formulação bayesiana do modelo de regressão linear simples com erro normal, precisamos acrescentar uma distribuição a priori para os parâmetros desconhecidos do modelo, a saber, \(\beta_1\), \(\beta_2\) e \(\sigma^2\). Há muitas escolhas possíveis para isso. A priori adequada depende da aplicação.

Para ajudar a simplificar os cálculos, reparametrizamos o modelo da seguinte forma. Sejam \(\alpha_1 = \beta_1 + \beta_2\bar{x}\) e \(\alpha_2 = \beta_2\). É então fácil mostrar (ver Problema 10.3.24) que \begin{align} \sum_{i=1}^{n} (y_i - \beta_1 - \beta_2 x_i)^2 &= \sum_{i=1}^{n} (y_i - \alpha_1 - \alpha_2(x_i - \bar{x}))^2 \notag\\ &= \sum_{i=1}^{n} ((y_i - \bar{y}) - (\alpha_1 - \bar{y}) - \alpha_2(x_i - \bar{x}))^2 \notag\\ &= \sum_{i=1}^{n} (y_i - \bar{y})^2 + n(\alpha_1 - \bar{y})^2 + \alpha_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2 \notag\\ &\qquad - 2\alpha_2 \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}). \tag{10.3.12} \end{align}

A função de verossimilhança, usando essa reparametrização, é então igual a \[ \left(2\pi\sigma^2\right)^{-n/2} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^{n} (y_i - \alpha_1 - \alpha_2(x_i - \bar{x}))^2\right). \] Por (10.3.12), e tomando \begin{align*} c_x^2 &= \sum_{i=1}^{n} (x_i - \bar{x})^2, \\ c_y^2 &= \sum_{i=1}^{n} (y_i - \bar{y})^2, \\ c_{xy} &= \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}), \end{align*} podemos escrevê-la como \begin{align*} &\left(2\pi\sigma^2\right)^{-n/2} \exp\left(-\frac{c_y^2}{2\sigma^2}\right) \exp\left(-\frac{n}{2\sigma^2}(\alpha_1 - \bar{y})^2\right) \\ &\qquad \times \exp\left(-\frac{1}{2\sigma^2}\left\{\alpha_2^2 c_x^2 - 2\alpha_2 c_{xy}\right\}\right) \\ &= \left(2\pi\sigma^2\right)^{-n/2} \exp\left(-\frac{c_y^2 - c_x^2 a^2}{2\sigma^2}\right) \exp\left(-\frac{n}{2\sigma^2}(\alpha_1 - \bar{y})^2\right) \\ &\qquad \times \exp\left(-\frac{c_x^2}{2\sigma^2}(\alpha_2 - a)^2\right), \end{align*} em que a última igualdade decorre de \(\alpha_2^2 c_x^2 - 2\alpha_2 c_{xy}\) \({}= c_x^2(\alpha_2 - a)^2 - c_x^2 a^2\), com \(a = c_{xy}/c_x^2\).

Isso implica que, sempre que a distribuição a priori de \((\alpha_1, \alpha_2)\) for tal que \(\alpha_1\) e \(\alpha_2\) sejam independentes dado \(\sigma^2\), as distribuições a posteriori de \(\alpha_1\) e \(\alpha_2\) também serão independentes dado \(\sigma^2\). Observe também que \(\bar{y}\) e \(a\) são as estimativas de mínimos quadrados (e também os EMVs) de \(\alpha_1\) e \(\alpha_2\), respectivamente (ver Problema 10.3.24).

Suponha agora que tomemos como a priori \begin{align*} \alpha_1 \mid \alpha_2, \sigma^2 &\sim N(\mu_1, \tau_1^2\sigma^2), \\ \alpha_2 \mid \sigma^2 &\sim N(\mu_2, \tau_2^2\sigma^2), \\ 1/\sigma^2 &\sim \text{Gama}(\kappa, \nu). \end{align*} Observe que \(\alpha_1\) e \(\alpha_2\) são independentes dado \(\sigma^2\).

Acontece que essa a priori é conjugada, de modo que podemos determinar facilmente uma forma exata para a distribuição a posteriori (ver Problema 10.3.25). A distribuição a posteriori conjunta de \((\alpha_1, \alpha_2, 1/\sigma^2)\) é dada por \begin{align*} \alpha_1 \mid \alpha_2, \sigma^2 &\sim N\left(\left(n + \frac{1}{\tau_1^2}\right)^{-1}\left(n\bar{y} + \frac{\mu_1}{\tau_1^2}\right), \left(n + \frac{1}{\tau_1^2}\right)^{-1}\sigma^2\right), \\ \alpha_2 \mid \sigma^2 &\sim N\left(\left(c_x^2 + \frac{1}{\tau_2^2}\right)^{-1}\left(c_x^2 a + \frac{\mu_2}{\tau_2^2}\right), \left(c_x^2 + \frac{1}{\tau_2^2}\right)^{-1}\sigma^2\right), \\ \frac{1}{\sigma^2} &\sim \text{Gama}\left(\kappa + \frac{n}{2}, \nu_{xy}\right), \end{align*} em que \[ \nu_{xy} = \frac{1}{2}\left\{ \begin{gathered} c_y^2 - c_x^2 a^2 + \left[n\bar{y}^2 + \tfrac{\mu_1^2}{\tau_1^2} - \left(n + \tfrac{1}{\tau_1^2}\right)^{-1}\left(n\bar{y} + \tfrac{\mu_1}{\tau_1^2}\right)^2\right] \\ + \left[c_x^2 a^2 + \tfrac{\mu_2^2}{\tau_2^2} - \left(c_x^2 + \tfrac{1}{\tau_2^2}\right)^{-1}\left(c_x^2 a + \tfrac{\mu_2}{\tau_2^2}\right)^2\right] \end{gathered} \right\} + \nu. \]

É claro que precisamos escolher os valores dos hiperparâmetros \(\mu_1\), \(\tau_1\), \(\mu_2\), \(\tau_2\), \(\kappa\) e \(\nu\) para especificar completamente a a priori.

Observe agora que, para uma análise difusa, isto é, quando temos pouca ou nenhuma informação a priori sobre os parâmetros, fazemos \(\tau_1 \to \infty\), \(\tau_2 \to \infty\) e \(\nu \to 0\), e a distribuição a posteriori converge para \begin{align*} \alpha_1 \mid \alpha_2, \sigma^2 &\sim N(\bar{y}, \sigma^2/n), \\ \alpha_2 \mid \sigma^2 &\sim N(a, \sigma^2/c_x^2), \\ 1/\sigma^2 &\sim \text{Gama}(\kappa + n/2, \nu_{xy}), \end{align*} em que \(\nu_{xy} = (1/2)\{c_y^2 - c_x^2 a^2\}\). Mas isso ainda nos deixa com a necessidade de escolher o hiperparâmetro⁶⁸ \(\kappa\). Veremos, porém, que essa escolha tem apenas um efeito pequeno sobre a análise quando \(n\) não é pequeno demais.

Podemos obter facilmente a distribuição a posteriori marginal dos \(\alpha_i\). Por exemplo, no caso difuso, a densidade a posteriori marginal de \(\alpha_2\) é proporcional a \begin{align*} &\int_0^\infty \left(\frac{1}{\sigma^2}\right)^{1/2} \exp\left\{-\frac{c_x^2}{2\sigma^2}(\alpha_2 - a)^2\right\} \left(\frac{1}{\sigma^2}\right)^{\kappa + (n/2) - 1} \exp\left\{-\frac{\nu_{xy}}{\sigma^2}\right\} d\left(\frac{1}{\sigma^2}\right) \\ &= \int_0^\infty \left(\frac{1}{\sigma^2}\right)^{\kappa + (n/2) - (1/2)} \exp\left\{-\left(\nu_{xy} + \frac{c_x^2}{2}(\alpha_2 - a)^2\right)\frac{1}{\sigma^2}\right\} d\left(\frac{1}{\sigma^2}\right). \end{align*} Fazendo a mudança de variável⁶⁹ \(1/\sigma^2 \to w\), em que \[ w = \left(\nu_{xy} + \frac{c_x^2}{2}(\alpha_2 - a)^2\right)\frac{1}{\sigma^2} \] na integral anterior, vemos que a densidade a posteriori marginal de \(\alpha_2\) é proporcional a \[ \left(1 + \frac{c_x^2}{2\nu_{xy}}(\alpha_2 - a)^2\right)^{-(\kappa + (n+1)/2)} \int_0^\infty w^{\kappa + (n/2) - (1/2)} \exp\{-w\}\, dw, \] que é proporcional a \[ \left(1 + \frac{c_x^2}{2\nu_{xy}}(\alpha_2 - a)^2\right)^{-(2\kappa + n + 1)/2}. \] Isso estabelece (ver Problema 4.6.17) que a distribuição a posteriori de \(\alpha_2\) é especificada por \[ \sqrt{2\kappa + n}\, \frac{\alpha_2 - a}{\sqrt{2\nu_{xy}/c_x^2}} \sim t(2\kappa + n). \] Assim, um intervalo HPD \(\gamma\) (de maior densidade a posteriori⁷⁰) para \(\alpha_2\) é dado por \[ a \pm \frac{1}{\sqrt{2\kappa + n}} \sqrt{\frac{2\nu_{xy}}{c_x^2}}\, t_{(1+\gamma)/2}(2\kappa + n). \] Observe que esses intervalos não mudam muito quando mudamos \(\kappa\), desde que \(n\) não seja pequeno demais.

Consideramos uma aplicação de uma análise bayesiana para esse modelo.

10.3.4 O Modelo de Regressão Linear Múltipla (Avançado)

Consideramos agora a situação em que temos uma resposta quantitativa \(Y\) e preditores quantitativos \(X_1, \ldots, X_k\). No modelo de regressão, supomos que as distribuições condicionais de \(Y\), dados os preditores, têm forma constante e que mudam, à medida que os preditores mudam, no máximo por meio da média condicional \(E\left(Y \mid X_1 = x_1, \ldots, X_k = x_k\right)\). No modelo de regressão linear, supomos que essa média condicional é da forma \begin{equation} E\left(Y \mid X_1 = x_1, \ldots, X_k = x_k\right) = \beta_1 x_1 + \cdots + \beta_k x_k. \tag{10.3.13} \end{equation} Ela é linear nos \(\beta_i \in R^1\) desconhecidos, para \(i = 1, \ldots, k\).

Vamos desenvolver aqui apenas as linhas gerais da análise do modelo de regressão linear múltipla. Todos os resultados serão enunciados sem demonstração. As demonstrações podem ser encontradas em textos mais avançados. É importante notar, porém, que todos esses resultados são apenas análogos dos resultados que desenvolvemos por métodos elementares na Seção 10.3.2 para o modelo de regressão linear simples.

Formulação Matricial do Problema de Mínimos Quadrados

Para a análise do modelo de regressão linear múltipla, precisamos de alguns conceitos de matrizes. Vamos discutir brevemente alguns deles aqui, mas veja também o Apêndice A.4.

Seja \(A \in R^{m \times n}\) um arranjo retangular de números com \(m\) linhas e \(n\) colunas, e seja \(a_{ij}\) o elemento da \(i\)-ésima linha e da \(j\)-ésima coluna (chamado de elemento \((i, j)\) de \(A\)). Por exemplo, \[ A = \begin{pmatrix} 1{,}2 & 1{,}0 & 0{,}0 \\ 3{,}2 & 0{,}2 & 6{,}3 \end{pmatrix} \in R^{2 \times 3} \] denota uma matriz \(2 \times 3\) e, por exemplo, \(a_{22} = 0{,}2\).

Podemos somar duas matrizes de mesmas dimensões \(m\) e \(n\) simplesmente somando seus elementos posição a posição. Assim, se \(A, B \in R^{m \times n}\) e \(C = A + B\), então \(c_{ij} = a_{ij} + b_{ij}\). Além disso, podemos multiplicar uma matriz por um número real \(c\) simplesmente multiplicando cada elemento da matriz por \(c\). Assim, se \(A \in R^{m \times n}\), então \(B = cA \in R^{m \times n}\) e \(b_{ij} = c a_{ij}\). Às vezes vamos escrever uma matriz \(A \in R^{m \times n}\) em termos de suas colunas como \(A = \begin{pmatrix} a_1 & \ldots & a_n \end{pmatrix}\), de modo que aqui \(a_i \in R^m\). Por fim, se \(A \in R^{m \times n}\) e \(b \in R^n\), definimos o produto de \(A\) por \(b\) como \(Ab = b_1 a_1 + \cdots + b_n a_n \in R^m\).

Suponha agora que \(Y \in R^n\) e que \(E(Y)\) esteja restrito a um conjunto da forma \[ S = \left\{\beta_1 \upsilon_1 + \cdots + \beta_k \upsilon_k : \beta_i \in R^1, i = 1, \ldots, k\right\}, \] em que \(\upsilon_1, \ldots, \upsilon_k\) são vetores fixos de \(R^n\). Um conjunto como \(S\) é chamado de subespaço linear de \(R^n\). Quando \(\{\upsilon_1, \ldots, \upsilon_k\}\) tem a propriedade de independência linear, isto é, \[ \beta_1 \upsilon_1 + \cdots + \beta_k \upsilon_k = 0 \] se e somente se \(\beta_1 = \cdots = \beta_k = 0\), dizemos que \(S\) tem dimensão \(k\) e que \(\{\upsilon_1, \ldots, \upsilon_k\}\) é uma base de \(S\).

Se fizermos \[ V = (\upsilon_1 \cdots \upsilon_k) = \begin{pmatrix} \upsilon_{11} & \upsilon_{12} & \cdots & \upsilon_{1k} \\ \upsilon_{21} & \upsilon_{22} & \cdots & \upsilon_{2k} \\ \vdots & \vdots & & \vdots \\ \upsilon_{n1} & \upsilon_{n2} & \cdots & \upsilon_{nk} \end{pmatrix} \in R^{n \times k}, \] então podemos escrever \[ E(Y) = \beta_1 \upsilon_1 + \cdots + \beta_k \upsilon_k = \begin{pmatrix} \beta_1 \upsilon_{11} + \beta_2 \upsilon_{12} + \cdots + \beta_k \upsilon_{1k} \\ \beta_1 \upsilon_{21} + \beta_2 \upsilon_{22} + \cdots + \beta_k \upsilon_{2k} \\ \vdots \\ \beta_1 \upsilon_{n1} + \beta_2 \upsilon_{n2} + \cdots + \beta_k \upsilon_{nk} \end{pmatrix} = V\beta \] para algum ponto desconhecido \(\beta = (\beta_1, \beta_2, \ldots, \beta_k)'\). Quando observamos \(y \in R^n\), a estimativa de mínimos quadrados de \(E(Y)\) é obtida encontrando o valor de \(\beta\) que minimiza \[ \sum_{i=1}^{n} \left(y_i - \beta_1 \upsilon_{i1} - \beta_2 \upsilon_{i2} - \cdots - \beta_k \upsilon_{ik}\right)^2. \]

Pode-se provar que existe um único valor minimizador de \(\beta \in R^k\) sempre que \(\{\upsilon_1, \ldots, \upsilon_k\}\) é uma base. O valor minimizador de \(\beta\) será denotado por \(b\) e é chamado de estimativa de mínimos quadrados de \(\beta\). O ponto \(b_1 \upsilon_1\) \({}+ \cdots + b_k \upsilon_k\) \({}= Vb\) é a estimativa de mínimos quadrados de \(E(Y)\) e às vezes é chamado de vetor de valores ajustados. O ponto \(y - Vb\) é chamado de vetor de resíduos.

Vejamos agora como calcular \(b\). Para isso, precisamos entender o que significa multiplicar a matriz \(A \in R^{m \times k}\) à direita pela matriz \(B \in R^{k \times n}\). O produto de matrizes \(AB\) é definido como a matriz \(m \times n\) cujo elemento \((i, j)\) é dado por \[ \sum_{l=1}^{k} a_{il} b_{lj}. \] Note que o arranjo \(A\) precisa ter o mesmo número de colunas que o número de linhas de \(B\) para que esse produto esteja definido. A transposta de uma matriz \(A \in R^{m \times k}\) é definida como \[ A' = \begin{pmatrix} a_{11} & \cdots & a_{m1} \\ \vdots & & \vdots \\ a_{1k} & \cdots & a_{mk} \end{pmatrix} \in R^{k \times m}, \] isto é, a \(i\)-ésima coluna de \(A\) se torna a \(i\)-ésima linha de \(A'\). Para uma matriz \(A \in R^{k \times k}\), a matriz inversa de \(A\) é definida como a matriz \(A^{-1}\) tal que \[ AA^{-1} = A^{-1}A = I, \] em que \(I \in R^{k \times k}\) tem 1 em toda a diagonal e 0 em todas as outras posições; ela é chamada de matriz identidade \(k \times k\). Nem sempre \(A \in R^{k \times k}\) tem inversa, mas, quando tem, pode-se mostrar que a inversa é única. Note que há muitos pacotes de software matemático e estatístico com recursos para calcular produtos, transpostas e inversas de matrizes.

Temos o seguinte resultado fundamental.

Estimativas de Mínimos Quadrados, Predições e Erros Padrão

Para o modelo de regressão linear (10.3.13), temos (escrevendo \(X_{ij}\) para o \(j\)-ésimo valor de \(X_i\)) \begin{align*} E\left(\left. \begin{pmatrix} Y_1 \\ \vdots \\ Y_n \end{pmatrix} \,\right|\, X_{ij} = x_{ij} \text{ para todo } i, j\right) &= \begin{pmatrix} \beta_1 x_{11} + \cdots + \beta_k x_{1k} \\ \vdots \\ \beta_1 x_{n1} + \cdots + \beta_k x_{nk} \end{pmatrix} \\ &= \beta_1 \upsilon_1 + \cdots + \beta_k \upsilon_k = V\beta, \end{align*} em que \(\beta = (\beta_1, \ldots, \beta_k)'\) e \[ V = \begin{pmatrix} \upsilon_1 & \upsilon_2 & \ldots & \upsilon_k \end{pmatrix} = \begin{pmatrix} x_{11} & \cdots & x_{1k} \\ \vdots & & \vdots \\ x_{n1} & \cdots & x_{nk} \end{pmatrix} \in R^{n \times k}. \] Vamos supor, daqui em diante, que as colunas \(\upsilon_1, \ldots, \upsilon_k\) de \(V\) têm a propriedade de independência linear. Então (trocando a esperança pela esperança condicional⁷³) segue imediatamente que a estimativa de mínimos quadrados de \(\beta\) é dada por (10.3.14).

Como no modelo de regressão linear simples, temos vários resultados sobre as estimativas de mínimos quadrados. Nós os enunciamos aqui sem demonstração.

Assim, o Teorema 10.3.8 afirma que as estimativas de mínimos quadrados são estimativas não viesadas dos coeficientes da regressão linear.

Se quisermos avaliar a precisão dessas estimativas, precisamos ser capazes de calcular seus erros padrão.

Temos o seguinte resultado sobre a estimação⁷⁴ da média⁷⁵ \[ E\left(Y \mid X_1 = x_1, \ldots, X_k\right) = x_k = \beta_1 x_1 + \cdots + \beta_k x_k \] pela estimativa \(b_1 x_1 + \cdots + b_k x_k\).

Também usamos \(b_1 x_1 + \cdots + b_k x_k = b'x\) como predição de um novo valor da resposta quando \(X_1 = x_1, \ldots, X_k = x_k\).

Vemos, pelo Teorema 10.3.9 e pelo Corolário 10.3.4, que precisamos de uma estimativa de \(\sigma^2\) para calcular os erros padrão. A estimativa é dada por⁷⁶ \begin{equation} s^2 = \frac{1}{n-k} \sum_{i=1}^{n} \left(y_i - b_1 x_{i1} - \cdots - b_k x_{ik}\right)^2 = \frac{1}{n-k} (y - Xb)'(y - Xb), \tag{10.3.17} \end{equation} e temos o seguinte resultado.

Combinando (10.3.15) e (10.3.17), deduzimos que o erro padrão de \(b_i\) é \(s\sqrt{c_{ii}}\). Combinando (10.3.16) e (10.3.17), deduzimos que o erro padrão de \(b_1 x_1 + \cdots + b_k x_k\) é \[ s \Bigl(\sum_{i=1}^{k} x_i^2 c_{ii} + 2 \sum_{i<j} x_i x_j c_{ij}\Bigr)^{1/2} = s\left(x'(V'V)^{-1} x\right)^{1/2}. \]

A Decomposição ANOVA e as Estatísticas \(F\)

Quando um dos preditores \(X_1, \ldots, X_k\) é constante, dizemos que o modelo tem um termo de intercepto. Por convenção, vamos sempre tomá-lo como o primeiro preditor. Assim, quando queremos que o modelo tenha um termo de intercepto, tomamos \(X_1 \equiv 1\), e \(\beta_1\) é o intercepto, como no modelo de regressão linear simples. Note que é comum denotar o termo de intercepto por \(\beta_0\), de modo que \(X_0 \equiv 1\) e \(X_1, \ldots, X_k\) denotam os preditores que de fato variam. Também vamos adotar essa convenção quando parecer apropriado.

Basicamente, a inclusão de um termo de intercepto é muito comum, pois ela diz que, quando os preditores que de fato variam não têm relação com a resposta \(Y\), o intercepto é a média desconhecida da resposta. Quando não incluímos um intercepto, isso diz que sabemos que a resposta média é 0 quando não há relação entre \(Y\) e os preditores não constantes. A menos que haja evidência substantiva, baseada na aplicação, que apoie isso, em geral não vamos querer fazer essa suposição.

Denotando o termo de intercepto por \(\beta_1\), de modo que \(X_1 \equiv 1\), temos a seguinte decomposição ANOVA para esse modelo, que mostra como isolar a variação observada em \(Y\) que pode ser explicada por mudanças nos preditores não constantes.

Chamamos \[ \mathrm{RSS}(X_2, \ldots, X_k) = \sum_{i=1}^{n} \left(b_2 (x_{i2} - \bar{x}_2) + \cdots + b_k (x_{ik} - \bar{x}_k)\right)^2 \] de soma de quadrados da regressão e \[ \mathrm{ESS} = \sum_{i=1}^{n} \left(y_i - b_1 x_{i1} - \cdots - b_k x_{ik}\right)^2 \] de soma de quadrados dos erros. Isso leva à seguinte tabela ANOVA.

Quando há um termo de intercepto, a hipótese nula de ausência de relação entre a resposta e os preditores equivale a \(H_0 : \beta_2 = \cdots = \beta_k = 0\). Como no modelo de regressão linear simples, pode-se mostrar que o quadrado médio da regressão é um estimador não viesado de \(\sigma^2\) se e somente se a hipótese nula é verdadeira. Portanto, uma estatística sensata para avaliar a hipótese nula é a estatística \(F\) \[ F = \frac{\mathrm{RSS}(X_2, \ldots, X_k)/(k-1)}{s^2}, \] em que valores grandes são evidência contra a hipótese nula.

Muitas vezes, queremos avaliar a hipótese nula \(H_0 : \beta_{l+1} = \cdots = \beta_k = 0\) ou, equivalentemente, a hipótese de que o modelo é dado por \[ E\left(Y \mid X_1 = x_1, \ldots, X_k = x_k\right) = \beta_1 x_1 + \cdots + \beta_l x_l, \] em que \(l < k\). Essa hipótese diz que os últimos \(k - l\) preditores, \(X_{l+1}, \ldots, X_k\), não têm relação com a resposta.

Se denotarmos por \(b_1^*, \ldots, b_l^*\) as estimativas de mínimos quadrados de \(\beta_1, \ldots, \beta_l\) obtidas ajustando o modelo menor, temos o seguinte resultado.

À direita da desigualdade em (10.3.18), temos a soma de quadrados da regressão obtida ajustando o modelo baseado nos primeiros \(l\) preditores. Portanto, podemos interpretar a diferença entre os lados esquerdo e direito de (10.3.18), isto é, \[ \mathrm{RSS}(X_{l+1}, \ldots, X_k \mid X_2, \ldots, X_l) = \mathrm{RSS}(X_2, \ldots, X_k) - \mathrm{RSS}(X_2, \ldots, X_l), \] como a contribuição dos preditores \(X_{l+1}, \ldots, X_k\) para a soma de quadrados da regressão quando os preditores \(X_1, \ldots, X_l\) estão no modelo. Obtemos a seguinte tabela ANOVA (na verdade, só as três primeiras colunas da tabela ANOVA) correspondente a essa decomposição da soma de quadrados total.

Pode-se mostrar que a hipótese nula \(H_0 : \beta_{l+1} = \cdots = \beta_k = 0\) vale se e somente se \[ \mathrm{RSS}(X_{l+1}, \ldots, X_k \mid X_2, \ldots, X_l)/(k - l) \] é um estimador não viesado de \(\sigma^2\). Portanto, uma estatística sensata para avaliar essa hipótese nula é a estatística \(F\) \[ F = \frac{\mathrm{RSS}(X_{l+1}, \ldots, X_k \mid X_2, \ldots, X_l)/(k - l)}{s^2}, \] em que valores grandes são evidência contra a hipótese nula.

O Coeficiente de Determinação

O coeficiente de determinação desse modelo é dado por \[ R^2 = \frac{\mathrm{RSS}(X_2, \ldots, X_k)}{\sum_{i=1}^{n} (y_i - \bar{y})^2}, \] que, pelo Lema 10.3.2, está sempre entre 0 e 1. O valor de \(R^2\) dá a proporção da variação observada em \(Y\) que é explicada pela inclusão dos preditores não constantes no modelo.

Pode-se mostrar que \(R^2\) é o quadrado do coeficiente de correlação múltipla entre \(Y\) e \(X_1, \ldots, X_k\). No entanto, não discutimos o coeficiente de correlação múltipla neste texto.

Intervalos de Confiança e Testes de Hipóteses

Para a inferência, temos o seguinte resultado.

Análise dos Resíduos

Numa aplicação do modelo de regressão múltipla, precisamos verificar se as suposições fazem sentido. A verificação do modelo se baseia nos resíduos \(y_i - b_1 x_{i1} - \cdots - b_k x_{ik}\) (depois de padronizados), exatamente como discutido na Seção 9.1. Note que o \(i\)-ésimo resíduo é simplesmente a diferença entre o valor observado \(y_i\) em \((x_{i1}, \ldots, x_{ik})\) e o valor predito \(b_1 x_{i1} + \cdots + b_k x_{ik}\) em \((x_{i1}, \ldots, x_{ik})\).

Temos também o seguinte resultado (que pode ser provado como corolário do Teorema 10.3.10).

Portanto, os resíduos padronizados são dados por⁷⁷ \begin{equation} \frac{y_j - b_1 x_{j1} - \cdots - b_k x_{jk}}{s d_{ii}^{1/2}}. \tag{10.3.19} \end{equation} Quando \(s\) é substituído por \(\sigma\) em (10.3.19), o Corolário 10.3.6 implica que essa quantidade tem média condicional 0 e variância condicional 1. Além disso, quando a distribuição condicional da resposta dados os preditores é normal, pode-se mostrar que a distribuição condicional dessa quantidade é \(N(0, 1)\). Esses resultados também valem aproximadamente para (10.3.19) quando \(n\) é grande. Além disso, pode-se mostrar que as covariâncias entre os resíduos padronizados tendem a 0 quando \(n \to \infty\), sob certas condições razoáveis sobre a distribuição das variáveis preditoras. Assim, uma abordagem para a verificação do modelo aqui é ver se os valores dados por (10.3.19) se parecem de algum modo com uma amostra da distribuição \(N(0, 1)\).

O que fazemos se a verificação do modelo leva a uma falha do modelo? Como no Capítulo 9, podemos considerar fazer várias transformações dos dados para ver se há uma modificação simples do modelo que passe na verificação. Podemos fazer transformações não só na variável resposta \(Y\), mas também nas variáveis preditoras \(X_1, \ldots, X_k\).

Uma Aplicação da Análise de Regressão Linear Múltipla

Os cálculos necessários para realizar uma análise de regressão linear múltipla não podem ser feitos à mão. Eles são demorados demais e muito sujeitos a erros. Por isso, é importante que o estatístico tenha à disposição um computador com software adequado quando fizer uma análise de regressão linear múltipla.

Os dados da Tabela 10.1 foram tirados de Statistical Theory and Methodology in Science and Engineering, 2ª ed., de K. A. Brownlee (John Wiley & Sons, Nova York, 1965). A variável resposta \(Y\) é a perda na chaminé (Loss), que representa 10 vezes a porcentagem de amônia perdida como óxido nítrico não absorvido. As variáveis preditoras são \(X_1 =\) fluxo de ar (Air), \(X_2 =\) temperatura da água de entrada (Temp) e \(X_3 =\) concentração de ácido nítrico (Acid). Também foi registrado o dia (Dia) em que a observação foi feita.

Consideramos o modelo \(Y \mid x_1, x_2, x_3 \sim N(\beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3, \sigma^2)\). Note que incluímos um termo de intercepto. A Figura 10.3.9 é um gráfico de probabilidade normal dos resíduos padronizados. Ele parece razoável, exceto por um resíduo, \(-2{,}63822\), que se afasta de modo bem nítido dos demais valores, que ficam perto da reta de 45 graus. Imprimindo os resíduos padronizados, vemos que esse resíduo está associado à observação do vigésimo primeiro dia. Talvez tenha havido algo de excepcional na operação desse dia, e por isso é razoável descartar esse dado e reajustar o modelo. A Figura 10.3.10 é um gráfico de probabilidade normal obtido ajustando o modelo às 20 primeiras observações. Ele parece um pouco melhor, mas ainda poderíamos nos preocupar com pelo menos um dos resíduos, que se afasta bastante da reta de 45 graus.

Seguindo a análise desses dados em Fitting Equations to Data, de C. Daniel e F. S. Wood (Wiley-Interscience, Nova York, 1971), consideramos em vez disso o modelo \begin{equation} \ln Y \mid x_1, x_2, x_3 \sim N(\beta_0 + \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3, \sigma^2), \tag{10.3.20} \end{equation} isto é, transformamos a variável resposta tomando seu logaritmo e usamos todos os dados. Muitas vezes, quando os modelos não se ajustam, transformações simples como essa podem levar a grandes melhorias. Neste caso, vemos um gráfico de probabilidade normal muito melhor, como mostra a Figura 10.3.11.

Também examinamos gráficos dos resíduos padronizados contra os diversos preditores, e eles pareceram razoáveis. A Figura 10.3.12 é um gráfico dos resíduos padronizados contra os valores de Air.

Agora que aceitamos o modelo (10.3.20), podemos passar às inferências sobre as incógnitas do modelo. As estimativas de mínimos quadrados dos \(\beta_i\), seus erros padrão (Se), as estatísticas \(t\) correspondentes para testar \(\beta_i = 0\) e os valores-p desses testes são dados na tabela a seguir.

A estimativa de \(\sigma^2\) é dada por \(s^2 = 0{,}0312\).

Para testar a hipótese nula de que não há relação entre a resposta e os preditores, ou, de modo equivalente, \(H_0 : \beta_1 = \beta_2 = \beta_3 = 0\), temos a seguinte tabela ANOVA.

O valor da estatística \(F\) é dado por \(1{,}6505/0{,}0312 = 52{,}900\) e, quando \(F \sim F(3, 17)\), temos \(P(F > 52{,}900) = 0{,}000\). Assim, há evidência substancial contra a hipótese nula. Para ver quão bem o modelo explica a variação da resposta, calculamos o valor \(R^2 = 86{,}9\%\). Portanto, aproximadamente 87% da variação observada em \(Y\) pode ser explicada por mudanças nos preditores do modelo.

Embora tenhamos concluído que existe uma relação entre a resposta e os preditores, pode ser que alguns dos preditores não tenham relação com a resposta. Por exemplo, a tabela de estatísticas \(t\) acima parece indicar que talvez \(X_3\) (ácido) não esteja afetando \(Y\). Podemos avaliar isso por meio da seguinte tabela ANOVA, obtida ajustando o modelo \(\ln Y \mid x_1, x_2, x_3 \sim N(\beta_0 + \beta_1 x_1 + \beta_2 x_2, \sigma^2)\).

Note que \(\mathrm{RSS}(X_3 \mid X_1, X_2)\) \({}= 4{,}9515 - 4{,}9480\) \({}= 0{,}0035\). O valor da estatística \(F\) para testar \(H_0 : \beta_3 = 0\) é \(0{,}0035/0{,}0312 = 0{,}112\) e, quando \(F \sim F(1, 17)\), temos \(P(F > 0{,}112) = 0{,}742\). Assim, não temos evidência contra a hipótese nula e podemos retirar \(X_3\) do modelo. Na verdade, esse é o mesmo valor-p obtido pelo teste \(t\) dessa hipótese nula, pois, em geral, o teste \(t\) de que um único coeficiente de regressão é 0 equivale ao teste \(F\). Testes semelhantes sobre a necessidade de incluir \(X_1\) e \(X_2\) não nos levam a retirar essas variáveis do modelo.

Assim, com base nos resultados acima, decidimos retirar \(X_3\) do modelo e usar a equação⁷⁸ \begin{equation} E\left(Y \mid X_1 = x_1, X_2 = x_2\right) = -0{,}7522 + 0{,}035402 X_1 + 0{,}06346 X_2 \tag{10.3.21} \end{equation} para descrever a relação entre \(Y\) e os preditores. Note que as estimativas de mínimos quadrados de \(\beta_0\), \(\beta_1\) e \(\beta_2\) em (10.3.21) são obtidas reajustando o modelo sem \(X_3\).

Exercícios

10.3.1 Suponha que \((x_1, \ldots, x_n)\) seja uma amostra de uma distribuição Bernoulli\((\theta)\), em que \(\theta \in [0, 1]\) é desconhecido. Qual é a estimativa de mínimos quadrados da média dessa distribuição?

10.3.2 Suponha que \((x_1, \ldots, x_n)\) seja uma amostra da distribuição Uniforme\([0, \theta]\), em que \(\theta > 0\) é desconhecido. Qual é a estimativa de mínimos quadrados da média dessa distribuição?

10.3.3 Suponha que \((x_1, \ldots, x_n)\) seja uma amostra da distribuição Exponencial\((\theta)\), em que \(\theta > 0\) é desconhecido. Qual é a estimativa de mínimos quadrados da média dessa distribuição?

10.3.4 Considere os \(n = 11\) valores de dados da tabela a seguir.

Suponha que consideremos a regressão linear normal simples para descrever a relação entre a resposta \(Y\) e o preditor \(X\). (a) Represente os dados num diagrama de dispersão.(b) Calcule a reta de mínimos quadrados e trace-a no diagrama de dispersão do item (a).(c) Faça o gráfico dos resíduos padronizados contra \(X\).(d) Produza um gráfico de probabilidade normal dos resíduos padronizados.(e) Quais são suas conclusões com base nos gráficos produzidos nos itens (c) e (d)?(f) Se for apropriado, calcule intervalos de confiança 0,95 para o intercepto e a inclinação.(g) Construa a tabela ANOVA para testar se há ou não uma relação entre a resposta e os preditores. Qual é a sua conclusão?(h) Se o modelo estiver correto, que proporção da variação observada na resposta é explicada por mudanças no preditor?(i) Prediga um \(Y\) futuro em \(X = 0{,}0\). Essa predição é uma extrapolação ou uma interpolação? Determine o erro padrão dessa predição.(j) Prediga um \(Y\) futuro em \(X = 6{,}0\). Essa predição é uma extrapolação ou uma interpolação? Determine o erro padrão dessa predição.(k) Prediga um \(Y\) futuro em \(X = 20{,}0\). Essa predição é uma extrapolação ou uma interpolação? Determine o erro padrão dessa predição. Compare-o com os erros padrão obtidos nos itens (i) e (j) e explique as diferenças.

10.3.5 Considere os \(n = 11\) valores de dados da tabela a seguir.

Suponha que consideremos a regressão linear normal simples para descrever a relação entre a resposta \(Y\) e o preditor \(X\). (a) Represente os dados num diagrama de dispersão.(b) Calcule a reta de mínimos quadrados e trace-a no diagrama de dispersão do item (a).(c) Faça o gráfico dos resíduos padronizados contra \(X\).(d) Produza um gráfico de probabilidade normal dos resíduos padronizados.(e) Quais são suas conclusões com base nos gráficos produzidos nos itens (c) e (d)?(f) Se for apropriado, calcule intervalos de confiança 0,95 para o intercepto e a inclinação.(g) Os resultados da sua análise permitem concluir que há uma relação entre \(Y\) e \(X\)? Por quê?(h) Se o modelo estiver correto, que proporção da variação observada na resposta é explicada por mudanças no preditor?

10.3.6 Suponha que os dados a seguir registrem as densidades de um organismo num recipiente de contenção durante 10 dias. Suponha que consideremos a regressão linear normal simples para descrever a relação entre a resposta \(Y\) (densidade) e o preditor \(X\) (dia).

(a) Represente os dados num diagrama de dispersão.(b) Calcule a reta de mínimos quadrados e trace-a no diagrama de dispersão do item (a).(c) Faça o gráfico dos resíduos padronizados contra \(X\).(d) Produza um gráfico de probabilidade normal dos resíduos padronizados.(e) Quais são suas conclusões com base nos gráficos produzidos nos itens (c) e (d)?(f) Você consegue pensar numa transformação da resposta que possa resolver os problemas encontrados? Se sim, repita os itens de (a) a (e) depois de fazer essa transformação. (Sugestão: o diagrama de dispersão parece um crescimento exponencial. Que transformação é a inversa da exponenciação?)(g) Calcule intervalos de confiança 0,95 para o intercepto e a inclinação apropriados.(h) Construa a tabela ANOVA apropriada para testar se há ou não uma relação entre a resposta e os preditores. Qual é a sua conclusão?(i) Os resultados da sua análise permitem concluir que há uma relação entre \(Y\) e \(X\)? Por quê?(j) Calcule a proporção da variação explicada pelo preditor nos dois modelos que você considerou. Compare os resultados.(k) Prediga um \(Y\) futuro em \(X = 12\). Essa predição é uma extrapolação ou uma interpolação?

10.3.7 Um estudante faz testes semanais numa disciplina e recebe as seguintes notas ao longo de 12 semanas.

(a) Represente os dados num diagrama de dispersão com \(X =\) semana e \(Y =\) nota.(b) Calcule a reta de mínimos quadrados e trace-a no diagrama de dispersão do item (a).(c) Faça o gráfico dos resíduos padronizados contra \(X\).(d) Quais são suas conclusões com base no gráfico produzido em (c)?(e) Calcule intervalos de confiança 0,95 para o intercepto e a inclinação.(f) Construa a tabela ANOVA para testar se há ou não uma relação entre a resposta e os preditores. Qual é a sua conclusão?(g) Que proporção da variação observada na resposta é explicada por mudanças no preditor?

10.3.8 Suponha que \(Y = E(Y \mid X) + Z\), em que \(X\), \(Y\) e \(Z\) são variáveis aleatórias. (a) Mostre que \(E(Z \mid X) = 0\).(b) Mostre que \(\Cov(E(Y \mid X), Z) = 0\). (Sugestão: escreva \(Z = Y - E(Y \mid X)\) e use os Teoremas 3.5.2 e 3.5.4.)(c) Suponha que \(Z\) seja independente de \(X\). Mostre que isso implica que a distribuição condicional de \(Y\) dado \(X\) depende de \(X\) apenas por meio de sua média condicional. (Sugestão: calcule a função de distribuição condicional de \(Y\) dado \(X = x\).)

10.3.9 Suponha que \(X\) e \(Y\) sejam variáveis aleatórias tais que um modelo de regressão descreve a relação entre \(Y\) e \(X\). Se \(E(Y \mid X) = \exp\{\beta_1 + \beta_2 X\}\), discuta se esse é ou não um modelo de regressão linear simples (talvez envolvendo um preditor diferente de \(X\)).

10.3.10 Suponha que \(X\) e \(Y\) sejam variáveis aleatórias e que \(\Corr(X, Y) = 1\). Vale um modelo de regressão linear simples para descrever a relação entre \(Y\) e \(X\)? Se sim, qual é ele?

10.3.11 Suponha que \(X\) e \(Y\) sejam variáveis aleatórias tais que um modelo de regressão descreve a relação entre \(Y\) e \(X\). Se \(E(Y \mid X) = \beta_1 + \beta_2 X^2\), discuta se esse é ou não um modelo de regressão linear simples (talvez envolvendo um preditor diferente de \(X\)).

10.3.12 Suponha que \(X \sim N(2, 3)\), independentemente de \(Z \sim N(0, 1)\), e que \(Y = X + Z\). Essa estrutura implica que a relação entre \(Y\) e \(X\) pode ser resumida por um modelo de regressão linear simples? Se sim, quais são \(\beta_1\), \(\beta_2\) e \(\sigma^2\)?

10.3.13 Suponha que um modelo linear simples seja ajustado a dados. Uma análise dos resíduos indica que não há razão para duvidar de que o modelo esteja correto; o teste ANOVA indica que há evidência substancial contra a hipótese nula de ausência de relação entre a resposta e o preditor. O valor de \(R^2\) encontrado é 0,05. Qual é a interpretação desse número e quais são as consequências práticas?

Exercícios computacionais

10.3.14 Suponha que consideremos a regressão linear normal simples para descrever a relação entre a resposta \(Y\) (renda) e o preditor \(X\) (investimento) para os dados do Exemplo 10.3.9. (a) Represente os dados num diagrama de dispersão.(b) Calcule a reta de mínimos quadrados e trace-a no diagrama de dispersão do item (a).(c) Faça o gráfico dos resíduos padronizados contra \(X\).(d) Produza um gráfico de probabilidade normal dos resíduos padronizados.(e) Quais são suas conclusões com base nos gráficos produzidos nos itens (c) e (d)?(f) Se for apropriado, calcule intervalos de confiança 0,95 para o intercepto e a inclinação.(g) Os resultados da sua análise permitem concluir que há uma relação entre \(Y\) e \(X\)? Por quê?(h) Se o modelo estiver correto, que proporção da variação observada na resposta é explicada por mudanças no preditor?

10.3.15 Os dados a seguir são medições da resistência à tração (100 lb/pol\(^2\)) e da dureza (Rockwell E) de 20 peças de alumínio fundido sob pressão.

Suponha que consideremos a regressão linear normal simples para descrever a relação entre a resposta \(Y\) (resistência) e o preditor \(X\) (dureza). (a) Represente os dados num diagrama de dispersão.(b) Calcule a reta de mínimos quadrados e trace-a no diagrama de dispersão do item (a).(c) Faça o gráfico dos resíduos padronizados contra \(X\).(d) Produza um gráfico de probabilidade normal dos resíduos padronizados.(e) Quais são suas conclusões com base nos gráficos produzidos nos itens (c) e (d)?(f) Se for apropriado, calcule intervalos de confiança 0,95 para o intercepto e a inclinação.(g) Os resultados da sua análise permitem concluir que há uma relação entre \(Y\) e \(X\)? Por quê?(h) Se o modelo estiver correto, que proporção da variação observada na resposta é explicada por mudanças no preditor?

10.3.16 Foram feitos testes para determinar o efeito da temperatura de entrada do gás (graus Fahrenheit) e da velocidade do rotor (rpm) sobre o teor de alcatrão (grãos/pé cúbico) de um fluxo de gás, o que produziu os seguintes dados.

Suponha que consideremos o modelo de regressão linear normal \[ Y \mid W = w, X = x \sim N(\beta_1 + \beta_2 w + \beta_3 x, \sigma^2) \] para descrever a relação entre \(Y\) (teor de alcatrão) e os preditores \(W\) (velocidade do rotor) e \(X\) (temperatura). (a) Faça diagramas de dispersão da resposta contra cada preditor.(b) Calcule a equação de mínimos quadrados.(c) Faça os gráficos dos resíduos padronizados contra \(W\) e \(X\).(d) Produza um gráfico de probabilidade normal dos resíduos padronizados.(e) Quais são suas conclusões com base nos gráficos produzidos nos itens (c) e (d)?(f) Se for apropriado, calcule intervalos de confiança 0,95 para os coeficientes da regressão.(g) Construa a tabela ANOVA para testar se há ou não uma relação entre a resposta e os preditores. Qual é a sua conclusão?(h) Se o modelo estiver correto, que proporção da variação observada na resposta é explicada por mudanças nos preditores?(i) Numa tabela ANOVA, avalie a hipótese nula de que não há efeito devido a \(W\), dado que \(X\) está no modelo.(j) Estime a média de \(Y\) quando \(W = 2750\) e \(X = 50{,}0\). Se considerarmos esse valor como uma predição de um \(Y\) futuro nesses valores dos preditores, trata-se de uma extrapolação ou de uma interpolação?

10.3.17 Suponha que consideremos o modelo de regressão linear normal \[ Y \mid X = x \sim N(\beta_1 + \beta_2 x + \beta_3 x^2, \sigma^2) \] para os dados do Exercício 10.3.5. (a) Represente a resposta \(Y\) num diagrama de dispersão contra \(X\).(b) Calcule a equação de mínimos quadrados.(c) Faça o gráfico dos resíduos padronizados contra \(X\).(d) Produza um gráfico de probabilidade normal dos resíduos padronizados.(e) Quais são suas conclusões com base nos gráficos produzidos nos itens (c) e (d)?(f) Se for apropriado, calcule intervalos de confiança 0,95 para os coeficientes da regressão.(g) Construa a tabela ANOVA para testar se há ou não uma relação entre a resposta e o preditor. Qual é a sua conclusão?(h) Se o modelo estiver correto, que proporção da variação observada na resposta é explicada por mudanças nos preditores?(i) Numa tabela ANOVA, avalie a hipótese nula de que não há efeito devido a \(X^2\), dado que \(X\) está no modelo.(j) Compare as predições de \(Y\) em \(X = 6\) obtidas com o modelo de regressão linear simples e com o modelo linear com um termo linear e um termo quadrático.

Problemas

10.3.18 Suponha que \((x_1, \ldots, x_n)\) seja uma amostra da distribuição de mistura \[ 0{,}5\,\text{Uniforme}[0, 1] + 0{,}5\,\text{Uniforme}[2, \theta], \] em que \(\theta > 2\) é desconhecido. Qual é a estimativa de mínimos quadrados da média dessa distribuição?

10.3.19 Considere o modelo de regressão linear simples e suponha que, para os dados coletados, temos \(\sum_{i=1}^{n} (x_i - \bar{x})^2 = 0\). Explique como, e para qual valor de \(x\), você estimaria \(E(Y \mid X = x)\).

10.3.20 No modelo de regressão linear simples, sob as hipóteses do Teorema 10.3.3, estabeleça que \begin{align*} &\Cov\left(Y_i - B_1 - B_2 x_i, Y_j - B_1 - B_2 x_j \mid X_1 = x_1, \ldots, X_n = x_n\right) \\ &\qquad = \sigma^2 \delta_{ij} - \sigma^2 \left(\frac{1}{n} + \frac{(x_i - \bar{x})(x_j - \bar{x})}{\sum_{k=1}^{n} (x_k - \bar{x})^2}\right), \end{align*} em que \(\delta_{ij} = 1\) quando \(i = j\) e \(0\) caso contrário. (Sugestão: use os Teoremas 3.3.2 e 10.3.3.)

10.3.21 Estabeleça que (10.3.11) tem distribuição \(N(0, 1)\) quando \(S\) é substituído por \(\sigma\) no denominador. (Sugestão: use o Teorema 4.6.1 e o Problema 10.3.20.)

10.3.22 (Intervalos de predição) Sob as hipóteses do Teorema 10.3.6, prove que o intervalo⁷⁹ \[ b_1 + b_2 x \pm s \left(1 + \frac{1}{n} + \frac{(x_i - \bar{x})^2}{\sum_{k=1}^{n} (x_k - \bar{x})^2}\right)^{1/2} t_{(1+\gamma)/2}(n - 2), \] baseado em \((x_1, y_1), \ldots, (x_n, y_n)\) independentes, contém \(Y\) com probabilidade igual a \(\gamma\) para um \((X, Y)\) futuro independente com \(X = x\). (Sugestão: Teoremas 4.6.1 e 3.3.2 e Corolário 10.3.1.)

10.3.23 Considere o modelo de regressão sem intercepto dado por \(E(Y \mid X = x) = \beta x\), em que \(\beta \in R^1\) é desconhecido. Suponha que observemos os valores independentes \((x_1, y_1), \ldots, (x_n, y_n)\). (a) Determine a estimativa de mínimos quadrados de \(\beta\).(b) Prove que a estimativa de mínimos quadrados \(b\) de \(\beta\) é não viesada e, quando \(\Var(Y \mid X = x) = \sigma^2\), prove que \[ \Var\left(B \mid X_1 = x_1, \ldots, X_n = x_n\right) = \frac{\sigma^2}{\sum_{i=1}^{n} x_i^2}. \](c) Sob as hipóteses dadas no item (b), prove que \[ s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (y_i - b x_i)^2 \] é um estimador não viesado de \(\sigma^2\).(d) Escreva uma decomposição ANOVA apropriada para esse modelo e uma fórmula para \(R^2\) que meça a proporção da variação observada em \(Y\) devida a mudanças em \(X\).(e) Quando \(Y \mid X = x \sim N(\beta x, \sigma^2)\) e observamos os valores independentes \((x_1, y_1), \ldots, (x_n, y_n)\), prove que \(b \sim N\bigl(\beta, \sigma^2/\sum_{i=1}^{n} x_i^2\bigr)\).(f) Sob as hipóteses do item (e), e supondo que \((n - 1) S^2/\sigma^2 \sim \chi^2(n - 1)\), independente de \(B\) (isso pode ser provado), indique como você testaria a hipótese nula de ausência de relação entre \(Y\) e \(X\).(g) Como você definiria resíduos padronizados para esse modelo e os usaria para verificar a validade do modelo?

10.3.24 Para dados \((x_1, y_1), \ldots, (x_n, y_n)\), prove que, se \(\alpha_1 = \beta_1 + \beta_2 \bar{x}\) e \(\alpha_2 = \beta_2\), então \(\sum_{i=1}^{n} (y_i - \beta_1 - \beta_2 x_i)^2\) é igual a \[ \sum_{i=1}^{n} (y_i - \bar{y})^2 + n(\alpha_1 - \bar{y})^2 + \alpha_2^2 \sum_{i=1}^{n} (x_i - \bar{x})^2 - 2\alpha_2 \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}). \] A partir disso, deduza que \(\bar{y}\) e \(a = \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}) / \sum_{i=1}^{n} (x_i - \bar{x})^2\) são as estimativas de mínimos quadrados de \(\alpha_1\) e \(\alpha_2\), respectivamente.

10.3.25 Para o modelo discutido na Seção 10.3.3, prove que a priori dada por \(\alpha_1 \mid \alpha_2, \sigma^2 \sim N(\mu_1, \tau_1^2 \sigma^2)\), \(\alpha_2 \mid \sigma^2 \sim N(\mu_2, \tau_2^2 \sigma^2)\) e \(1/\sigma^2 \sim \text{Gama}(\kappa, \nu)\) leva à distribuição a posteriori enunciada ali. Conclua que essa priori é conjugada com a distribuição a posteriori, como especificado. (Sugestão: o desenvolvimento é semelhante ao do Exemplo 7.1.4, como detalhado na Seção 7.5.)

10.3.26 Para o modelo especificado na Seção 10.3.3, prove que, quando \(\tau_1 \to \infty\), \(\tau_2 \to \infty\) e \(\nu \to 0\), a distribuição a posteriori de \(\alpha_1\) é dada pela distribuição de \(\bar{y} + \left(2\nu_{xy}/n\,(2\kappa + n)\right)^{1/2} Z\), em que \(Z \sim t(2\kappa + n)\) e \(\nu_{xy} = (c_y^2 - a^2 c_x^2)/2\).

Desafios

10.3.27 Se \(X_1, \ldots, X_n\) é uma amostra de uma distribuição com variância finita, prove que \[ \frac{X_i - \bar{X}}{\sqrt{\sum_{k=1}^{n} \left(X_k - \bar{X}\right)^2}} \xrightarrow{\text{q.c.}} 0. \]

10.4 Resposta Quantitativa e Preditores Categóricos

Nesta seção, consideramos a situação em que a resposta é quantitativa e os preditores são categóricos. Pode haver muitos preditores categóricos, mas restringimos a discussão a no máximo dois, porque isso já mostra as características mais importantes do caso geral. O caso geral fica para um curso mais avançado.

10.4.1 Um Preditor Categórico (ANOVA com Um Fator)

Suponha agora que a resposta \(Y\) é quantitativa e que o preditor \(X\) é categórico, assumindo \(a\) valores ou níveis, denotados por \(1, \ldots, a\). No modelo de regressão, supomos que o único aspecto da distribuição condicional de \(Y\), dado \(X = x\), que muda quando \(x\) muda é a média. Seja \[ \beta_i = E(Y \mid X = i) \] a resposta média quando o preditor \(X\) está no nível \(i\). Observe que isso já é, de imediato, um modelo de regressão linear.

Introduzimos as variáveis indicadoras \[ X_i = \begin{cases} 1 & X = i \\ 0 & X \neq i \end{cases} \] para \(i = 1, \ldots, a\). Observe que, qualquer que seja o valor da resposta \(Y\), apenas uma das variáveis indicadoras assume o valor 1, e as demais assumem o valor 0. Assim, podemos escrever⁸⁰ \[ E(Y \mid X_1 = x_1, \ldots, X_a) = x_a = \beta_1 x_1 + \cdots + \beta_a x_a, \] porque um e apenas um dos \(x_i\) é igual a 1, enquanto os demais são 0. Isso tem exatamente a mesma forma do modelo discutido na Seção 10.3.4, já que as \(X_i\) são quantitativas. Desse modo, todos os resultados da Seção 10.3.4 se aplicam imediatamente (vamos reapresentar aqui os resultados relevantes).

Inferências sobre Médias Individuais

Suponha agora que observamos \(n_i\) valores \((y_{i1}, \ldots, y_{in_i})\) quando \(X = i\) e que todos os valores da resposta são independentes. Observe que temos \(a\) amostras independentes. As estimativas de mínimos quadrados dos \(\beta_i\) são obtidas minimizando \[ \sum_{i=1}^{a} \sum_{j=1}^{n_i} (y_{ij} - \beta_i)^2. \] As estimativas de mínimos quadrados são então iguais a (ver o Problema 10.4.14) \[ b_i = \bar{y}_i = \frac{1}{n_i} \sum_{j=1}^{n_i} y_{ij}. \] Pode-se mostrar que esses são estimadores não viesados dos \(\beta_i\).

Supondo que as distribuições condicionais de \(Y\), dado \(X = x\), têm todas variância igual a \(\sigma^2\), temos que a variância condicional de \(\bar{Y}_i\) é dada por \(\sigma^2/n_i\) e que a covariância⁸¹ condicional entre \(\bar{Y}_i\) e \(\bar{Y}_j\), quando \(i \neq j\), é 0. Além disso, sob essas condições, um estimador não viesado de \(\sigma^2\) é dado por \[ s^2 = \frac{1}{N - a} \sum_{i=1}^{a} \sum_{j=1}^{n_i} (y_{ij} - \bar{y}_i)^2, \] em que \(N = n_1 + \cdots + n_k\).⁸²

Se, além disso, supusermos o modelo de regressão linear normal, isto é, \[ Y \mid X = i \sim N(\beta_i, \sigma^2), \] então \(\bar{Y}_i \sim N(\beta_i, \sigma^2/n_i)\), independente de \((N - a)\,S^2/\sigma^2 \sim \chi^2(N - a)\). Portanto, pela Definição 4.6.2, \[ T = \frac{\bar{Y}_i - \beta_i}{S/\sqrt{n_i}} \sim t(N - a), \] o que leva a um intervalo de confiança \(\gamma\) da forma \[ \bar{y}_i \pm \frac{s}{\sqrt{n_i}}\, t_{(1 + \gamma)/2}(N - a) \] para \(\beta_i\). Também podemos testar a hipótese nula \(H_0 : \beta_i = \beta_{i0}\) calculando o valor-p \[ P\left(\lvert T\rvert \geq \left\lvert \frac{\bar{y}_i - \beta_{i0}}{s/\sqrt{n_i}} \right\rvert\right) = 2\left(1 - G\left(\left\lvert \frac{\bar{y}_i - \beta_{i0}}{s/\sqrt{n_i}} \right\rvert ;\, N - a\right)\right), \] em que \(G(\cdot\,;\, N - a)\) é a fda da distribuição \(t(N - a)\). Observe que essas inferências são exatamente como as obtidas na Seção 6.3 para o modelo normal de locação e escala, exceto que agora usamos outro estimador de \(\sigma^2\) (com mais graus de liberdade).

Inferências sobre Diferenças de Médias e Inferências com Duas Amostras

Muitas vezes queremos fazer inferências sobre uma diferença de médias \(\beta_i - \beta_j\). Observe que \(E(\bar{Y}_i - \bar{Y}_j) = \beta_i - \beta_j\) e \[ \Var(\bar{Y}_i - \bar{Y}_j) = \Var(\bar{Y}_i) + \Var(\bar{Y}_j) = \sigma^2 (1/n_i + 1/n_j), \] porque \(\bar{Y}_i\) e \(\bar{Y}_j\) são independentes. Pelo Teorema 4.6.1, \[ \bar{Y}_i - \bar{Y}_j \sim N(\beta_i - \beta_j, \sigma^2 (1/n_i + 1/n_j)). \] Além disso, \[ \frac{\bigl(\bar{Y}_i - \bar{Y}_j\bigr) - \bigl(\beta_i - \beta_j\bigr)} {\sigma (1/n_i + 1/n_j)^{1/2}} \sim N(0, 1), \] independente de \((N - a)\,S^2/\sigma^2 \sim \chi^2(N - a)\). Portanto, pela Definição 4.6.2, \begin{equation} \begin{aligned} T &= \left(\frac{\bigl(\bar{Y}_i - \bar{Y}_j\bigr) - \bigl(\beta_i - \beta_j\bigr)} {\sigma (1/n_i + 1/n_j)^{1/2}}\right) \Bigg/ \sqrt{\frac{(N - a)\,S^2}{(N - a)\,\sigma^2}} \\ &= \frac{\bigl(\bar{Y}_i - \bar{Y}_j\bigr) - \bigl(\beta_i - \beta_j\bigr)} {S (1/n_i + 1/n_j)^{1/2}} \sim t(N - a). \end{aligned} \tag{10.4.1} \end{equation} Isso leva ao intervalo de confiança \(\gamma\) \[ \bar{y}_i - \bar{y}_j \pm s \sqrt{\frac{1}{n_i} + \frac{1}{n_j}}\; t_{(1 + \gamma)/2}(N - a) \] para a diferença de médias \(\beta_i - \beta_j\). Podemos testar a hipótese nula \(H_0 : \beta_i = \beta_j\), isto é, de que a diferença entre as médias é igual a 0, calculando o valor-p \[ P\left(\lvert T\rvert \geq \left\lvert \frac{\bar{y}_i - \bar{y}_j} {s\sqrt{\frac{1}{n_i} + \frac{1}{n_j}}} \right\rvert\right) = 2\left(1 - G\left(\left\lvert \frac{\bar{y}_i - \bar{y}_j} {s\sqrt{\frac{1}{n_i} + \frac{1}{n_j}}} \right\rvert ;\, N - a\right)\right). \]

Quando \(a = 2\), isto é, quando há apenas dois valores para \(X\), chamamos (10.4.1) de estatística \(t\) para duas amostras, e os procedimentos de inferência correspondentes são chamados de intervalo de confiança \(t\) para duas amostras e teste \(t\) para duas amostras para a diferença de médias. Nesse caso, se concluímos que \(\beta_1 \neq \beta_2\), estamos dizendo que existe uma relação entre \(Y\) e \(X\).

A ANOVA para Avaliar uma Relação com o Preditor

Suponha que, no caso geral em que \(a \geq 2\), estamos interessados em avaliar se existe ou não uma relação entre a resposta e o preditor. Não há relação se e somente se todas as distribuições condicionais são iguais; sob as nossas suposições, isso acontece se e somente se \(\beta_1 = \cdots = \beta_a\), isto é, se e somente se todas as médias são iguais. Assim, testar a hipótese nula de que não há relação entre a resposta e o preditor equivale a testar a hipótese nula \(H_0 : \beta_1 = \cdots = \beta_a = \beta\) para algum \(\beta\) desconhecido.

Se a hipótese nula é verdadeira, a estimativa de mínimos quadrados de \(\beta\) é dada por \(\bar{y}\), a média geral dos valores da resposta. Nesse caso, a variação total se decompõe como (ver o Problema 10.4.15) \[ \sum_{i=1}^{a} \sum_{j=1}^{n_i} \bigl(y_{ij} - \bar{y}\bigr)^2 = \sum_{i=1}^{a} n_i \,(\bar{y}_i - \bar{y})^2 + \sum_{i=1}^{a} \sum_{j=1}^{n_i} \bigl(y_{ij} - \bar{y}_i\bigr)^2, \] e, assim, a tabela ANOVA relevante para testar \(H_0\) é a dada a seguir.⁸³

Para avaliar \(H_0\), usamos a estatística \(F\) \[ F = \frac{\sum_{i=1}^{a} n_i \,(\bar{y}_i - \bar{y})^2 / (a - 1)}{s^2}, \] porque, sob a hipótese nula, tanto o numerador quanto o denominador são estimadores não viesados de \(\sigma^2\). Quando a hipótese nula é falsa, o numerador tende a ser maior que \(\sigma^2\). Quando acrescentamos a suposição de normalidade, temos que \(F \sim F(a - 1, N - a)\), e então calculamos o valor-p \[ P\left(F > \frac{\sum_{i=1}^{a} n_i \,(\bar{y}_i - \bar{y})^2 / (a - 1)}{s^2}\right) \] para avaliar se o valor observado de \(F\) é tão grande a ponto de ser surpreendente. Observe que, quando \(a = 2\), esse valor-p é igual ao valor-p obtido pelo teste \(t\) para duas amostras.

Comparações Múltiplas

Se rejeitamos a hipótese nula de que não há diferenças entre as médias, então queremos ver onde estão as diferenças. Para isso, usamos métodos de inferência baseados em (10.4.1). Naturalmente, precisamos nos preocupar com o problema das comparações múltiplas⁸⁴, discutido na Seção 9.3. Lembre-se de que esse problema surge sempre que testamos muitas hipóteses nulas usando um valor crítico específico, como 5%, como ponto de corte para um valor-p, a fim de decidir se existe ou não uma diferença. O ponto de corte para um valor-p individual é chamado de taxa de erro individual. Na prática, mesmo que não exista nenhuma diferença, a probabilidade de concluir que existe pelo menos uma diferença, a taxa de erro da família, pode ser bastante alta.

Há vários procedimentos destinados a controlar a taxa de erro da família ao fazer comparações múltiplas. O mais simples é diminuir a taxa de erro individual, já que a taxa de erro da família é, em geral, uma função crescente dessa quantidade. É essa a abordagem que adotamos aqui, e contamos com um software estatístico para calcular e informar a taxa de erro da família. Chamamos esse procedimento de teste de comparações múltiplas de Fisher.

Verificação do Modelo

Para verificar o modelo, olhamos os resíduos padronizados (ver o Problema 10.4.17), dados por \begin{equation} \frac{y_{ij} - \bar{y}_i}{s\sqrt{1 - \frac{1}{n_i}}}. \tag{10.4.2} \end{equation} Vamos nos restringir a vários gráficos dos resíduos padronizados para a verificação do modelo.

Consideramos agora um exemplo.

10.4.2 Medidas Repetidas (Comparações Pareadas)

Considere \(k\) variáveis quantitativas \(Y_1, \ldots, Y_k\) definidas numa população \(\Pi\). Suponha que o nosso objetivo seja comparar as distribuições dessas variáveis. Em geral, serão variáveis semelhantes, todas medidas nas mesmas unidades.

A abordagem de medidas repetidas para o problema de comparar as distribuições de \(Y_1, \ldots, Y_k\) consiste em tomar uma amostra aleatória \(\pi_1, \ldots, \pi_n\) de \(\Pi\) e, para cada \(\pi_i\), obter o valor \(k\)-dimensional \((Y_1(\pi_i), \ldots, Y_k(\pi_i))\) \({}= (y_{i1}, \ldots, y_{ik})\). Isso dá uma amostra de tamanho \(n\) de uma distribuição \(k\)-dimensional. Evidentemente, isso se chama medidas repetidas porque estamos tomando as medições \(Y_1(\pi_i), \ldots, Y_k(\pi_i)\) no mesmo \(\pi_i\).

Uma alternativa às medidas repetidas é tomar \(k\) amostras independentes de \(\Pi\) e, para cada uma delas, obter os valores de uma e apenas uma das variáveis \(Y_i\). Há um motivo importante para preferir a abordagem de medidas repetidas: esperamos menos variação nos valores das diferenças, como \(Y_i - Y_j\), na amostragem com medidas repetidas do que na amostragem independente, porque, nas medidas repetidas, os valores \(Y_1(\pi), \ldots, Y_k(\pi)\) são tomados no mesmo membro da população.

Para ver isso com mais clareza, suponha que todas as variâncias e covariâncias existem para a distribuição conjunta de \(Y_1, \ldots, Y_k\). Isso implica que \begin{equation} \Var(Y_i - Y_j) = \Var(Y_i) + \Var(Y_j) - 2\Cov(Y_i, Y_j). \tag{10.4.3} \end{equation} Como \(Y_i\) e \(Y_j\) são variáveis semelhantes, medidas no mesmo indivíduo, esperamos que sejam positivamente correlacionadas. Já com amostragem independente, temos que \(\Var\bigl(Y_i - Y_j\bigr)\) \({}= \Var(Y_i) + \Var(Y_i)\), então as variâncias das diferenças devem ser menores com medidas repetidas do que com amostragem independente.⁸⁵

Quando supomos que as distribuições das \(Y_i\) diferem no máximo em suas médias, faz sentido fazer inferências sobre as diferenças das médias populacionais \(\mu_i - \mu_j\) usando as diferenças das médias amostrais \(\bar{y}_i - \bar{y}_j\). No contexto de medidas repetidas, podemos escrever \[ \bar{y}_i - \bar{y}_j = \frac{1}{n} \sum_{l=1}^{n} (y_{li} - y_{lj}). \] Como as parcelas individuais dessa soma são independentes, temos \[ \Var(\bar{Y}_i - \bar{Y}_j) = \frac{\Var(Y_i) + \Var(Y_j) - 2\Cov(Y_i, Y_j)}{n}. \]

Podemos considerar as diferenças \(d_1 = y_{1i} - y_{1j}, \ldots, d_n\) \({}= y_{ni} - y_{nj}\) como uma amostra de tamanho \(n\) de uma distribuição unidimensional com média \(\mu_i - \mu_j\) e variância \(\sigma^2\) dada por (10.4.3). Assim, estimamos \(\mu_i - \mu_j\) por \(\bar{d} = \bar{y}_i - \bar{y}_j\) e estimamos \(\sigma^2\) por \begin{equation} s^2 = \frac{1}{n - 1} \sum_{i=1}^{n} \bigl(d_i - \bar{d}\bigr)^2. \tag{10.4.4} \end{equation}

Se supusermos que a distribuição conjunta de \(Y_1, \ldots, Y_k\) é normal multivariada (isso significa que qualquer combinação linear dessas variáveis tem distribuição normal — ver o Problema 9.1.18), então a distribuição de \(Y_i - Y_j\) é forçosamente \(N(\mu_i - \mu_j, \sigma^2)\). Assim, temos à disposição todas as técnicas univariadas discutidas no Capítulo 6 para fazer inferências sobre \(\mu_i - \mu_j\).

Até aqui, a discussão foi sobre se as distribuições das variáveis diferiam. Supondo que essas distribuições difiram no máximo em suas médias, isso leva a uma comparação das médias. Podemos, no entanto, registrar uma observação como \((X, Y)\), em que \(X\) assume valores em \(\{1, \ldots, k\}\) e \(X = i\) significa que \(Y = Y_i\). Então, a distribuição condicional de \(Y\) dado \(X = i\) é igual à distribuição de \(Y_i\). Portanto, se concluímos que as distribuições das \(Y_i\) são diferentes, podemos concluir que existe uma relação entre \(Y\) e \(X\). No Exemplo 10.4.2, isso significa que existe uma relação entre a nota de um estudante e o fato de a nota ser de cálculo ou de física. No Exemplo 10.4.3, isso significa que existe uma relação entre a duração de uma dor de cabeça e o tratamento.

Quando podemos afirmar que tal relação é de fato uma relação de causa e efeito? Aplicando a discussão da Seção 10.1.2, sabemos que temos de ser capazes de atribuir o valor de \(X\) a um elemento da população selecionado ao acaso. No Exemplo 10.4.2, vemos que isso é impossível, e então não podemos afirmar que tal relação seja uma relação de causa e efeito. No Exemplo 10.4.3, porém, podemos de fato fazer isso: para um indivíduo selecionado ao acaso, atribuímos aleatoriamente um tratamento à primeira dor de cabeça que ele tiver durante o período do estudo e então aplicamos o outro tratamento à segunda dor de cabeça que ele tiver durante o período do estudo.

Uma discussão completa de medidas repetidas exige conceitos mais avançados de estatística. Restringimos agora a nossa atenção à apresentação de um exemplo com \(k = 2\), situação que costuma ser chamada de comparações pareadas.

10.4.3 Dois Preditores Categóricos (ANOVA com Dois Fatores)

Suponha agora que temos uma única resposta quantitativa \(Y\) e dois preditores categóricos \(A\) e \(B\), em que \(A\) assume \(a\) níveis e \(B\) assume \(b\) níveis. Uma possibilidade é considerar fazer dois estudos com um fator. Um estudo examinará a relação entre \(Y\) e \(A\), e o segundo examinará a relação entre \(Y\) e \(B\). Há, no entanto, várias desvantagens nessa abordagem.

Primeiro, e talvez mais importante, fazer duas análises separadas não nos permitirá determinar a relação conjunta que \(A\) e \(B\) têm com \(Y\). Isso se relaciona diretamente com o conceito de interação entre preditores. Logo definiremos esse conceito com mais precisão, mas, basicamente, se \(A\) e \(B\) interagem, então a relação condicional entre \(Y\) e \(A\), dado \(B = j\), muda de modo substancial à medida que mudamos \(j\). Se os preditores \(A\) e \(B\) não interagem, então de fato poderemos examinar a relação entre a resposta e cada um dos preditores separadamente. Mas quase nunca sabemos de antemão que é esse o caso, e precisamos avaliar se existe ou não uma interação com base nos dados coletados.

Um segundo motivo para incluir os dois preditores na análise é que isso muitas vezes leva a uma redução da contribuição do erro aleatório para os resultados. Com isso, queremos dizer que poderemos explicar parte da variação observada em \(Y\) pela inclusão da segunda variável no modelo. Isso depende, porém, de a variável adicional ter uma relação com a resposta. Além disso, para que a inclusão de uma segunda variável valha a pena, essa relação precisa ser forte o bastante para justificar a perda de graus de liberdade disponíveis para a estimação da contribuição do erro aleatório para os resultados experimentais. Como veremos, incluir a segunda variável na análise resulta numa redução dos graus de liberdade na linha do Erro da tabela ANOVA. Aqui, os graus de liberdade fazem o papel do tamanho da amostra. Quanto menos graus de liberdade houver na linha do Erro, menos precisa será nossa estimativa de \(\sigma^2\).

Quando incluímos os dois preditores na análise e temos a oportunidade de determinar o processo de amostragem, é importante que cruzemos os preditores. Com isso, queremos dizer que observamos \(Y\) em cada combinação \[ (A, B) = (i, j) \in \{1, \ldots, a\} \times \{1, \ldots, b\}. \] Suponha, então, que temos \(n_{ij}\) valores da resposta no nível \((A, B) = (i, j)\) dos preditores. Então, sendo \[ E(Y \mid (A, B) = (i, j)) = \beta_{ij} \] a resposta média quando \(A = i\) e \(B = j\), e introduzindo as variáveis indicadoras \[ X_{ij} = \begin{cases} 1 & A = i, B = j \\ 0 & A \neq i \text{ ou } B \neq j, \end{cases} \] podemos escrever \begin{align*} E(Y \mid X_{ij} = x_{ij} \text{ para todo } i, j) &= \beta_{11}x_{11} + \beta_{21}x_{21} + \cdots + \beta_{ab}x_{ab} \\ &= \sum_{i=1}^{a}\sum_{j=1}^{b} \beta_{ij}x_{ij}. \end{align*} A relação entre \(Y\) e os preditores está inteiramente contida nas mudanças dos \(\beta_{ij}\) à medida que \(i\) e \(j\) mudam. Daí vemos que um modelo de regressão para essa situação é imediatamente um modelo de regressão linear.

Inferências sobre Médias Individuais e Diferenças de Médias

Seja agora \(y_{ijk}\) o \(k\)-ésimo valor da resposta quando \(X_{ij} = 1\). Então, como na Seção 10.4.1, a estimativa de mínimos quadrados de \(\beta_{ij}\) é dada por \[ b_{ij} = \bar{y}_{ij} = \frac{1}{n_{ij}} \sum_{k=1}^{n_{ij}} y_{ijk}, \] a média das observações quando \(X_{ij} = 1\). Se, além disso, supusermos que as distribuições condicionais de \(Y\), dados os preditores, têm todas variância igual a \(\sigma^2\), então, com \(N = n_{11} + n_{21} + \cdots + n_{ab}\), temos que \begin{equation} s^2 = \frac{1}{N - ab} \sum_{i=1}^{a}\sum_{j=1}^{b}\sum_{k=1}^{n_{ij}} \left(y_{ijk} - \bar{y}_{ij}\right)^2 \tag{10.4.5} \end{equation} é um estimador não viesado de \(\sigma^2\). Portanto, usando (10.4.5), o erro padrão de \(\bar{y}_{ij}\) é dado por \(s/\sqrt{n_{ij}}\).

Com a hipótese de normalidade, temos que \(\bar{Y}_{ij} \sim N(\beta_{ij}, \sigma^2/n_{ij})\), independente de \[ \frac{(N - ab)\,S^2}{\sigma^2} \sim \chi^2(N - ab). \] Isso leva aos intervalos de confiança \(\gamma\) \[ \bar{y}_{ij} \pm \frac{s}{\sqrt{n_{ij}}}\, t_{(1+\gamma)/2}(N - ab) \] para \(\beta_{ij}\) e \[ \bar{y}_{ij} - \bar{y}_{kl} \pm s\sqrt{\frac{1}{n_{ij}} + \frac{1}{n_{kl}}}\; t_{(1+\gamma)/2}(N - ab) \] para a diferença de médias \(\beta_{ij} - \beta_{kl}\).

A ANOVA para Avaliar a Interação e as Relações com os Preditores

Queremos saber se existe ou não alguma relação entre \(Y\) e os preditores. Não há relação entre a resposta e os preditores se e somente se todos os \(\beta_{ij}\) são iguais. Antes de testar isso, porém, é costume testar a hipótese nula de que não há interação entre os preditores. A definição precisa de ausência de interação aqui é que \[ \beta_{ij} = \mu_i + \upsilon_j \] para todo \(i\) e \(j\), para certas constantes \(\mu_i\) e \(\upsilon_j\), isto é, as médias podem ser expressas de forma aditiva. Note que, se fixamos \(B = j\) e deixamos \(A\) variar, então essas curvas de resposta (uma curva de resposta é um gráfico das médias de uma variável mantendo fixo o valor da segunda variável) são todas paralelas. Essa é uma maneira equivalente de dizer que não há interação entre os preditores.

Na Figura 10.4.5, representamos curvas de resposta em que os fatores não interagem, e na Figura 10.4.6 representamos curvas de resposta em que eles interagem. Note que as linhas cheias, por exemplo a que liga \(\beta_{11}\) e \(\beta_{21}\), estão lá só para facilitar a visualização do paralelismo (ou da falta dele) e não têm nenhum outro significado.

Para testar a hipótese nula de ausência de interação, precisamos primeiro ajustar o modelo em que \(\beta_{ij} = \mu_i + \upsilon_j\), isto é, encontrar as estimativas de mínimos quadrados dos \(\beta_{ij}\) sob essas restrições. Não vamos desenvolver aqui a matemática para obter essas estimativas; vamos contar com o software para fazer isso por nós e para calcular a soma de quadrados relevante para testar a hipótese nula de ausência de interação (pelos resultados da Seção 10.3.4, sabemos que ela é obtida pela diferença entre a soma de quadrados da regressão obtida do modelo completo e a soma de quadrados da regressão obtida do modelo sem interação).

Se decidimos que existe uma interação, então é imediato que tanto \(A\) quanto \(B\) têm efeito sobre \(Y\) (se \(A\) não tem efeito, então \(A\) e \(B\) não podem interagir — veja o Problema 10.4.16); precisamos olhar as diferenças entre os \(\bar{y}_{ij}\) para determinar a forma da relação. Se decidimos que não existe interação, então \(A\) tem efeito se e somente se os \(\mu_i\) variam, e \(B\) tem efeito se e somente se os \(\upsilon_j\) variam. Podemos testar a hipótese nula \(H_0 : \mu_1 = \cdots = \mu_a\) de nenhum efeito devido a \(A\) e a hipótese nula \(H_0 : \upsilon_1 = \cdots = \upsilon_b\) de nenhum efeito devido a \(V\),⁸⁸ separadamente, depois de decidir que não existe interação.

Os detalhes da obtenção das somas de quadrados relevantes para todas essas hipóteses não são tratados aqui, mas muitos pacotes estatísticos produzem uma tabela ANOVA, como a dada abaixo.

Note que, se tivéssemos incluído apenas \(A\) no modelo, então haveria \(N - a\) graus de liberdade para a estimação de \(\sigma^2\). Ao incluir \(B\), perdemos \((N - a) - (N - ab) = a(b - 1)\) graus de liberdade para a estimação de \(\sigma^2\).

Usando essa tabela, primeiro avaliamos a hipótese nula \(H_0 :\) não há interação entre \(A\) e \(B\), usando \(F \sim F((a - 1)(b - 1), N - ab)\) sob \(H_0\), por meio do valor-p \[ P\left(F > \frac{\mathrm{RSS}(A \times B)/(a - 1)(b - 1)}{s^2}\right), \] em que \(s^2\) é dado por (10.4.5). Se decidimos que não existe interação, então avaliamos a hipótese nula \(H_0 :\) nenhum efeito devido a \(A\), usando \(F \sim F(a - 1, N - ab)\) sob \(H_0\), por meio do valor-p \[ P\left(F > \frac{\mathrm{RSS}(A)/(a - 1)}{s^2}\right), \] e avaliamos \(H_0 :\) nenhum efeito devido a \(B\), usando \(F \sim F(b - 1, N - ab)\) sob \(H_0\), por meio do valor-p \[ P\left(F > \frac{\mathrm{RSS}(B)/(b - 1)}{s^2}\right). \]

Verificação do Modelo

Para verificar o modelo, olhamos os resíduos padronizados, dados por (veja o Problema 10.4.18) \begin{equation} \frac{y_{ijk} - \bar{y}_{ij}}{s\sqrt{1 - 1/n_{ij}}}. \tag{10.4.6} \end{equation} Vamos nos restringir a vários gráficos dos resíduos padronizados para a verificação do modelo.

Consideramos um exemplo de uma análise com dois fatores.

10.4.4 Blocos Aleatorizados

Com modelos de dois fatores, em geral queremos investigar se cada um desses fatores tem ou não uma relação com a resposta \(Y\). Suponha, porém, que sabemos que um fator \(B\) tem uma relação com \(Y\) e que queremos investigar se outro fator \(A\) tem ou não uma relação com \(Y\). Devemos fazer um experimento com um fator usando o preditor \(A\), ou um experimento com dois fatores incluindo o fator \(B\)?

A resposta é a que demos no início da Seção 10.4.2. Incluir o fator \(B\) nos permitirá, se \(B\) responder por boa parte da variação observada, fazer comparações mais precisas. Note, porém, que, se \(B\) não tem um efeito substancial sobre \(Y\), então sua inclusão será um desperdício, pois sacrificamos \(a(b - 1)\) graus de liberdade que, de outro modo, iriam para a estimação de \(\sigma^2\).

Por isso é importante que de fato saibamos que \(B\) tem um efeito substancial. Nesse caso, dizemos que \(B\) é uma variável de bloqueio. De novo, é importante que a variável de bloqueio \(B\) seja cruzada com \(A\). Então podemos testar qualquer efeito devido a \(A\) testando primeiro se há interação entre \(A\) e \(B\); se nenhuma interação for encontrada, testamos um efeito devido só a \(A\), exatamente como discutimos na Seção 10.4.3.

Um caso especial do uso de uma variável de bloqueio ocorre quando temos \(n_{ij} = 1\) para todo \(i\) e \(j\). Nesse caso, \(N = ab\), de modo que não há graus de liberdade disponíveis para a estimação do erro. Na verdade, temos que (veja o Problema 10.4.19) \(s^2 = 0\). Ainda assim, esse delineamento tem valor prático, desde que estejamos dispostos a supor que não há interação entre \(A\) e \(B\). Ele é chamado de delineamento em blocos aleatorizados⁹².

Para um delineamento em blocos aleatorizados, temos que \begin{equation} s^2 = \frac{\mathrm{RSS}(A \times B)}{(a - 1)(b - 1)} \tag{10.4.8} \end{equation} é uma estimativa não viesada de \(\sigma^2\), e assim temos \((a - 1)(b - 1)\) graus de liberdade para a estimação do erro. Claro, isso não estará correto se \(A\) e \(B\) interagirem, mas, quando não interagem, esse pode ser um delineamento altamente eficiente, pois removemos o efeito da variação devida a \(B\) e precisamos de apenas \(ab\) observações para isso. Quando o delineamento em blocos aleatorizados é adequado, testamos um efeito devido a \(A\), usando \(F \sim F(a - 1, (a - 1)(b - 1))\) sob \(H_0\), por meio do valor-p \[ P\left(F > \frac{\mathrm{RSS}(A)/(a - 1)}{s^2}\right). \]

10.4.5 Um Preditor Categórico e Um Preditor Quantitativo

Também é possível que a resposta seja quantitativa enquanto alguns dos preditores são categóricos e outros são quantitativos. Consideramos agora a situação em que temos um preditor categórico \(A\), que assume \(a\) valores, e um preditor quantitativo \(W\). Supomos que o modelo de regressão se aplica. Além disso, restringimos nossa atenção à situação em que supomos que, dentro de cada nível de \(A\), a resposta média varia como⁹³ \[ E(Y \mid (A, W)) = (i, w) = \beta_{i1} + \beta_{i2} w, \] de modo que temos um modelo de regressão linear simples dentro de cada nível de \(A\).

Se introduzirmos as variáveis indicadoras \[ X_{ij} = \begin{cases} W^{j-1} & A = i \\ 0 & A \neq i \end{cases} \] para \(i = 1, \ldots, a\) e \(j = 1, 2\), então podemos escrever o modelo de regressão linear como \[ E\bigl(Y \mid \bigl(X_{ij}\bigr) = \bigl(x_{ij}\bigr)\bigr) = (\beta_{11} x_{11} + \beta_{12} x_{12}) + \cdots + (\beta_{a1} x_{a1} + \beta_{a2} x_{a2}). \] Aqui, \(\beta_{i1}\) é o intercepto e \(\beta_{i2}\) é a inclinação que especifica a relação entre \(Y\) e \(W\) quando \(A = i\). Os métodos da Seção 10.3.4 ficam então disponíveis para a inferência sobre esse modelo.

Também temos uma noção de interação nesse contexto, pois dizemos que os dois preditores interagem se as inclinações das retas variam entre os níveis de \(A\). Assim, dizer que não existe interação é o mesmo que dizer que as curvas de resposta são paralelas quando representadas graficamente para cada nível de \(A\). Se existe uma interação, então é certo que tanto \(A\) quanto \(W\) têm efeito sobre \(Y\). Logo, a hipótese nula de que não existe interação é equivalente a \(H_0 : \beta_{12} = \cdots = \beta_{a2}\).

Se decidirmos que não existe interação, então podemos testar a ausência de efeito devido a \(W\) testando a hipótese nula de que a inclinação comum é igual a 0, ou podemos testar a hipótese nula de que não há efeito devido a \(A\) testando \(H_0 : \beta_{11} = \cdots = \beta_{a1}\), isto é, que os termos de intercepto são os mesmos em todos os níveis de \(A\).

Não aprofundamos aqui a análise desse modelo. Existem, porém, programas estatísticos que calculam a tabela ANOVA pertinente para avaliar as várias hipóteses nulas.

Análise de Covariância

Suponha que estamos conduzindo um experimento planejado e que, para cada unidade experimental, podemos medir, mas não controlar, uma variável quantitativa \(W\) que acreditamos ter efeito sobre a resposta \(Y\). Se o efeito dessa variável for apreciável, então a boa prática estatística sugere que incluamos essa variável no modelo, pois assim reduziremos a contribuição do erro para os nossos resultados experimentais e, portanto, faremos comparações mais precisas. É claro que pagamos um preço ao fazer isso, pois perdemos graus de liberdade que, de outro modo, estariam disponíveis para a estimação do erro. Por isso, precisamos ter certeza de que \(W\) tem de fato um efeito significativo nesse caso. Além disso, não testamos se essa variável tem efeito, já que presumivelmente sabemos que ela tem. Essa técnica é chamada de análise de covariância e é, evidentemente, semelhante em natureza ao uso de variáveis de bloqueio.

Exercícios

10.4.1 Os seguintes valores de uma resposta \(Y\) foram obtidos para três valores de um preditor categórico \(A\).

Suponha que adotamos para esses dados o modelo de regressão normal com um preditor categórico. (a) Produza boxplots lado a lado dos dados.(b) Faça o gráfico dos resíduos padronizados contra \(A\) (se você estiver usando um computador para os cálculos, produza também um gráfico de probabilidade normal dos resíduos padronizados). Isso lhe dá motivos para suspeitar que as hipóteses do modelo estejam incorretas?(c) Faça uma ANOVA com um fator para testar se há alguma diferença entre as médias condicionais de \(Y\) dado \(A\).(d) Se for o caso, construa intervalos de confiança 0,95 para as diferenças entre as médias e resuma suas conclusões.

10.4.2 Os seguintes valores de uma resposta \(Y\) foram obtidos para três valores de um preditor categórico \(A\).

Suponha que adotamos para esses dados o modelo de regressão normal com um preditor categórico. (a) Produza boxplots lado a lado dos dados.(b) Faça o gráfico dos resíduos padronizados contra \(A\) (se você estiver usando um computador para os cálculos, produza também um gráfico de probabilidade normal dos resíduos padronizados). Isso lhe dá motivos para suspeitar que as hipóteses do modelo estejam incorretas?(c) Se surgirem dúvidas sobre a validade do modelo, você consegue “consertar” o problema?(d) Se você conseguiu consertar os problemas encontrados no modelo, faça uma ANOVA com um fator para testar se há diferenças entre as médias condicionais de \(Y\) dado \(A\).(e) Se for o caso, construa intervalos de confiança 0,95 para as diferenças entre as médias e resuma suas conclusões.

10.4.3 A tabela a seguir dá o teor percentual de umidade de dois tipos diferentes de queijo, determinado por amostragem aleatória de lotes de queijo do processo de produção.

Suponha que adotamos para esses dados o modelo de regressão normal com um preditor categórico. (a) Produza boxplots lado a lado dos dados.(b) Faça o gráfico dos resíduos padronizados contra Queijo (se você estiver usando um computador para os cálculos, produza também um gráfico de probabilidade normal dos resíduos padronizados). Isso lhe dá motivos para suspeitar que as hipóteses do modelo estejam incorretas?(c) Faça uma ANOVA com um fator para testar se há diferenças entre as médias condicionais de \(Y\) dado Queijo. Observe que isso é o mesmo que um teste \(t\) para a diferença entre as médias.

10.4.4 Num experimento, ratos foram alimentados com uma ração padrão durante 100 dias, com várias quantidades de gossipol adicionadas. Foram registrados os seguintes ganhos de peso, em gramas.

Suponha que adotamos para esses dados o modelo de regressão normal e tratamos o gossipol como um preditor categórico com cinco níveis. (a) Crie um gráfico de boxplots lado a lado dos dados. Isso lhe dá algum motivo para se preocupar com as hipóteses subjacentes a uma análise baseada no modelo de regressão normal?(b) Produza um gráfico dos resíduos padronizados contra o fator gossipol (se você estiver usando um computador para os cálculos, produza também um gráfico de probabilidade normal dos resíduos padronizados). Quais são suas conclusões?(c) Faça uma ANOVA com um fator para testar se há diferenças entre as respostas médias para as diferentes quantidades de gossipol.(d) Calcule intervalos de confiança 0,95 para todas as diferenças de médias duas a duas e resuma suas conclusões.

10.4.5 Numa investigação sobre o efeito da deficiência de oligoelementos numa variável \(Y\) medida em ovelhas, foram obtidos os dados da tabela a seguir.

Suponha que adotamos para esses dados o modelo de regressão normal com um preditor categórico. (a) Produza boxplots lado a lado dos dados.(b) Faça o gráfico dos resíduos padronizados contra o preditor (se você estiver usando um computador para os cálculos, produza também um gráfico de probabilidade normal dos resíduos padronizados). Isso lhe dá motivos para suspeitar que as hipóteses do modelo estejam incorretas?(c) Faça uma ANOVA com um fator para testar se há diferenças entre as médias condicionais de \(Y\) dado o preditor.(d) Se for o caso, construa intervalos de confiança 0,95 para todas as diferenças entre as médias duas a duas e resuma suas conclusões.

10.4.6 Duas dietas foram dadas a amostras de porcos durante um período de tempo, e foram registrados os seguintes ganhos de peso (em libras).

Suponha que adotamos para esses dados o modelo de regressão normal. (a) Produza boxplots lado a lado dos dados.(b) Faça o gráfico dos resíduos padronizados contra Dieta. Produza também um gráfico de probabilidade normal dos resíduos padronizados. Isso lhe dá motivos para suspeitar que as hipóteses do modelo estejam incorretas?(c) Faça uma ANOVA com um fator para testar se há diferença entre as médias condicionais de \(Y\) dado Dieta.(d) Construa intervalos de confiança 0,95 para as diferenças entre as médias.

10.4.7 Dez alunos foram selecionados aleatoriamente entre os alunos de uma universidade que cursaram cálculo do primeiro ano e estatística do primeiro ano. Suas notas nessas disciplinas estão registradas na tabela a seguir.

Suponha que adotamos para esses dados o modelo de regressão normal. (a) Produza boxplots lado a lado dos dados.(b) Tratando as notas de cálculo e de estatística como amostras separadas, faça uma ANOVA com um fator para testar se há alguma diferença entre a nota média em cálculo e a nota média em estatística. Produza os gráficos apropriados para verificar as hipóteses do modelo.(c) Agora leve em conta que cada aluno tem uma nota de cálculo e uma nota de estatística e teste se há alguma diferença entre a nota média em cálculo e a nota média em estatística. Produza os gráficos apropriados para verificar as hipóteses do modelo. Compare seus resultados com os obtidos na parte (b).(d) Estime a correlação entre as notas de cálculo e de estatística.

10.4.8 Os dados a seguir foram registrados em Statistical Methods, 6.ª ed., de G. Snedecor e W. Cochran (Iowa State University Press, Ames, 1967), e representam o número médio de flósculos observados em plantas de sete parcelas. Cada planta foi cultivada a partir de cormos altos ou de cormos baixos (um tipo de caule subterrâneo).

Suponha que adotamos para esses dados o modelo de regressão normal. (a) Produza boxplots lado a lado dos dados.(b) Tratando as medições de Cormo Alto e de Cormo Baixo como amostras separadas, faça uma ANOVA com um fator para testar se há alguma diferença entre as médias populacionais. Produza os gráficos apropriados para verificar as hipóteses do modelo.(c) Agora leve em conta que cada parcela tem uma medição de Cormo Alto e uma de Cormo Baixo. Compare seus resultados com os obtidos na parte (b). Produza os gráficos apropriados para verificar as hipóteses do modelo.(d) Estime a correlação entre as notas de cálculo e de estatística.⁹⁴

10.4.9 Suponha que duas medições, \(Y_1\) e \(Y_2\), correspondentes a tratamentos diferentes, são feitas no mesmo indivíduo, amostrado aleatoriamente de uma população \(\Pi\). Suponha que \(Y_1\) e \(Y_2\) têm a mesma variância e são negativamente correlacionadas. Nosso objetivo é comparar as médias dos tratamentos. Explique por que teria sido melhor amostrar aleatoriamente dois indivíduos de \(\Pi\) e aplicar os tratamentos a esses indivíduos separadamente. (Sugestão: considere \(\Var(Y_1 - Y_2)\) nessas duas situações de amostragem.)

10.4.10 Liste as hipóteses subjacentes à validade do teste ANOVA com um fator discutido na Seção 10.4.1.

10.4.11 Liste as hipóteses subjacentes à validade do teste de comparação pareada discutido na Seção 10.4.2.

10.4.12 Liste as hipóteses subjacentes à validade do teste ANOVA com dois fatores discutido na Seção 10.4.3.

10.4.13 Liste as hipóteses subjacentes à validade do teste usado com o delineamento em blocos aleatorizados, discutido na Seção 10.4.4, quando \(n_{ij} = 1\) para todo \(i\) e \(j\).

Problemas

10.4.14 Prove que \(\sum_{i=1}^{a} \sum_{j=1}^{n_i} \bigl(y_{ij} - \beta_i\bigr)^2\) é minimizada, como função dos \(\beta_i\), por \(\beta_i = \bar{y}_i\) \({}= \bigl(y_{i1} + \cdots + y_{in_i}\bigr)/n_i\) para \(i = 1, \ldots, a\).

10.4.15 Prove que \[ \sum_{i=1}^{a} \sum_{j=1}^{n_i} \bigl(y_{ij} - \bar{y}\bigr)^2 = \sum_{i=1}^{a} n_i \bigl(\bar{y}_i - \bar{y}\bigr)^2 + \sum_{i=1}^{a} \sum_{j=1}^{n_i} \bigl(y_{ij} - \bar{y}_i\bigr)^2, \] em que \(\bar{y}_i = \bigl(y_{i1} + \cdots + y_{in_i}\bigr)/n_i\) e \(\bar{y}\) é a média geral.

10.4.16 Argumente que, se a relação entre uma resposta quantitativa \(Y\) e dois preditores categóricos \(A\) e \(B\) é dada por um modelo de regressão linear, então \(A\) e \(B\) têm ambos efeito sobre \(Y\) sempre que \(A\) e \(B\) interagem. (Sugestão: o que significa, em termos de curvas de resposta, existir uma interação, e existir um efeito devido a \(A\)?)

10.4.17 Mostre que (10.4.2) é a expressão adequada para o resíduo padronizado no modelo de regressão linear com um preditor categórico.

10.4.18 Mostre que (10.4.6) é a expressão adequada para o resíduo padronizado no modelo de regressão linear com dois preditores categóricos.

10.4.19 Mostre que \(s^2 = 0\) no modelo de regressão linear com dois preditores categóricos quando \(n_{ij} = 1\) para todo \(i\) e \(j\).

10.4.20 Como você avaliaria, depois de coletar os dados, se o delineamento em blocos aleatorizados era ou não apropriado?

Problemas computacionais

10.4.21 Use um programa apropriado para fazer o teste de comparações múltiplas de Fisher com os dados do Exercício 10.4.5, de modo que a taxa de erro da família fique entre 0,04 e 0,05. Que taxa de erro individual é necessária?

10.4.22 Considere os dados do Exercício 10.4.3, mas suponha agora que também levamos em conta que os queijos foram feitos em lotes, cada um correspondendo a uma rodada de produção. Registrando os dados dessa maneira, obtemos a tabela a seguir.

Suponha que adotamos para esses dados o modelo de regressão normal com dois preditores categóricos. (a) Produza boxplots lado a lado dos dados para cada tratamento.(b) Produza uma tabela das médias das caselas.(c) Produza um gráfico de probabilidade normal dos resíduos padronizados e um gráfico dos resíduos padronizados contra cada combinação de tratamentos (codifique as combinações de tratamentos de modo que haja um único inteiro correspondente a cada uma). Comente a validade do modelo.(d) Construa a tabela ANOVA testando primeiro a ausência de interação entre \(A\) e \(B\) e, se necessário, um efeito devido a \(A\) e um efeito devido a \(B\).(e) Com base nos resultados da parte (d), construa a tabela de médias apropriada, faça o gráfico da curva de resposta correspondente e faça todas as comparações duas a duas entre as médias.(f) Compare seus resultados com os obtidos no Exercício 10.4.4 e comente as diferenças.⁹⁵

10.4.23 Foi conduzido um experimento planejado com dois fatores, sendo \(A\) e \(B\) ambos variáveis categóricas com três valores. Cada tratamento foi aplicado quatro vezes, e foram obtidos os seguintes valores da resposta.

Suponha que adotamos para esses dados o modelo de regressão normal com dois preditores categóricos. (a) Produza boxplots lado a lado dos dados para cada tratamento.(b) Produza uma tabela das médias das caselas.(c) Produza um gráfico de probabilidade normal dos resíduos padronizados e um gráfico dos resíduos padronizados contra cada combinação de tratamentos (codifique as combinações de tratamentos de modo que haja um único inteiro correspondente a cada uma). Comente a validade do modelo.(d) Construa a tabela ANOVA testando primeiro a ausência de interação entre \(A\) e \(B\) e, se necessário, um efeito devido a \(A\) e um efeito devido a \(B\).(e) Com base nos resultados da parte (d), construa a tabela de médias apropriada, faça o gráfico das curvas de resposta correspondentes e faça todas as comparações duas a duas entre as médias.

10.4.24 Uma pasta química é produzida em partidas e colocada em barris. Dez partidas entregues foram selecionadas aleatoriamente para teste; em seguida, três barris foram selecionados aleatoriamente de cada entrega, e a resistência da pasta foi medida duas vezes, com base em amostras retiradas de cada barril amostrado. A resposta foi expressa como porcentagem da resistência de enchimento.⁹⁶ Os dados coletados estão na tabela a seguir. Suponha que adotamos para esses dados o modelo de regressão normal com dois preditores categóricos.

(a) Produza boxplots lado a lado dos dados para cada tratamento.(b) Produza uma tabela das médias das caselas.(c) Produza um gráfico de probabilidade normal dos resíduos padronizados e um gráfico dos resíduos padronizados contra cada combinação de tratamentos (codifique as combinações de tratamentos de modo que haja um único inteiro correspondente a cada uma). Comente a validade do modelo.(d) Construa a tabela ANOVA testando primeiro a ausência de interação entre Partida e Barril e, se necessário, a ausência de efeito devido a Partida e a ausência de efeito devido a Barril.(e) Com base nos resultados da parte (d), construa a tabela de médias apropriada e faça o gráfico das curvas de resposta correspondentes.

10.4.25 Os dados a seguir vêm de um delineamento em blocos aleatorizados, em que o fator \(B\) é a variável de bloqueio e corresponde a parcelas de terra nas quais se planta algodão. Cada parcela foi dividida em cinco subparcelas, e diferentes concentrações de fertilizante foram aplicadas a cada uma, sendo a resposta uma medida da resistência do algodão colhido. Havia três blocos e cinco concentrações diferentes de fertilizante. Observe que há uma única observação para cada combinação de bloco e concentração. Mais discussão desses dados pode ser encontrada em Experimental Design, 2.ª ed., de W. G. Cochran e G. M. Cox (John Wiley & Sons, Nova York, 1957, pp. 107–108). Suponha que adotamos o modelo de regressão normal com dois preditores categóricos.

(a) Construa a tabela ANOVA para testar a ausência de efeito devido ao fertilizante, que também remova a variação devida à variável de bloqueio.(b) Além das hipóteses habituais com que nos preocupamos, que hipótese adicional é necessária para essa análise?(c) Na verdade, o fator \(A\) é uma variável quantitativa. Se levássemos isso em conta ajustando um modelo com a mesma inclinação para cada bloco, mas com interceptos possivelmente diferentes, que benefício obteríamos?(d) Faça a análise sugerida na parte (c) e avalie se esse modelo faz ou não sentido para esses dados.

10.5 Resposta Categórica e Preditores Quantitativos

Consideramos agora a situação em que a resposta é categórica, mas pelo menos alguns dos preditores são quantitativos. A dificuldade essencial nesse contexto está nos preditores quantitativos, de modo que vamos nos concentrar na situação em que todos os preditores são quantitativos. Quando também há alguns preditores categóricos, eles podem ser tratados da mesma maneira, pois podemos substituir cada preditor categórico por um conjunto de variáveis quantitativas indicadoras, como discutido na Seção 10.4.5.

Por simplicidade, vamos restringir nossa atenção à situação em que a variável resposta \(Y\) é binária, e tomaremos esses valores como 0 e 1. Suponha, então, que haja \(k\) preditores quantitativos \(X_1, \ldots, X_k\). Como \(Y \in \{0, 1\}\), temos \[ E(Y \mid X_1 = x_1, \ldots, X_k = x_k) = P(Y = 1 \mid X_1 = x_1, \ldots, X_k = x_k) \in [0, 1]. \] Portanto, não podemos escrever \(E(Y \mid x_1, \ldots, x_k)\) \({}= \beta_1 x_1\) \({}+ \cdots + \beta_k x_k\) sem impor algumas restrições artificiais aos \(\beta_i\) para garantir que \(\beta_1 x_1 + \cdots\) \({}+ \beta_k x_k \in [0, 1]\).

Talvez a maneira mais simples de contornar isso seja usar uma função injetora⁹⁷ \(l : [0, 1] \to R^1\) e escrever \[ l(P(Y = 1 \mid X_1 = x_1, \ldots, X_k = x_k)) = \beta_1 x_1 + \cdots + \beta_k x_k, \] de modo que \[ P(Y = 1 \mid X_1 = x_1, \ldots, X_k = x_k) = l^{-1}(\beta_1 x_1 + \cdots + \beta_k x_k). \] Chamamos \(l\) de função de ligação⁹⁸. Há muitas escolhas possíveis para \(l\). Por exemplo, é imediato que podemos tomar como \(l\) qualquer fda inversa de uma distribuição contínua.

Se tomamos \(l = \Phi^{-1}\), isto é, a fda inversa da distribuição \(N(0, 1)\), isso se chama ligação probit. Uma ligação mais usada, por causa de algumas simplicidades matemáticas que lhe são inerentes, é a ligação logística⁹⁹, dada por \begin{equation} l(p) = \ln\left(\frac{p}{1 - p}\right). \tag{10.5.1}\end{equation} O lado direito de (10.5.1) é chamado de logito ou log da chance. A ligação logística é a fda inversa da distribuição logística (ver Exercício 10.5.1). Daqui em diante, vamos restringir nossa discussão à ligação logística.

A ligação logística implica que (ver Exercício 10.5.2) \begin{equation} P(Y = 1 \mid X_1 = x_1, \ldots, X_k = x_k) = \frac{\exp\{\beta_1 x_1 + \cdots + \beta_k x_k\}}{1 + \exp\{\beta_1 x_1 + \cdots + \beta_k x_k\}}, \tag{10.5.2}\end{equation} que é uma relação relativamente simples. Vemos imediatamente, no entanto, que¹⁰⁰ \begin{align*} &\Var(Y \mid X_1 = x_1, \ldots, X_k = x_k) \\ &\quad = P(Y = 1 \mid X_1 = x_1, \ldots, X_k) = x_k(1 - P(Y = 1 \mid X_1 = x_1, \ldots, X_k = x_k)), \end{align*} de modo que a variância da distribuição condicional de \(Y\), dados os preditores, depende dos valores dos preditores. Portanto, esses modelos não são, a rigor, modelos de regressão como os definimos. Ainda assim, quando usamos a função de ligação dada por (10.5.1), chamamos isso de modelo de regressão logística¹⁰¹.

Suponha agora que observemos \(n\) observações independentes \((x_{i1}, \ldots, x_{ik}, y_i)\) para \(i = 1, \ldots, n\). Temos então que, dado \((x_{i1}, \ldots, x_{ik})\), a resposta \(y_i\) é uma observação da distribuição \(\text{Bernoulli}(P(Y = 1 \mid X_1 = x_1, \ldots, X_k = x_k))\). Então (10.5.2) implica que a verossimilhança condicional, dados os valores dos preditores, é \[ \prod_{i=1}^{n} \left(\frac{\exp\{\beta_1 x_1 + \cdots + \beta_k x_k\}}{1 + \exp\{\beta_1 x_1 + \cdots + \beta_k x_k\}}\right)^{y_i} \left(\frac{1}{1 + \exp\{\beta_1 x_1 + \cdots + \beta_k x_k\}}\right)^{1 - y_i}. \]

A inferência sobre os \(\beta_i\) prossegue, então, pelos métodos de verossimilhança discutidos no Capítulo 6. Na verdade, precisamos usar um software para obter os EMVs e, como as distribuições amostrais exatas dessas quantidades não estão disponíveis, os métodos de grandes amostras discutidos na Seção 6.5 são usados para obter intervalos de confiança e valores-p aproximados. Observe que avaliar a hipótese nula \(H_0 : \beta_i = 0\) equivale a avaliar a hipótese nula de que o preditor \(X_i\) não tem relação com a resposta.

Ilustramos o uso da regressão logística com um exemplo.

Exercícios

10.5.1 Prove que a função \(f : R^1 \to R^1\), definida por \(f(x) = e^{-x}(1 + e^{-x})^{-2}\) para \(x \in R^1\), é uma função densidade¹⁰² com função de distribuição dada por \(F(x) = (1 + e^{-x})^{-1}\) e fda inversa dada por \(F^{-1}(p) = \ln p - \ln(1 - p)\) para \(p \in [0, 1]\). Ela é chamada de distribuição logística.

10.5.2 Demonstre (10.5.2).

10.5.3 Suponha que um modelo de regressão logística para uma resposta binária \(Y\) seja dado por \[ P(Y = 1 \mid x) = \frac{\exp\{\beta_1 + \beta_2 x\}}{1 + \exp\{\beta_1 + \beta_2 x\}}. \] Prove que o log da chance em \(X = x\) é dado por \(\beta_1 + \beta_2 x\).

10.5.4 Suponha que, em vez da fda logística inversa como função de ligação, usemos a fda inversa de uma distribuição de Laplace¹⁰³ (ver Problema 2.4.22). Determine a forma de \(P(Y = 1 \mid X_1 = x_1, \ldots, X_k = x_k)\).

10.5.5 Suponha que, em vez da fda logística inversa como função de ligação, usemos a fda inversa de uma distribuição de Cauchy¹⁰⁴ (ver Problema 2.4.21). Determine a forma de \(P(Y = 1 \mid X_1 = x_1, \ldots, X_k = x_k)\).

Exercícios computacionais

10.5.6 Use um software para reproduzir os resultados do Exemplo 10.5.1.

10.5.7 Suponha que os dados a seguir tenham sido obtidos para o preditor quantitativo \(X\) e a variável resposta binária \(Y\).

(a) Usando esses dados, ajuste o modelo de regressão logística dado por \[ P(Y = 1 \mid x) = \frac{\exp\{\beta_1 + \beta_2 x + \beta_3 x^2\}}{1 + \exp\{\beta_1 + \beta_2 x + \beta_3 x^2\}}. \](b) O modelo se ajusta aos dados?(c) Teste a hipótese nula \(H_0 : \beta_3 = 0\).(d) Se você concluir que não há efeito quadrático, reajuste o modelo e teste se há algum efeito linear.(e) Faça o gráfico de \(P(Y = 1 \mid x)\) como função de \(x\).

Problemas

10.5.8 Prove que (10.5.3) é a forma correta da estatística do teste qui-quadrado de aderência¹⁰⁵.

10.6 Demonstrações Adicionais (Avançado)