Teste variável dada

Queremos estimar valores de determinada variável y\,\!. Para isso, consideramos os valores de outra variável x\,\! que acreditamos ter poder de explicação sobre y\,\! conforme a fórmula:

y = \alpha + \beta x + \varepsilon ,\!

onde:

\alpha \,\!: Parâmetro do modelo chamado de constante (porque não depende de x\,\!).

\beta \,\!: Parâmetro do modelo chamado de coeficiente da variável x\,\!.

\varepsilon \,\!: Erro - representa a variação de y\,\! que não é explicada pelo modelo.

Também temos uma base de dados com n \,\! valores observados de y \,\! e de x \,\!. Perceba que, usando a base de dados, y \,\! e x \,\! são vetores, ou seja, representam uma lista de valores, um para cada observação da base de dados. O método dos mínimos quadrados ajuda a encontrar as estimativas de \alpha \,\! e \beta \,\!. Como o nome diz, serão somente estimativas desses parâmetros, porque o valor real dos parâmetros são desconhecidos. Portanto, ao fazer a estimativa, mudamos a notação de algumas variáveis:

\begin{align}

\alpha & \rightarrow a \\

\beta & \rightarrow b \\

\varepsilon & \rightarrow e

\end{align}

Para ilustrar isso, Heij5 menciona:

We do not know Greek but we can compute Latin

Não sabemos grego, mas podemos calcular em latim

Desse modo, ao estimar o modelo usando a base de dados, estamos estimando, na verdade:

y_i = a + b x_i + e_i \,\!

onde i \,\! indica cada uma das n \,\! observações da base de dados e e \,\! passa a ser chamado de resíduo, ao invés de erro. Em alguns livros, a notação para as estimativas dos parâmetros é um pouco diferente. Ao invés de substituir a letra, apenas adiciona-se o símbolo chapéu (\hat{ }).

O método dos mínimos quadrados minimiza a soma dos quadrado dos resíduos, ou seja, minimiza \sum_{i=1}^n e_i^2.

A ideia por trás dessa técnica é que, minimizando a soma do quadrado dos resíduos, encontraremos a \,\! e b\,\! que trarão a menor diferença entre a previsão de y\,\! e o y\,\! realmente observado.

Substituindo e_i \,\! por y_i - a - b x_i \,\!, temos:

S(a,b) = \sum_{i=1}^n \left( y_i - a - b x_i \right) ^2

A minimização se dá ao derivar S(a,b) \,\! em relação a a \,\! e b \,\! e igualar a zero:

\begin{align}

{\partial S \over \partial a} & = -2 \sum_{i=1}^n \left( y_i - a - b x_i \right) = 0 \\

{\partial S \over \partial b} & = -2 \sum_{i=1}^n x_i \left( y_i - a - b x_i \right) = 0 \\

\end{align}

Distribuindo e dividindo a primeira expressão por