Regresija

Regresijska linija za 50 slučajnih tačaka u Gaussovoj distribuciji oko linije y=1.5x+2

U statističkom modeliranju, regresijska analiza je statistička metoda za procjenu odnosa između zavisne varijable (često nazvane ishodna ili varijabla ili oznaka u žargonu mašinskog učenja) i jedne ili više nezavisnih varijabli (često nazvanih regresori, prediktori, kovarijable, objašnjavajuće varijable ili karakteristike).

Najčešći oblik regresijske analize je linearna regresija, u kojoj se pronalazi linija (ili složenija linearna kombinacija) koja najviše odgovara podacima prema određenom matematičkom kriteriju. Naprimjer, metoda običnih najmanjih kvadrata izračunava jedinstvenu liniju (ili hiperravan) koja minimizira zbir kvadrata razlika između istinitih podataka i te linije (ili hiperravni). Iz specifičnih matematičkih razloga (vidi linearna regresija), ovo omogućava istraživaču da procijeni uslovnog očekivanja (ili prosječnu vrijednost populacije) zavisne varijable kada nezavisne varijable poprime dati skup vrijednosti. Manje uobičajeni oblici regresije koriste malo drugačije postupke za procjenu alternativnih parametara lokacije (npr. kvantilna regresija ili Analiza neophodnih uslova) ili procijena uslovnog očekivanja na širem skupu nelinearnih modela (npr. neparametrijska regresija). Regresijska analiza se prvenstveno koristi za dvije konceptualno različite svrhe. Prvo, regresijska analiza se široko koristi za predviđanje i prognoziranje, gdje se njena upotreba značajno preklapa s područjem mašinskog učenja. Drugo, u nekim situacijama regresijska analiza se može koristiti za zaključivanje o posljedičnim vezama između nezavisnih i zavisnih varijabli. Važno je napomenuti da same regresije otkrivaju samo veze između zavisne varijable i skupa nezavisnih varijabli u fiksnom skupu podataka. Da bi koristio regresije za predviđanje ili za zaključivanje o uzročnim vezama, istraživač mora pažljivo opravdati zašto postojeće veze imaju prediktivnu moć za novi kontekst ili zašto veza između dvije varijable ima uzročnu interpretaciju. Ovo posljednje je posebno važno kada istraživači žele procijeniti uzročne veze koristeći podaci opservacija.

Historija

Najraniji oblik regresije viđen je u radu Isaaca Newtona 1700. godine tokom proučavanja ekvinocija, kojem se pripisuje uvođenje "embrionalne linearne regresijske analize" jer "ne samo da je izvršio usrednjavanje skupa podataka, 50 godina prije Tobiasa Mayera, već je sumiranjem reziduala na nulu 'prisilio' regresijsku liniju da prođe kroz prosječnu tačku. Također je razlikovao dva nehomogena skupa podataka i možda je razmišljao o 'optimalnom' rješenju u smislu pristranosti, iako ne u smislu efikasnosti". Prethodno je koristio metodu usrednjavanja, u svom radu o Newtonovim prstenovima iz 1671. godine, što je u to vrijeme bilo bez presedana.

Metodu najmanjih kvadrata objavio je Legendre, 1805., i Gauss u 1809. Legendre i Gauss primijenili su metodu na problem određivanja, na osnovu astronomskih posmatranja, orbita tijela oko Sunca (uglavnom kometa, ali kasnije i tada novootkrivenih malih planeta). Gauss je objavio daljnji razvoj teorije najmanjih kvadrata u 1821., uključujući i verziju Gauss-Markovljeve teoreme. Termin "regresija" skovao je Francis Galton u 19. stoljeću, kako bi opisao biološki fenomen. Fenomen je bio da visina potomaka visokih predaka ima tendenciju regresije prema normalnom prosjeku (fenomen poznat i kao regresija prema srednjoj vrijednosti). Za Galtona, regresija je imala samo ovo biološko značenje, ali njegov rad su kasnije proširili Udny Yule i Karl Pearson na općiji statistički kontekst. U radu Yulea i Pearsona, pretpostavlja se da je zajednička distribucija varijabli odgovora i objašnjavajućih varijabli Gaussova. Ovu pretpostavku je oslabio R.A. Fisher u svojim radovima iz 1922. i 1.925. Fisher je pretpostavio da je uslovna distribucija odzivne varijable Gaussova, ali zajednička distribucija ne mora biti. U tom pogledu, Fisherova pretpostavka je bliža Gaussovoj formulaciji iz 1821. godine.

Tokom 1950-ih i 1960-ih, ekonomisti su koristili elektromehaničke stolne kalkulatore za izračunavanje regresija. Prije 1970. godine, ponekad je bilo potrebno i do 24 sata da se dobije rezultat iz jedne regresije.

Metode regresije i dalje su područje aktivnog istraživanja. U posljednjim decenijama razvijene su nove metode za robustnu regresiju, regresiju koja uključuje korelirane odgovore kao što su vremenske serije i krivulja rasta, regresiju u kojoj su prediktor (nezavisna varijabla) ili varijable odgovora krivulje, slike, grafovi ili drugi složeni objekti podataka, regresijske metode koje prilagođavaju različite vrste nedostajućih podataka, neparametrijsku regresiju, Bayesovu metodu za regresiju, regresiju u kojoj se prediktorske varijable mjere s greškom, regresiju s više prediktorskih varijabli nego opažanja i kauzalno zaključivanje s regresijom. Moderna regresijska analiza obično se izvodi pomoću statističkih i tabličnih softverskih paketa na računarima, kao i na ručnim naučnim i grafičkim kalkulatorima.

Model regresije

U praksi, istraživači prvo biraju model koji žele procijeniti, a zatim koriste odabranu metodu (npr. obični najmanji kvadrati) za procjenu parametara tog modela. Modeli regresije uključuju sljedeće komponente:

• Nepoznati parametri, često označeni kao skalar ili vektor $\beta$.
• Nezavisne varijable, koje se opažaju u podacima i često se označavaju kao vektor $X_{i}$ (gdje $i$ označava red podataka).
• Zavisna varijabla, koja se opaža u podacima i često se označava pomoću skalara $Y_{i}$.
• Članovi greške, koji se ne direktno opažaju u podacima i često se označavaju skalarom e_i.

U raznim poljima primjene, umjesto zavisnih i nezavisnih varijabli koriste se različite terminologije.

Većina regresijskih modela predlaže da je Y_i funkcija (regresijska funkcija) od X_i i \beta, pri čemu e_i predstavlja aditivni član greške koji može zamijeniti nemodelirane determinante Y_i ili slučajni statistički šum:

$Y_{i}=f(X_{i},\beta )+e_{i}$

U standardnom regresijskom modelu, pretpostavlja se da su nezavisne varijable $X_{i}$ bez grešaka. Model grešaka u varijablama može se koristiti ako se pretpostavlja da nezavisne varijable sadrže greške. Mogu se napraviti i druge modifikacije standardnog regresijskog modela kako bi se uzeli u obzir različiti scenariji, kao što su situacije koje uključuju izostavljene varijable, zbunjujuće varijable ili endogenost.

Cilj istraživača jest procijeniti funkciju $f(X_{i},\beta )$ koji najviše odgovara podacima. Da bi se provela regresijska analiza, mora se odrediti oblik funkcije $f$. Ponekad se oblik ove funkcije zasniva na znanju o odnosu između $Y_{i}$ i $X_{i}$ koje se ne oslanja na podatke. Ako takvo znanje nije dostupno, bira se fleksibilan ili prikladan oblik za $f$. Na primjer, jednostavna univarijantna regresija može predložiti $f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}$, što sugerira da istraživač vjeruje da je $Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}$ razumna aproksimacija za statistički proces koji generira podatke.

Nakon što istraživači odrede svoj preferirani statistički model, različiti oblici regresijske analize pružaju alate za procjenu parametara $\beta$. Na primjer, najmanji kvadrati (uključujući i njegovu najčešću varijantu, obični najmanji kvadrati) pronalazi vrijednost `\beta` koja minimizira zbir kvadratnih grešaka `\sum_i (Y_i - f(X_i, `beta)`)^2. Data regresijska metoda će na kraju dati procjenu `\beta`, obično označenu sa `\hat{\beta`} kako bi se razlikovala procjena od stvarne (nepoznate) vrijednosti parametra koja je generirala podatke. Koristeći ovu procjenu, istraživač zatim može koristiti prilagođenu vrijednost `\hat{Y_i} = f(X_i, `\hat{\beta}`)` za predviđanje ili za procjenu tačnosti modela u objašnjavanju podataka. Da li je istraživač suštinski zainteresovan za procjenu `\hat{\beta`} ili predviđenu vrijednost `\hat{Y_i`} zavisiće od konteksta i njegovih ciljeva. Kao što je opisano u obični najmanji kvadrati, najmanji kvadrati se široko koriste jer procijenjena funkcija $f(X_{i},{\hat {\beta }})$ aproksimira uslovno očekivanje $E(Y_{i}|X_{i})$. Međutim, alternativne varijante (npr. najmanja apsolutna odstupanja ili kvantilna regresija) su korisne kada istraživači žele modelirati druge funkcije $f(X_{i},\beta )$.

Mora postojati dovoljno podataka za procjenu regresijskog modela. Na primjer, pretpostavimo da istraživač ima pristup $N$ redovima podataka s jednom zavisnom i dvije nezavisne varijable: $(Y_{i},X_{1i},X_{2i})$. Pretpostavimo dalje da se želi procijeniti bivarijantni linearni model putem najmanjih kvadrata: $Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}$. Ako imamo pristup samo $N=2$ podatkovnim tačkama, tada bi mogli pronaći beskonačno mnogo kombinacija $({\hat {\beta }}_{0},{\hat {\beta }}_{1},{\hat {\beta }}_{2})$ koje jednako dobro objašnjavaju podatke: može se odabrati bilo koja kombinacija koja zadovoljava Parsiranje nije uspjelo (sintaksna greška): {\displaystyle \hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1 X_{1i} + \hat{\beta}_2 X_{2i}<math>, što sve vodi do <math>\sum_i \hat{e}_i^2 = \sum_i (\hat{Y}_i - (\hat{\beta}_0 + \hat{\beta}_1 X_{1i} + \hat{\beta}_2 X_{2i}))^2 = 0} i stoga su validna rješenja koja minimiziraju zbir kvadrata reziduali. Da bi se razumjelo zašto postoji beskonačno mnogo opcija, treba imati na umu da sistem od $N=2$ jednačina treba riješiti za tri nepoznate, što sistem čini nedodefinitivan. Alternativno, može se vizualizirati beskonačno mnogo trodimenzijskih ravni koje prolaze kroz $N=2$ fiksnih tačaka. Općenitije, da bi se procijenio model najmanjih kvadrata sa k različitim parametrima, mora se imati N \geq k različitih podataka. Ako je N > k, onda generalno ne postoji skup parametara koji će savršeno odgovarati podacima. Veličina N-k se često pojavljuje u regresijskoj analizi i u modelu se naziva stepeni slobode. Štaviše, da bi se procijenio model najmanjih kvadrata, nezavisne varijable (X_{1i}, X_{2i}, ..., X_{ki}) moraju biti linearno nezavisne: ne smije se ne moći rekonstruisati nijedna od nezavisnih varijabli sabiranjem i množenjem preostalih nezavisnih varijabli. Kao što je objašnjeno u obični najmanji kvadrati, ovaj uslov osigurava da je $X^{T}X$ invertibilna matrica i stoga da postoji jedinstveno rješenje Parsiranje nije uspjelo (sintaksna greška): {\displaystyle \hat{\beta} .

Osnovne pretpostavke

Sama po sebi, regresija je samo izračunavanje izvršeno na skupu podataka. Da bi interpretirali rezultirajuću regresiju kao smislen statistički model koji kvantificira odnose u stvarnom svijetu, istraživači se često oslanjaju na niz klasičnih pretpostavki. Ove pretpostavke često uključuju:

• Uzorak je reprezentativan za populaciju u cjelini.
• Nezavisne varijable se mjere bez greške.
• Odstupanja od modela imaju očekivanu vrijednost $0$, uslovljenu kovarijantama: $E(e_{i}|X_{i})=0$
• Varijanca reziduala $e_{i}$ je konstantna kroz posmatranja (homoskedastičnost).
• Reziduali $e_{i}$ su nekorelirani jedan s drugim. Matematički, varijansa-matrica kovarijanse grešaka je dijagonala.

Nekoliko uslova je dovoljno da bi estimator najmanjih kvadrata posjedovao poželjna svojstva: posebno, pretpostavke Gauss-Markova impliciraju da će procjene parametara biti nepristrasne, konzistentan i efikasne u klasi linearnih nepristrasnih estimatora. Praktičari su razvili razne metode za održavanje nekih ili svih ovih poželjnih svojstava u stvarnim okruženjima, jer je malo vjerovatno da će ove klasične pretpostavke tačno važiti. Naprimjer, modeliranje grešaka u varijablama može dovesti do razumnih procjena – nezavisne varijable se mjere s greškama. Standardne greške konzistentne s heteroskedasticitetom omogućavaju da se varijansa e_i mijenja kroz vrijednosti X_i. Korelirane greške koje postoje unutar podskupova podataka ili slijede specifične obrasce mogu se obraditi korištenjem klasteriranih standardnih grešaka, geografski ponderirane regresije ili Newey-Westovih standardnih grešaka, između ostalih tehnika. Kada redovi podataka odgovaraju lokacijama u prostoru, izbor načina modeliranja e_i unutar geografskih jedinica može imati važne posljedice. Područje ekonometrije je uglavnom fokusirano na razvoj tehnika koje omogućavaju da se donesu razumni zaključci iz stvarnog svijeta u stvarnim okruženjima, gdje klasične pretpostavke ne važe u potpunosti.

Linearna regresija

Glavni članak: Linearna regresija

Pogledajte jednostavna linearna regresija za izvođenje ovih formula i numerički primjer. U linearnoj regresiji, specifikacija modela je da je zavisna varijabla, $y_{i}$, linearna kombinacija parametara (ali ne mora biti linearna u nezavisnim varijablama). Naprimjer, u jednostavnoj linearnoj regresiji za modeliranje n podatkovnih tačaka postoji jedna nezavisna varijabla: x_i i dva parametra, \beta_0</math> i $\beta _{1}$:

prava linija: y_i=\beta_0 +\beta_1 x_i +\varepsilon_i,\quad i=1,\dots,n.\!</math>

U višestrukoj linearnoj regresiji postoji nekoliko nezavisnih varijabli ili funkcija nezavisnih varijabli.

Dodavanje člana u x_i^2 prethodnoj regresiji daje:

parabola: $y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i},\ i=1,\dots ,n.\!$

Ovo je i dalje linearna regresija; iako je izraz na desnoj strani kvadratan u nezavisnoj varijabli $x_{i}$, linearan je u parametrima $\beta _{0}$, $\beta _{1}$ i $\beta _{2}.$

U oba slučaja, $\varepsilon _{i}$ je član greške, a indeks $i$ indeksira određeno opažanje.

Vraćajući našu pažnju na slučaj prave linije: Dat nam je slučajni uzorak iz populacije, procjenjujemo parametre populacije i dobijamo model linearne regresije uzorka:

${\widehat {y}}_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}x_{i}.$

rezidual, $e_{i}=y_{i}-{\widehat {y}}_{i}$, je razlika između vrijednosti zavisne varijable predviđene modelom, ${\widehat {y}}_{i}$, i stvarne vrijednosti zavisne varijable, $y_{i}$. Jedna metoda procjene je obični najmanji kvadrati. Ova metoda dobija procjene parametara koje minimiziraju zbir kvadrata reziduala, SSR:

$SSR=\sum _{i=1}^{n}e_{i}^{2}$

Minimizacija ove funkcije rezultira skupom normalne jednačine, skupom simultanih linearnih jednačina u parametrima, koje se rješavaju da bi se dobili estimatori parametara, ${\widehat {\beta }}_{0},{\widehat {\beta }}_{1}$.

Ilustracija linearne regresije na skupu podataka

U slučaju jednostavne regresije, formule za procjene najmanjih kvadrata su

${\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}$

${\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}$

gdje je Parsiranje nije uspjelo (sintaksna greška): {\displaystyle \bar{x} srednja vrijednost (prosjek) vrijednosti $x$, a Parsiranje nije uspjelo (sintaksna greška): {\displaystyle \bar{y} je sredina vrijednosti $y$.

Pod pretpostavkom da član greške populacije ima konstantnu varijansu, procjena te varijanse data je kao:

${\hat {\sigma }}_{\varepsilon }^{2}={\frac {SSR}{n-2}}$

Ovo se naziva srednja kvadratna greška (MSE) regresije. Nazivnik je veličina uzorka umanjena za broj parametara modela procijenjenih iz istih podataka, $(n-p)$ za $p$ regresors ili $(n-p-1)$ ako se koristi odsječak na pravoj liniji. U slučaju, $p=1$ pa je nazivnik n-2.

Standardne greške procjena parametara date su kao

${\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}$

${\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}={\hat {\sigma }}_{\beta _{1}}{\sqrt {\frac {\sum x_{i}^{2}}{n}}}.$

Pod daljnjom pretpostavkom da je član greške populacije normalno distribuiran, istraživač može koristiti ove procijenjene standardne greške za kreiranje intervala pouzdanosti i provođenje testova hipoteze o parametrima populacije.

Opći linearni model

Za izvođenje, pogledajte linearni najmanji kvadrati

Za numerički primjer, pogledajte linearna regresija

U općijem modelu višestruke regresije postoji $p$ nezavisnih varijabli:

$y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i},\,$

gdje je $x_{ij}$ $i$-to opažanje na $j$-toj nezavisnoj varijabli. Ako prva nezavisna varijabla uzima vrijednost 1 za sve `i`, `x_{i1} = 1`, tada se `\beta_1` naziva `regresijski odsječak`.

Procjene parametara metodom najmanjih kvadrata dobijaju se iz `p` normalnih jednačina. Rezidual se može napisati kao

$\varepsilon _{i}=y_{i}-{\hat {\beta }}_{1}x_{i1}-\cdots -{\hat {\beta }}_{p}x_{ip}.$

Normalne jednačine su

$\sum _{i=1}^{n}\sum _{k=1}^{p}x_{ij}x_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}x_{ij}y_{i},\ j=1,\dots ,p.\,$

U matričnoj notaciji, normalne jednačine se zapisuju kao

$\mathbf {(X^{\top }X){\hat {\boldsymbol {\beta }}}={}X^{\top }Y} ,\,$

gdje je $ij$ element od $\mathbf {X}$ Parsiranje nije uspjelo (sintaksna greška): {\displaystyle x_{ij} , $i$ element vektora kolone $Y$ je $y_{i}$, a $j$ element ${\hat {\boldsymbol {\beta }}}$ je ${\hat {\beta }}_{j}$. Thus $\mathbf {X}$ is $n\times p$, $Y$ is $n\times 1$, and ${\hat {\boldsymbol {\beta }}}$ is $p\times 1$. Rješenje je:

$\mathbf {{\hat {\boldsymbol {\beta }}}=(X^{\top }X)^{-1}X^{\top }Y} .\,$

Dijagnostika

Glavni članak: Regresijska dijagnostika

Nakon što je konstruiran regresijski model, može biti važno potvrditi dobroću prilagođavanja modela i statističku značajnost procijenjenih parametara. Uobičajeno korištene provjere dobroće prilagođavanja uključuju R-kvadrat, analize obrasca reziduala i testiranje hipoteza. Statistička značajnost može se provjeriti F-testom ukupnog prilagođavanja, nakon čega slijede t-testovi pojedinačnih parametara.

Tumačenja ovih dijagnostičkih testova uveliko se oslanjaju na pretpostavke modela. Iako se ispitivanje reziduala može koristiti za poništavanje modela, rezultate t– ili F-testa ponekad je teže interpretirati ako su pretpostavke modela prekršene. Naprimjer, ako greška nema normalnu distribuciju, u malim uzorcima procijenjeni parametri neće pratiti normalne distribucije i komplicirati zaključivanje. Međutim, kod relativno velikih uzoraka može se pozvati centralna granična teorema, tako da testiranje hipoteze može nastaviti korištenjem asimptotskih aproksimacija.

Ograničene zavisne varijable

Ograničene zavisne varijable, koje su varijable odziva koje su kategoričke ili ograničene da padaju samo u određeni raspon, često se javljaju u ekonometriji.

Varijabla odziva može biti nekontinuirana ("ograničena" da leži na nekom podskupu realne linije). Za binarne (nula ili jedna) varijable, ako se analiza nastavlja linearnom regresijom najmanjih kvadrata, model se naziva linearni model vjerovatnoće. Nelinearni modeli za binarne zavisne varijable uključuju probit i logit model. multivarijantni probit model je standardna metoda procjene zajedničkog odnosa između nekoliko binarnih zavisnih varijabli i nekih nezavisnih varijabli. Za kategoričke varijable s više od dvije vrijednosti postoji multinomni logit. Za ordinalna varijabla s više od dvije vrijednosti postoje modeli uređeni logit i uređeni probit. Modeli cenzurirane regresije mogu se koristiti kada se zavisna varijabla samo ponekad posmatra, a modeli tipa Heckmanova korekcija, mogu se koristiti kada uzorak nije nasumično odabran iz populacije od interesa.

Alternativa takvim postupcima je linearna regresija zasnovana na polihoričkoj (ili poliserijskim korelacijama) između kategoričkih varijabli. Takvi postupci se razlikuju u pretpostavkama o distribuciji varijabli u populaciji. Ako je varijabla pozitivna s niskim vrijednostima i predstavlja ponavljanje događaja, tada se mogu koristiti modeli brojanja poput Poissonove regresije ili modela negativnog binoma.

Nelinearna regresija

Glavni članak: Nelinearna regresija

Kada funkcija modela nije linearna u parametrima, zbir kvadrata mora se minimizirati iterativnim postupkom. Ovo uvodi mnoge komplikacije koje su sažete u Razlike između linearnih i nelinearnih najmanjih kvadrata.

Predviđanje (interpolacija i ekstrapolacija)

Glavni članci: Predviđeni odgovor i Interval predviđanja

U sredini, prilagođena prava linija predstavlja najbolju ravnotežu između tačaka iznad i ispod ove linije. Isprekidane prave linije predstavljaju dvije ekstremne linije, uzimajući u obzir samo varijaciju nagiba. Unutrašnje krive predstavljaju procijenjeni raspon vrijednosti uzimajući u obzir varijaciju i nagiba i odsječka. Vanjske krive predstavljaju predviđanje za novo mjerenje.

Regresijski modeli predviđaju' vrijednost varijable $''Y''$, na osnovu poznatih vrijednosti varijabli $''X''$. Predviđanje unutar raspona vrijednosti u skupu podataka koji se koristi za prilagođavanje modela neformalno se naziva interpolacija. Predviđanje izvan ovog raspona podataka poznato je kao ekstrapolacija. Izvođenje ekstrapolacije snažno se oslanja na pretpostavke regresije. Što ekstrapolacija dalje ide izvan podataka, to je više prostora da model ne uspije zbog razlika između pretpostavki i podataka uzorka ili stvarnih vrijednosti.

Interval predviđanja koji predstavlja nesigurnost može pratiti tačkastu predikciju. Takvi intervali imaju tendenciju brzog širenja kako se vrijednosti nezavisne varijable (varijabli) pomjeraju izvan raspona koji pokrivaju posmatrani podaci.

Iz ovih i drugih razloga, neki imaju tendenciju da kažu da bi moglo biti nerazumno provoditi ekstrapolaciju.

Odabiranje modela

Glavni članak: Odabiranje modela

Pretpostavka određenog oblika za odnos između $''Y''$ i $''X''$ je još jedan izvor nesigurnosti. Pravilno provedena regresijska analiza uključivat će procjenu koliko dobro pretpostavljeni oblik odgovara posmatranim podacima, ali to može učiniti samo unutar raspona vrijednosti nezavisnih varijabli koje su stvarno dostupne. To znači da je svaka ekstrapolacija posebno ovisna o pretpostavkama koje se prave o strukturnom obliku regresijskog odnosa. Ako ovo znanje uključuje činjenicu da zavisna varijabla ne može izaći izvan određenog raspona vrijednosti, to se može iskoristiti pri odabiru modela - čak i ako posmatrani skup podataka nema vrijednosti posebno blizu takvih granica. Implikacije ovog koraka odabira odgovarajućeg funkcionalnog oblika za regresiju mogu biti velike kada se razmatra ekstrapolacija. Kao minimum, može osigurati da je svaka ekstrapolacija koja proizlazi iz prilagođenog modela "realistična" (ili u skladu s onim što je poznato).

Proračuni snage i veličine uzorka

Ne postoje općeprihvaćene metode za povezivanje broja posmatranja s brojem nezavisnih varijabli u modelu. Jedna metoda koju su pretpostavili Good i Hardin je $N=m^{n}$, gdje je $N$ veličina uzorka, $n$ je broj nezavisnih varijabli i $m$ je broj opservacija potrebnih da se postigne željena preciznost ako model ima samo jednu nezavisnu varijablu. Naprimjer, kada se gradi model linearne regresije koristeći skup podataka koji sadrži 1000 pacijenata ($N$). Ako se odluči da je potrebno pet opservacija da bi se precizno definirala prava linija ($m$), tada je maksimalan broj nezavisnih varijabli ($n$) koje model može podržati $4$, jer

${\frac {\log 1000}{\log 5}}\approx 4.29$.

Ostale metode

Iako se parametri regresijskog modela obično procjenjuju korištenjem metode najmanjih kvadrata, korištene su i druge metode:

• Bayesovska metoda, npr. Bayesovska linearna regresija
• Procentna regresija, za situacije u kojima se smanjenje „procentnih“ grešaka smatra prikladnijim.
• Najmanja apsolutna odstupanja, koja je robusnija u prisustvu outliera, što dovodi do kvantilne regresije
• Neparametrijska regresija, zahtijeva veliki broj opažanja i računski je intenzivna
• Optimizacija scenarija, što dovodi do model prediktora intervala

Softver

Svi glavni statistički softverski paketi izvode najmanjih kvadrata regresijsku analizu i zaključivanje. Jednostavna linearna regresija i višestruka regresija korištenjem najmanjih kvadrata mogu se izvršiti u nekim tabelarnim aplikacijama i na nekim kalkulatorima. Dok mnogi statistički softverski paketi mogu izvoditi različite vrste neparametrijske i robusne regresije, ove metode su manje standardizirane. Različiti softverski paketi implementiraju različite metode, a metoda s datim nazivom može se implementirati različito u različitim paketima. Specijalizirani regresijski softver razvijen je za upotrebu u oblastima kao što su analiza anketa i neuroimaging.

Pogledajte također

• Anscombeov kvartet
• Prilagođavanje krivulje
• Teorija procjene
• Prognoziranje
• Neobjašnjeni razlomak varijanse
• Aproksimacija funkcije
• Generalizirani linearni model
• Kriging (linearni algoritam za procjenu najmanjih kvadrata)
• Lokalna regresija
• Problem modificiranih arealnih jedinica
• Multivarijantni adaptivni regresijski splajn
• Multivarijantna normalna distribucija
• Pearsonov koeficijent korelacije
• Kvazivarijanca
• Interval predviđanja
• Validacija regresije
• Robustna regresija
• Segmentirana regresija
• Obrada signala
• Postepena regresija
• Geometrija taksija
• Procjena linearnog trenda

Dodatni izvori

• William H. Kruska and Judith M. Tanur, ed. (1978), "Linear Hypotheses," International Encyclopedia of Statistics. Free Press, v. 1,

Evan J. Williams, "I. Regression," pp. 523–41.

Julian C. Stanley, "II. Analysis of Variance," pp. 541–554.

• Lindley, D.V. (1987). "Regression and correlation analysis," New Palgrave: A Dictionary of Economics, v. 4, pp. 120–23.
• Birkes, David and Yadolah Dodge, Alternative Methods of Regression. ISBN 0-471-56881-3
• Chatfield, C. (1993) "Calculating Interval Forecasts," Journal of Business and Economic Statistics, 11. pp. 121–135.
• Draper, N.R.; Smith, H. (1998). Applied Regression Analysis (3rd izd.). John Wiley. ISBN 978-0-471-17082-2.
• Fox, J. (1997). Applied Regression Analysis, Linear Models and Related Methods. Sage
• Hardle, W., Applied Nonparametric Regression (1990), ISBN 0-521-42950-1
• Meade, Nigel; Islam, Towhidul (1995). "Prediction intervals for growth curve forecasts". Journal of Forecasting. 14 (5): 413–430. doi:10.1002/for.3980140502.
• A. Sen, M. Srivastava, Regression Analysis — Theory, Methods, and Applications, Springer-Verlag, Berlin, 2011 (4th printing).
• T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Vieweg+Teubner, ISBN 978-3-8348-1022-9.
• Stulp, Freek, and Olivier Sigaud. Many Regression Algorithms, One Unified Model: A Review. Neural Networks, vol. 69, Sept. 2015, pp. 60–79. https://doi.org/10.1016/j.neunet.2015.05.005.
• Malakooti, B. (2013). Operations and Production Systems with Multiple Objectives. John Wiley & Sons.
• Chicco, Davide; Warrens, Matthijs J.; Jurman, Giuseppe (2021). "The coefficient of determination R-squared is more informative than SMAPE, MAE, MAPE, MSE and RMSE in regression analysis evaluation". PeerJ Computer Science. 7 (e623): e623. doi:10.7717/peerj-cs.623. PMC 8279135 . PMID 34307865 .

Vanjski linkovi

• Hazewinkel, Michiel, ured. (2001), "Regression analysis", Matematička enciklopedija, Kluwer Academic Publishers, ISBN 978-1556080104
• Earliest Uses: Regression Arhivirano 18. 1. 2021. na Wayback Machine – basic history and references
• What is multiple regression used for? – Multiple regression
• Regression of Weakly Correlated Data – how linear regression mistakes can appear when Y-range is much smaller than X-range