Wikipedia:Igralište/Varijanca

Primjer uzoraka iz dvije populacije s istom srednjom vrijednošću, ali različitim varijansama. Crvena populacija ima srednju vrijednost μ = 100 i varijansu σ² = 100 (σ = 10), dok plava populacija ima srednju vrijednost μ = 100 i varijansu σ² = 2500 (σ = 50).

U teoriji vjerovatnoće i statistici, varijansa jeste mjera disperzije, što znači da je mjera koliko je skup brojeva raspršen od svoje prosječne vrijednosti. Definiše se kao očekivana vrijednost kvadratnog odstupanja od srednje vrijednosti slučajne varijable. standardna devijacija kvadratni je korijen varijanse. Tehnički, to je drugi centralni moment distribucije i kovarijansa slučajne varijable sa samom sobom, a često se predstavlja sa Šablon:Tmath, Šablon:Tmath, Šablon:Tmath, Šablon:Tmath, or Šablon:Tmath. Prednost varijanse kao mjere disperzije u tome je što je podložnija algebarskoj manipulaciji od drugih mjera disperzije kao što je očekivana apsolutna devijacija; naprimjer, varijansa zbira nekoreliranih slučajnih varijabli jednaka je zbiru njihovih varijansi. Nedostatak varijanse za praktičnu primjenu je taj što se, za razliku od standardne devijacije, njene jedinice razlikuju od slučajne varijable, zbog čega se standardna devijacija češće navodi kao mjera disperzije, nakon što se proračun završi. Drugi nedostatak je što varijansa nije konačna za mnoge distribucije. Postoje dva različita koncepta koja se oba nazivaju "varijansa". Jedan, kao što je gore objašnjeno, dio je teorijske distribucija vjerovatnoće i definiran je jednačinom. Druga varijansa je karakteristika skupa opažanja. Kada se varijansa izračunava iz opažanja, ta opažanja se obično mjere iz sistema iz stvarnog svijeta. Ako su prisutna sva moguća opažanja sistema, tada se izračunata varijansa naziva varijansa populacije. Međutim, obično je dostupan samo podskup, a varijansa izračunata iz njega naziva se varijansa uzorka. Varijansa izračunata iz uzorka smatra se procjenom varijance pune populacije. Postoji više načina za procjenu varijance populacije na osnovu varijance uzorka, kao što je objašnjeno u odjeljku ispod. Dvije vrste varijanse usko su povezane. Da bi se vidjelo kako, razmatra se teorijska distribucija vjerovatnoće može koristiti kao generator hipotetskih opažanja. Ako se beskonačan broj opažanja generira pomoću distribucije, tada će se varijansa uzorka izračunata iz tog beskonačnog skupa podudarati s vrijednošću izračunatom pomoću jednačine distribucije za varijansu. Varijansa ima centralnu ulogu u statistici, gdje neke ideje koje je koriste uključuju deskriptivnu statistiku, statističko zaključivanje, testiranje hipoteza, dobroću prilagođavanja i Monte Carlo uzorkovanje.

Geometrijska vizualizacija varijanse proizvoljne distribucije (2, 4, 4, 4, 5, 5, 7, 9):

1. Konstruiše se distribucija frekvencija.
2. Težište distribucije daje njenu srednju vrijednost.
3. Za svaku vrijednost formira se kvadrat sa stranicama jednakim razlici svake vrijednosti od srednje vrijednosti.
4. Raspoređivanjem kvadrata u pravougaonik čija je jedna stranica jednaka broju vrijednosti, n, dobija se druga strana varijanse distribucije, σ².

Definicija

Varijansa slučajne varijable $X$ je očekivana vrijednost od kvadratnog odstupanja od srednje vrijednosti od Šablon:Tmath, Šablon:Tmath: $$\operatorname {Var} (X)=\operatorname {E} \left[(X-\mu )^{2}\right].$$ Ova definicija obuhvata slučajne varijable koje generiraju procesi koji su diskretna, kontinuirana, ni jedno ni drugo ili mješovite. Varijansa može se također smatrati kovarijansom slučajne varijable sa samom sobom:

$$\operatorname {Var} (X)=\operatorname {Cov} (X,X).$$

Varijansa ekvivalentna je također drugom kumulantu raspodjele vjerovatnoće koja generira Šablon:Tmath. Varijansa obično se označava kao Šablon:Tmath ili ponekad kao $V(X)$ ili Šablon:Tmath ili simbolično kao Šablon:Tmath ili jednostavno kao $\sigma ^{2}$ (izgovara se "sigma na kvadrat"). Izraz za varijansu može se proširiti na sljedeći način:

$${\begin{aligned}\operatorname {Var} (X)&=\operatorname {E} \left[{\left(X-\operatorname {E} [X]\right)}^{2}\right]\\[4pt]&=\operatorname {E} \left[X^{2}-2X\operatorname {E} [X]+\operatorname {E} [X]^{2}\right]\\[4pt]&=\operatorname {E} \left[X^{2}\right]-2\operatorname {E} [X]\operatorname {E} [X]+\operatorname {E} [X]^{2}\\[4pt]&=\operatorname {E} \left[X^{2}\right]-2\operatorname {E} [X]^{2}+\operatorname {E} [X]^{2}\\[4pt]&=\operatorname {E} \left[X^{2}\right]-\operatorname {E} [X]^{2}\end{aligned}}$$

Drugim riječima, varijansa Šablon:Tmath jednaka je srednjoj vrijednosti kvadrata Šablon:Tmath minus kvadrat srednje vrijednosti Šablon:Tmath. Ova jednačina ne bi se trebala koristiti za izračunavanja koja koriste aritmetiku s pomičnim zarezom, jer pati od katastrofalnog poništavanja, ako su dvije komponente jednačine slične veličine. Za druge numerički stabilne alternative, pogledajte Algoritmi za izračunavanje varijanse.

Primjeri

Eksponencijalna distribucija

eksponencijalna distribucija sa parametrom Šablon:Tmath kontinuirana je distribucija, čija je funkcija gustoće vjerovatnoće data sa

$$f(x)=\lambda e^{-\lambda x}$$

na intervalu Šablon:Closed-open. Može se pokazati da je njegova srednja vrijednost

$$\operatorname {E} [X]=\int _{0}^{\infty }x\lambda e^{-\lambda x}\,dx={\frac {1}{\lambda }}.$$

Koristeći integraciju po dijelovima i koristeći već izračunatu očekivanu vrijednost, imamo:

$${\begin{aligned}\operatorname {E} \left[X^{2}\right]&=\int _{0}^{\infty }x^{2}\lambda e^{-\lambda x}\,dx\\&={\left[-x^{2}e^{-\lambda x}\right]}_{0}^{\infty }+\int _{0}^{\infty }2xe^{-\lambda x}\,dx\\&=0+{\frac {2}{\lambda }}\operatorname {E} [X]\\&={\frac {2}{\lambda ^{2}}}.\end{aligned}}$$

Dakle, varijansa Šablon:Tmath data je kao:

$$\operatorname {Var} (X)=\operatorname {E} \left[X^{2}\right]-\operatorname {E} [X]^{2}={\frac {2}{\lambda ^{2}}}-\left({\frac {1}{\lambda }}\right)^{2}={\frac {1}{\lambda ^{2}}}.$$

Fer kocka

Pravedna šestostrana kocka može se modelirati kao diskretna slučajna varijabla, Šablon:Tmath, s ishodima od 1 do 6, svaki s jednakom vjerojatnošću 1/6. Očekivana vrijednost Šablon:Tmath je $(1+2+3+4+5+6)/6=7/2.$ Stoga varijansa Šablon:Tmath je

$${\begin{aligned}\operatorname {Var} (X)&=\sum _{i=1}^{6}{\frac {1}{6}}\left(i-{\frac {7}{2}}\right)^{2}\\[5pt]&={\frac {1}{6}}\left((-5/2)^{2}+(-3/2)^{2}+(-1/2)^{2}+(1/2)^{2}+(3/2)^{2}+(5/2)^{2}\right)\\[5pt]&={\frac {35}{12}}\approx 2.92.\end{aligned}}$$

Opća formula za varijansu ishoda, Šablon:Tmath, kocke sa {{nowrap|Šablon:Tmath stranama je

$${\begin{aligned}\operatorname {Var} (X)&=\operatorname {E} \left(X^{2}\right)-(\operatorname {E} (X))^{2}\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}i^{2}-\left({\frac {1}{n}}\sum _{i=1}^{n}i\right)^{2}\\[5pt]&={\frac {(n+1)(2n+1)}{6}}-\left({\frac {n+1}{2}}\right)^{2}\\[4pt]&={\frac {n^{2}-1}{12}}.\end{aligned}}$$

Često korištene distribucije vjerovatnoće

Sljedeća tabela navodi varijansu za neke često korištene distribucije vjerovatnoće.

Naziv distribucije vjerovatnoće	Funkcija distribucije vjerovatnoće	Srednja vrijednost	Varijansa
Binomna distribucija	$\Pr \,(X=k)={\binom {n}{k}}p^{k}(1-p)^{n-k}$	$np$	$np(1-p)$
Geometrijska distribucija	$\Pr \,(X=k)=(1-p)^{k-1}p$	${\frac {1}{p}}$	${\frac {(1-p)}{p^{2}}}$
Normalna distribucija	$f\left(x\mid \mu ,\sigma ^{2}\right)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {1}{2}}{\left({\frac {x-\mu }{\sigma }}\right)}^{2}}$	$\mu$	$\sigma ^{2}$
Uniformna distribucija (kontinuirana)	$f(x\mid a,b)={\begin{cases}{\frac {1}{b-a}}&{\text{for }}a\leq x\leq b,\\[3pt]0&{\text{for }}x<a{\text{ or }}x>b\end{cases}}$	${\frac {a+b}{2}}$	${\frac {(b-a)^{2}}{12}}$
Eksponencijalna distribucija	$f(x\mid \lambda )=\lambda e^{-\lambda x}$	${\frac {1}{\lambda }}$	${\frac {1}{\lambda ^{2}}}$
Poissonova distribucija	$f(k\mid \lambda )={\frac {e^{-\lambda }\lambda ^{k}}{k!}}$	$\lambda$	$\lambda$

Varijansa populacije

Općenito, varijansa populacije konačne populacije veličine Šablon:Tmath s vrijednostima x_i data je sa

$${\begin{aligned}\sigma ^{2}&={\frac {1}{N}}\sum _{i=1}^{N}{\left(x_{i}-\mu \right)}^{2}={\frac {1}{N}}\sum _{i=1}^{N}\left(x_{i}^{2}-2\mu x_{i}+\mu ^{2}\right)\\[5pt]&=\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-2\mu \left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)+\mu ^{2}\\[5pt]&=\operatorname {E} [x_{i}^{2}]-\mu ^{2},\end{aligned}}$$

gdje je prosjek populacije ${\textstyle \mu =\operatorname {E} [x_{i}]={\frac {1}{N}}\sum _{i=1}^{N}x_{i}}$ i Šablon:Tmath, gdje je ${\textstyle \operatorname {E} }$ operator očekivane vrijednosti. Varijansa populacije može se također izračunati korištenjem

$$\sigma ^{2}={\frac {1}{N^{2}}}\sum _{i<j}\left(x_{i}-x_{j}\right)^{2}={\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}\left(x_{i}-x_{j}\right)^{2}.$$

(Desna strana ima duplikate članova u zbirci, dok srednja strana ima samo jedinstvene članove za zbir.) To je tačno jer

$${\begin{aligned}&{\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}{\left(x_{i}-x_{j}\right)}^{2}\\[5pt]={}&{\frac {1}{2N^{2}}}\sum _{i,j=1}^{N}\left(x_{i}^{2}-2x_{i}x_{j}+x_{j}^{2}\right)\\[5pt]={}&{\frac {1}{2N}}\sum _{j=1}^{N}\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}^{2}\right)-\left({\frac {1}{N}}\sum _{i=1}^{N}x_{i}\right)\left({\frac {1}{N}}\sum _{j=1}^{N}x_{j}\right)+{\frac {1}{2N}}\sum _{i=1}^{N}\left({\frac {1}{N}}\sum _{j=1}^{N}x_{j}^{2}\right)\\[5pt]={}&{\frac {1}{2}}\left(\sigma ^{2}+\mu ^{2}\right)-\mu ^{2}+{\frac {1}{2}}\left(\sigma ^{2}+\mu ^{2}\right)\\[5pt]={}&\sigma ^{2}.\end{aligned}}$$

Varijanca populacije odgovara varijansi generirajuće raspodjele vjerovatnoće. U tom smislu, koncept populacije može se proširiti na kontinuirane slučajne varijable s beskonačnim populacijama.

Varijansa uzorka

Glavni članak: Standardna devijacija uzorka

Pristrasna varijansa uzorka

U mnogim praktičnim situacijama, prava varijansa populacije nije poznata a priori i mora se nekako izračunati. Kada se radi o izuzetno velikim populacijama, nije moguće prebrojati svaki objekat u populaciji, tako da se izračunavanje mora izvršiti na uzorku populacije. Ovo se općenito naziva varijansa uzorka ili empirijska varijansa. Varijansa uzorka može se također primijeniti na procjenu varijanse kontinuirane distribucije iz uzorka te distribucije. Uzimamo uzorak sa zamjenom od Šablon:Tmath vrijednosti Y₁, ..., Y_n iz populacije veličine Šablon:Tmath, gdje je n < N, i procijenite varijansu na osnovu ovog uzorka. Direktnim uzimanjem varijanse uzorka podataka dobija se prosjek kvadratnih odstupanja:

$${\tilde {S}}_{Y}^{2}={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\overline {Y}}\right)^{2}=\left({\frac {1}{n}}\sum _{i=1}^{n}Y_{i}^{2}\right)-{\overline {Y}}^{2}={\frac {1}{n^{2}}}\sum _{i,j\,:\,i<j}\left(Y_{i}-Y_{j}\right)^{2}.$$

Ovdje, ${\overline {Y}}$ označava srednju vrijednost uzorka:

$${\overline {Y}}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}.$$

Since the Y_i are selected randomly, both ${\overline {Y}}$ and ${\tilde {S}}_{Y}^{2}$ are random variables. Their expected values can be evaluated by averaging over the ensemble of all possible samples (Y_i) of size Šablon:Tmath from the population. For ${\tilde {S}}_{Y}^{2}$ this gives: $${\begin{aligned}\operatorname {E} [{\tilde {S}}_{Y}^{2}]&=\operatorname {E} \left[{\frac {1}{n}}\sum _{i=1}^{n}{\left(Y_{i}-{\frac {1}{n}}\sum _{j=1}^{n}Y_{j}\right)}^{2}\right]\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {E} \left[Y_{i}^{2}-{\frac {2}{n}}Y_{i}\sum _{j=1}^{n}Y_{j}+{\frac {1}{n^{2}}}\sum _{j=1}^{n}Y_{j}\sum _{k=1}^{n}Y_{k}\right]\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\left(\operatorname {E} \left[Y_{i}^{2}\right]-{\frac {2}{n}}\left(\sum _{j\neq i}\operatorname {E} \left[Y_{i}Y_{j}\right]+\operatorname {E} \left[Y_{i}^{2}\right]\right)+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\sum _{k\neq j}^{n}\operatorname {E} \left[Y_{j}Y_{k}\right]+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\operatorname {E} \left[Y_{j}^{2}\right]\right)\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\left({\frac {n-2}{n}}\operatorname {E} \left[Y_{i}^{2}\right]-{\frac {2}{n}}\sum _{j\neq i}\operatorname {E} \left[Y_{i}Y_{j}\right]+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\sum _{k\neq j}^{n}\operatorname {E} \left[Y_{j}Y_{k}\right]+{\frac {1}{n^{2}}}\sum _{j=1}^{n}\operatorname {E} \left[Y_{j}^{2}\right]\right)\\[5pt]&={\frac {1}{n}}\sum _{i=1}^{n}\left[{\frac {n-2}{n}}\left(\sigma ^{2}+\mu ^{2}\right)-{\frac {2}{n}}(n-1)\mu ^{2}+{\frac {1}{n^{2}}}n(n-1)\mu ^{2}+{\frac {1}{n}}\left(\sigma ^{2}+\mu ^{2}\right)\right]\\[5pt]&={\frac {n-1}{n}}\sigma ^{2}.\end{aligned}}$$

Ovdje ${\textstyle \sigma ^{2}=\operatorname {E} [Y_{i}^{2}]-\mu ^{2}}$ izvedeno je u odjeljku je varijanaa populacije i ${\textstyle \operatorname {E} [Y_{i}Y_{j}]=\operatorname {E} [Y_{i}]\operatorname {E} [Y_{j}]=\mu ^{2}}$ zbog nezavisnosti $Y_{i}$ i Šablon:Tmath. Stoga ${\textstyle {\tilde {S}}_{Y}^{2}}$ daje procjenu varijanse populacije ${\textstyle \sigma ^{2}}$ koja je pristrasna faktorom ${\textstyle {\frac {n-1}{n}}}$ jer je očekivana vrijednost ${\textstyle {\tilde {S}}_{Y}^{2}}$ manja od varijanse populacije (prave varijanse) za taj faktor. Iz tog razloga, ${\textstyle {\tilde {S}}_{Y}^{2}}$ naziva se pristrasna varijansa uzorka.

Također pogledajte

• Bhatia-Davisova nejednakost
• Koeficijent varijacije
• Homoskedastičnost
• Spektralna analiza najmanjih kvadrata za izračunavanje frekventnog spektra sa spektarskim magnitudama u % varijanse ili u dB
• Moderna teorija portfolija
• Popoviciuova nejednakost o varijansama
• Mjere za statističku disperziju
• Varijansa-stabilizujuća transformacija

Vrste varijanse

• Korelacija
• Varijansa udaljenosti
• Objašnjena varijansa
• Združena varijansa
• Pseudo-varijansa