\documentclass[10pt,a4paper]{article}
\usepackage[utf8]{inputenc}
\usepackage[czech]{babel}
\usepackage[IL2]{fontenc}
\usepackage[margin=2cm]{geometry}

\usepackage[unicode]{hyperref}

\usepackage{amsmath}
\usepackage{amsfonts}
\usepackage{amssymb}
\usepackage{amsthm}

\newtheorem{veta}{Věta}
\newtheorem{lm}[veta]{Lemma}
\newtheorem{tv}[veta]{Tvrzení}
\newtheorem{ds}[veta]{Důsledek}
\theoremstyle{definition}
\newtheorem{df}{Definice}
\newtheorem*{df*}{Definice}
\newtheorem*{pozn}{Poznámka}
\newtheorem*{eye}{Pozorování}
\newtheorem*{pr}{Příklad}

\def\R{\mathbb{R}}
\def\N{\mathbb{N}}
\def\itoinf{_{i=1}^\infty}
\newcommand{\mnz}[1]{\lbrace #1 \rbrace}
\def\mlpss{\quad\text{MLPSS}}
\def\var{\mathop{\rm var}\nolimits}
\def\Var{\mathop{\rm Var}\nolimits}
\def\cov{\mathop{\rm cov}\nolimits}
\def\corr{\mathop{\rm corr}\nolimits}
\def\Corr{\mathop{\rm Corr}\nolimits}
\def\sgn{\mathop{\rm sgn}\nolimits}
\def\prostor{(\Omega,{\cal F},P)}
%\def\nvec#1{\underset{\scriptstyle\sim}{#1}}
%\def\nvec#1{\lower0.9ex\rlap{$\scriptscriptstyle\sim$}#1}
\def\nvec#1{{\boldsymbol #1}}

\def\proofitem{\smallskip\noindent}

\title{Pravděpodobnost a statistika}
\author{}
\date{}

\begin{document}
\maketitle

\section{Axiomy teorie pravděpodobnosti}

V roce 1933 zavedl Andrej N. Kolmogorov.

\begin{df*}[Pravděpodobnostní prostor]
Mějme neprázdnou množinu $\Omega$ a na ní $\sigma$-algebru ${\cal F}$. Na ${\cal F}$ uvažujme pravděpodobnostní míru $P$.

Potom $\prostor$ se nazývá \emph{pravděpodobnostní prostor}.
\end{df*}

\begin{df}[$\sigma$-algebra]
Buď $\Omega$ neprázdná množina. Systém ${\cal F}$ podmnožin $\Omega$ se nazývá $\sigma$-algebra, pokud
\begin{enumerate}
\item $\Omega \in {\cal F}$
\item $A \in {\cal F} \Rightarrow \Omega \setminus A \in {\cal F}$ (uzavřenost na doplňku)
\item $\{A_i\}_{i=1}^\infty \subseteq {\cal F} \Rightarrow \bigcup_{i=1}^\infty \in {\cal F}$ (uzavřenost na spočetném sjednocení)
\end{enumerate}
\end{df}

\begin{pr}Ukažme si různé příklady $\sigma$-algeber:

\begin{itemize}
\item triviální: $\mnz{\emptyset,\Omega}$
\item největší: $2^{\Omega}$
\item $B \subset \Omega: \mnz{\emptyset, B, B^c, \Omega}$
\item $A,B: \mnz{\emptyset,A,B,A \cup B, A \cap B, A^c, B^c, \dots}$
\end{itemize}
\end{pr}

\begin{df}[Pravděpodobnostní míra]
Funkce $P: {\cal F} \to [0,1]$, kde prvky ${\cal F}$ jsou podmnožiny $\Omega$ nazveme \emph{pravděpodobnostní míra}, pokud splňuje následující podmínky:
\begin{enumerate}
\item $P(\Omega) = 1$
\item $\mnz{A_i}_{i=1}^\infty \subset {\cal F}$ a $A_i \cap A_j = \emptyset\ \forall i\neq j \Rightarrow P(\bigcup_{i=1}^\infty A_i) = \sum_{i=1}^\infty A_i$ (spočetná aditivita)
\end{enumerate}
\end{df}

\begin{df*}
$\omega \in \Omega$ se nazývá \emph{elementární jev}. $A \in {\cal F}$ se nazývá \emph{náhodný jev}.
\end{df*}

Elementární jevy většinou nelze pozorovat přímo, je potřeba pozorovat náhodné jevy.

\begin{pr}Mějme hod kostkou. Potom:

$\Omega = \mnz{1,2,3,4,5,6}$

$\omega = 4$

$A = \mnz{2,4,6}$
\end{pr}

$P$ každému náhodnému jevu $A$ jen dá jeho pravděpodobnost.
\begin{enumerate}
\item Jestliže $P(A) = 1$, potom $A$ je jev \emph{jistý}.

\item Jestliže $P(A) = 0$, potom $A$ je jev \emph{nemožný}.
\end{enumerate}

\begin{veta}
Buď $P$ pravděpodobnostní míra na ${\cal F}$. Pak platí následující:

\begin{enumerate}
\item $P(A^c) = 1-P(A)\ \forall A \in {\cal F}$

\item $A, B \in {\cal F}: A \subset B$, pak $P(A) \leq P(B)$ a $P(B \setminus A) = P(B)-P(A)$
\end{enumerate}
\end{veta}

\begin{proof}
Jednotlivé body:

\begin{enumerate}
\item $P(A \cup A^c) = P(A)+P(A^c)$. Jelikož $A \cup A^c = \Omega$ a podle vlastností pravděpodobnostní míry $P(\Omega) = 1$, $P(A)+P(A^c) = 1$.

\item $A \subset B \Rightarrow B = A \cup (B \cap A^c)$. To jsou dvě disjunktní množiny. Potom $P(B) = P(A) + P(B \setminus A) \geq P(A)$.
\end{enumerate}
\end{proof}

Vezměme si systém $\mnz{A_i}_{i=1}^\infty \subset {\cal F}$. Budeme předpokládat $A_i \subset A_{i+1}$. Potom budeme myslet $A_i \nearrow A$, kde $A = \bigcup_{i=1}^\infty A_i$, tedy že systém konverguje k $A$.

Analogicky systém, kde $A_i \supset A_{i+1}$ potom $A_i \searrow A$, kde $A = \bigcap_{i=1}^\infty A_i$

\begin{veta}[Spojitost pravděpodobnostní míry]\label{v_spojitost_miry}
Nechť máme $\mnz{A_i}_{i=1}^\infty \subset {\cal F}$ takovou, že $A_i \searrow \emptyset$. Pak
$$\lim_{i\to\infty} P(A_i) = 0.$$
\end{veta}

\begin{proof}
Víme, že $P(\bigcap\itoinf A_i) = P(\emptyset) = 0$. To je ekvivalentní s $1-P((\bigcap\itoinf A_i)^c) = 1-P(\bigcup\itoinf A_i^c) = 1$.

Dále víme, že $A_i \supseteq A_{i+1}$ a díky tomu $A_i^c \subseteq A_{i+1}^c$, tedy $A_i^c \nearrow \Omega$.

Nadefinujme si posloupnost $B_1 = A_1^c, B_{i+1} = A_{i+1}^c \setminus A_i^c$.

Potom $B_i$ jsou disjunktní, $\bigcup\itoinf B_i = \Omega$ a $P(\bigcup\itoinf B_i) = P(\omega) = 1$ a z toho $\sum\itoinf P(B_i) = 1$.

Ten si rozložíme na dva součty $\sum_{i=1}^n P(B_i)_{\to 1} + \sum_{i=n+1}^\infty P(B_i)_{\to 0} = 1$ pro $n \to \infty$.

Potom $P(\bigcup_{i=1}^n B_i) = P(\bigcup_{i=1}^n A_i^c) = 1-P(\bigcap_{i=1}^n A_i)$. Z konvergence se toto rovná $1-P(A_n)$. Víme, že tento výsledek konverguje k 1, tedy proto $P(A_n) \to 0$.
\end{proof}

\begin{df}[Klasický pravděpodobnostní prostor]
Buď $\Omega$ neprázdná konečná množina, ${\cal F} = 2^\Omega$. Definujeme $P(A) = \frac{|A|}{|\Omega|}\ \forall A \subset \Omega$. Potom $\prostor$ nazýváme \emph{klasický pravděpodobnostní prostor}.
\end{df}

\begin{df}[Diskrétní pravděpodobnostní prostor]
Buď $\Omega$ neprázdná konečná nebo spočetná množina, ${\cal F} = 2^\Omega$. Definujeme $p: \omega \to \R$ taková, že $p(\omega) \in [0,1]\ \forall \omega \in \Omega$ a $\sum_{\omega\in\Omega} p(\omega)=1$. Dále definujme $P(a) = \sum_{\omega \in A} p(\omega)$. Potom $\prostor$ nazýváme \emph{diskrétní pravděpodobnostní prostor}.
\end{df}

Jev $A$ nastane s $P(A)$ nebo nenastane s $P(A^c)$, jev $B$ nastal. Pomůže nám tato znalost zpřesnit znalost o jevu $A$?

\begin{itemize}
\item Jestliže $B \supset A$, potom jev $A$ nastane vždy.

\item Jestliže $B \cap A = \emptyset$, jev $A$ nenastane.

\item Jinak se to může chovat všelijak:
\end{itemize}

\begin{df}[Podmíněná pravděpodobnost]
Mějme jevy $A,B \in {\cal F}, P(B) > 0$. Definujeme podmíněnou pravděpodobnost jevu $A$ při $B$ jako $P(A|B) = \frac{P(A \cap B)}{P(B)}.$
\end{df}

Podmíněná pravděpodobnost splňuje vlastnosti pravděpodobnosti míry.

Pozor, $P(A|B\cup C) \neq P(A|B)+P(A|C)$!

\begin{df}[Nezávislost]
Jevy $A,B \in {\cal F}$ jsou \emph{nezávislé}, pokud $P(A \cap B) = P(A)\cdot P(B)$.
\end{df}

Když jevy $A,B$ jsou nezávislé, potom $P(A|B) = \frac{P(A)P(B)}{P(B)} = P(A)$. Tato vlastnost nezávislosti už nemusí platit pro tři jevy.

\begin{df}[Vzájemná nezávislost]
Buďte $A_i, i \in I$ náhodné jevy, $I$ je libovolná indexová množina. $A_i$ jsou \emph{vzájemně nezávislé}, pokud $\forall n \in \mathbb N\ \forall{i_1,\dotsc,i_n} \subset I$ platí

$$ P(\bigcap_{j=1}^n A_{i_j}) = \prod_{j=1}^n P(A_{i_j}) $$
\end{df}

\begin{veta}[O postupném podmiňování]

Mějme $A_1,\dotsc,A_n$ náhodné jevy (prvky ${\cal F}$) takové, že $P(\bigcap_{i=1}^n A_i) > 0$. Potom
$$P(\bigcap_{i=1}^n A_i) = P(A_1|\bigcap_{i=2}^n A_i) \cdot P(A_2 | \bigcap_{i=3}^n A_i) \dotsm P(A_{n-1}|A_n) \cdot P(A_n).$$

\end{veta}

\begin{proof}
Matematickou indukcí.

První krok pro $n=2$: $P(A_1 \cap A_2) = P(A_1|A_2) \cdot P(A_2)$.

Nyní pro $n-1 \to n$: $P(\bigcap_{i=1}^n A_i) = P((\bigcap_{i=1}^{n-1} A_i) \cap A_n) = P(A_n | \bigcap_{i=1}^{n-1} A_i) \cdot P(\bigcap_{i=1}^{n-1} A_i)$.
\end{proof}

\begin{veta}[Inkluze a exkluze]
Mějme $A_1,\dotsc,A_n$ náhodné jevy. Pak
$$ P(\bigcup_{i=1}^n A_i) = \sum_{i=1}^n P(A_i) - \sum_{1 \leq i \leq j \leq n} P(A_i \cap A_j) + \sum_{1 \leq i \leq j \leq k \leq n} P(A_i \cap A_j \cap A_k) - \dots + (-1)^{n-1} P(\bigcap_{i=1}^n A_i) $$
\end{veta}

\begin{proof}
Matematickou indukcí.

\proofitem První krok pro $n=2$: $A = (A \setminus B) \cup (A \cap B)$, $B = (B \setminus A) \cup (A \cap B)$.

Proto $P(A \cup B) = P(A) + P(B) - P(A \cap B)$.

\proofitem Nyní pro $n-1 \to n$:
$P(\bigcup_{i=1}^n A_i) = P((\bigcup_{i=1}^{n-1} A_i) \cup A_n) = P(\bigcup_{i=1}^{n-1} A_i) + P(A_n) - P(\bigcup_{i=1}^{n-1} (A_i \cap A_n)) = $

$ = \sum_{i=1}^{n-1} P(A_i) - \sum_{1\leq i\leq j\leq n-1} P(A_i \cap A_j) + \dotsc + (-1)^{n-2} P(\bigcap_{i=1}^{n-1} A_i) + P(A_n) - {}$

$ - \sum_{1\leq i\leq j\leq n-1} P(A_i \cap A_n) + \dotsc + (-1)^{n-2} P(\bigcap_{i=1}^n A_i)$.

Nyní dáme dohromady a dostaneme $\sum_{i=1}^n P(A_i) - \sum_{1\leq i\leq j\leq n} P(A_i \cap A_j) + \dotsc + (-1)^{n-1} P(\bigcap_{i=1}^n A_i)$.
\end{proof}

Z vlastností množin víme, že $(\bigcup_{i=1}^n A_i)^C = \bigcap_{i=1}^n A_i^C$ a z toho $P(\bigcup_{i=1}^n A_i) = 1-P(\bigcap_{i=1}^n A_i^C)$.

\begin{df}[Disjunktní rozklad]
Spočetný systém náhodných jevů $\mnz{B_i} \itoinf \subset {\cal F}$ nazveme \emph{disjunktním rozkladem} $\Omega$, pokud:

\begin{enumerate}
\item $B_i \cap B_j = \emptyset\ \forall i \neq j$
\item $\bigcup_i B_i = \Omega$ (stačilo by $P(\bigcup_i B_i) = 1$).
\item $P(B_i) > 0\ \forall i$
\end{enumerate}
\end{df}

\begin{veta}[O úplné pravděpodobnosti]\label{v_uplna_pravdepodobnost}
Mějme $A$ náhodný jev a $\mnz{B_i}_i$ disjunktní rozklad. Pak
$$ P(A) = \sum_i P(A | B_i) \cdot P(B_i) $$
\end{veta}

\begin{proof}
Víme, že $\mnz{A \cap B_i}$ jsou po dvou disjunktní množiny. Potom $\bigcup_i A \cap B_i = A \cap \bigcup_i B_i = A \cap \Omega = A$.

Potom $P(A) = P(\bigcup_i A \cap B_i) = \sum_i P(A \cap B_i) = \sum_i P(A|B_i) \cdot P(B_i)$.
\end{proof}

\begin{veta}[Bayesova]
Mějme $A$ náhodný jev a $\mnz{B_i}_i$ disjunktní rozklad $\Omega$ a $P(A) > 0$. Potom
$$ P(B_i|A) = \frac{P(A|B_i) \cdot P(B_i)}{\sum_j P(A|B_j) \cdot P(B_j)}.$$
\end{veta}

\begin{proof}
Víme, že $P(B_i|A) = \frac{P(B_i \cap A)}{P(A)} = \frac{P(A|B_i) \cdot P(B_i)}{\sum_j P(A|B_j) \cdot P(B_j)}$ využitím věty o úplné pravděpodobnosti.
\end{proof}

Názvosloví\dots{} $P(B_i)$ je apriorní pravděpodobnost, $P(B_i|A)$ je aposteriorní pravděpodobnost.

\begin{pr}
Máme tři zásuvky a 6 mincí, ze kterých jsou 3 zlaté a 3 stříbrné. Do zásuvek náhodně vložíme dvojice ZS, ZZ a SS. Ze zásuvky 2 náhodně vybereme minci náhodně a zjistíme, že je zlatá. Jaká je pravděpodobnost, že i druhá z mincí je zlatá?

Označme si $B_i$ jako ZZ v zásuvce $i$. Toto je disjunktní rozklad. Jev A, náhodný výběr mince ze zásuvky $2$, nastal. Potom $P(A|B_1) = \frac 14$, $P(A|B_2) = 1$, $P(A|B_3) = \frac 14$.

Spočítejme tedy $P(B_2|A) = \frac{P(A|B_2) \cdot P(B_2)}{\sum_{i=1}^3 P(A|B_i) \cdot P(B_i)} = \frac{1}{\frac 14 + 1 + \frac 14} = \frac 23$!
\end{pr}

\begin{veta}[Bonferroniho nerovnost]
Mějme $A_1,\dotsc,A_n$ náhodné jevy. Pak
$$ P(\bigcap_{i=1}^n A_i) \geq 1 - \sum_{i=1}^n(1-P(A_i)) $$
\end{veta}

\begin{proof}
$P(\bigcap_{i=1}^n A_i) = 1-P((\bigcap_{i=1}^n A_i)^C) = 1-P(\bigcup_{i=1}^n A_i^C) \geq 1-\sum_{i=1}^n P(A_i^C) = 1-\sum_{i=1}^n(1-P(A_i))$.
\end{proof}

\section{Náhodné veličiny a jejich rozdělení}

\begin{df}\label{df_velicina}
Mějme $\prostor$ pravděpodobnostní prostor. Zobrazení $X: \Omega \to \R$ takové, že $X^{-1}(-\infty,a] = \mnz{\omega, X(\omega) \leq a} \in {\cal F}\ \forall a \in \R$ se nazývá \emph{Náhodná veličina}.
\end{df}

\noindent{\bf Dohoda o značení.} $[X \leq A]$ se bude myslet jako $\mnz{\omega, X(\omega) \leq a}$.

\begin{df}[Rozdělení náhodné veličiny]
Buď $X: \Omega \to \R$ náhodná veličina. Pravděpodobnostní míra $P_X$ definovaná na $\R$ předpisem $P_X(-\infty,a] = P[X \leq a]$ se nazývá \emph{rozdělení náhodné veličiny} $X$.
\end{df}

\begin{df*}
Označme ${\cal B}$ nejmenší $\sigma$-algebru na $\R$ obsahující všechny intervaly $(-\infty,a]$. Nazýváme ji \emph{Borelova (nebo borelovská)}. ${\cal B}$ obsahuje všechny otevřené i uzavřené množiny.

U této množiny poté platí $\forall B \in {\cal B}: X^{-1}(B) \in {\cal F}, P_x(B) = P[X \in B]$.
\end{df*}

Náhodná veličina $X$ nám tedy zobrazuje $\prostor \to (\R,{\cal B},P_X)$.

Nabývá-li $X$ jen spočetně mnoha hodnot ($X(\omega) \in {\mathbb S}\ \forall \omega$, ${\mathbb S}$ je spočetná podmnožina $\R$), potom $X$ splňuje podmínky z definice \ref{df_velicina} a $X$ nazveme \emph{diskrétní} náhodnou veličinou a typicky lze volit ${\mathbb S} = \N$.

Rozdělení diskrétní náhodné veličiny $X$ je plné charakterizováno souborem čísel $\mnz{p_i}\itoinf$, $p_i \geq 0$, $\sum_i p_i = 1$ a $P_X(A) = \sum_{i \in A} p_i$.

\begin{pr}Rozdělení diskrétní náhodné veličiny můžou být:

\begin{enumerate}
\item Alternativní (Bernoulliho). $X$ nabývá $\mnz{0,1}$, $P[X=1] = P_x(\mnz{1}) = p \in (0,1)$ a $P[X=0] = 1-p$

\item Binomické. Rozdělení počtu úspěchů do $n$ nezávislých pokusů. $P[X=k] = \binom nk p^k(1-p)^{n-k}$

\item Geometrické. Počet neúspěchů před prvním úspěchem v nezávislých pokusech. $P[X=k] = p(1-p)^k$
\end{enumerate}
\end{pr}

\noindent Pro jaké množiny $A \subset \R$ umíme najít $P_X$?
\begin{enumerate}\itemsep0em
\item $(\infty,a]$
\item $(a,b], a < b = (-\infty,b]\setminus(-\infty,a]$
\item $(a,b) = \bigcup_{n=1}^\infty (a,b-\frac 1n]$
\item Všechny otevřené množiny
\item $A \in {\cal B} \Rightarrow$ $X^{-1} \in {\cal F}$ pro všechny $A \in {\cal B}$, $X$ je \emph{Borelovsky měřitelná}
\end{enumerate}

\begin{df}[Náhodné jevy generované $X$]
Mějme $X$ náhodnou veličinu, označme množinu ${\cal F}_X$ takovou, že  ${\cal F}_X = \mnz{B: B = X^{-1}(A)\text{ pro nějakou }A \in {\cal B}}$.

${\cal F}_x$ je také $\sigma$-algebra náhodných jevů generovaných v $X$.
\end{df}

${\cal F}_X$ je $\sigma$-algebra a ${\cal F}_X \subset {\cal F}$. Potom $P_X(A) = P[X \in A] = P(X^{-1}(A))_{\in {\cal F}_X}$. Levá strana je míra na $(\R,{\cal B})$, pravá strana je míra na $(\Omega,{\cal F})$.

\begin{pr}
Mějme $\Omega = \mnz{1,2,3,4,5,6}^2$. Dále ${\cal F} = 2^{\Omega}$ a $P(\mnz\omega) = \frac 1{36}$.

Nadefinujme si $X: (\omega_1,\omega_2) \to \omega_1$. Potom $x \in \mnz{1,2,3,4,5,6}$.

Podívejme se na $X^{-1}(1) = \mnz{(1,1),(1,2),\dotsc,(1,6)}$. Podobně $X^{-1}(2) = \mnz{(2,1),(2,2),\dotsc,(2,6)}$. Z toho je vidět, že $X^{-1}$ jsou navzájem disjunktní. A proto ${\cal F}_x \subsetneq {\cal F}$ a $P_X(1) = \frac 16$.

Nyní si nadefinujme $Y: (\omega_1,\omega_2) \to \omega_1+\omega_2$. Potom $Y^{-1}(1) = \emptyset$, dále $Y^{-1}(2) = \mnz{(1,1)}$ a tak dále.

Tyto náhodné veličiny jsou různé a ${\cal F}_X \neq {\cal F}_Y$. Na jednom pravděpodobnostním prostoru tedy můžeme definovat více různých modelů.
\end{pr}

\begin{df}[Distribuční funkce a hustota]
Mějme náhodnou veličinu $X$ a $P_X$ její rozdělení. Funkce $F_X: \R \to (0,1)$ definovaná jako $F_X(x) = P_X[-\infty,x] = P[X \leq x]$ se nazývá \emph{distribuční funkce} náhodné veličiny $X$ a plně popisuje $P_X$.

{\footnotesize V angličtině cummulative distribution function C.D.F.}

Je-li $X$ diskrétní náhodná veličina (s hodnotami v $\N_0$), potom funkci $p_X(k)$ takovou, že $p_X(k) = P[X=k]$ nazveme \emph{hustotou} náhodné veličiny $X$ vůči aritmetické míře.

{\footnotesize V angličtině probability density function P.D.F.}
\end{df}

\begin{pr}
Mějme alternativní rozdělení. Potom $P[X=1] = p = 1-P[X=0]$. Potom hustota má tvar $p_X(0) = 1-p$, $p_X(1) = p$. Distribuční funkce má tvar
$$F_X(x) = \begin{cases}0 & x \in (-infty,0) \\ 1-p & x \in [0,1) \\ 1 & x \in (1,\infty)\end{cases} $$
\end{pr}

Obecně má $F_X(a)$ pro diskrétní náhodnou veličinu $X$ tvar $\sum_{k=0}^{\lfloor a \rfloor}p_X(k)$ pro $a \geq 0$, $p_x(k)$ je $F_x(k) - F_x(k-1)$ pro $k \in \N_0$.

\begin{veta}[Vlastnosti distribuční funkce]\label{v_vlastnosti_dist}
Mějme náhodnou veličinu $X$ a její distribuční funkci $F_X$. Pak

\begin{enumerate}
\item $\lim_{x\to-\infty} F_X(x) = 0$

\item $\lim_{x\to\infty} F_X(x) = 1$

\item $F_X$ je neklesající a zprava spojitá
\end{enumerate}
\end{veta}

\begin{proof}
Nejprve ukážeme, že $F_X$ je neklesající. Z definice $F_X(x) = P[X \leq x] \leq P[X \leq x] + P[x < X \leq y]$. Tyto dva jevy jsou disjunktní.
Proto se předchozí výraz rovná $P\left( [X \leq x] \cup [x < X \leq y]\right) = P[X \leq y] = F_X(y)$.
Podobně to platí pro $F_X(x) = P_X(-\infty,x] \leq P_X(-\infty,x) + P_X(x,y] = P_X(-\infty,y) = F_X(y)$. 

\proofitem Nyní ukážeme 1. Z definice distribuční funkce $\lim_{x\to-\infty} F_X(x) = \lim_{x\to-\infty} P_X(-\infty,x]$. Z monotonie můžeme tento výraz přepsat jako $\lim_{n\nearrow\infty}P_X(-\infty,-n] = \lim_{n\nearrow\infty} P[X \leq -n]$; nazvěme $[X \leq -n] = A_n$.

Je vidět, že $A_n \supset A_{n+1}$. Podle věty \ref{v_spojitost_miry} dostaneme $\bigcap_{n=1}^\infty A_n = \emptyset$. Platí tedy, že $\lim_{n \to \infty}P(A_n) = 0$.

\proofitem Nyní 2. Podobně $\lim_{x\to+\infty} F_X(x) = \lim_{n\nearrow\infty}F_X(n) = \lim_{n\nearrow\infty}P_X(-\infty,n) = \lim_{n\nearrow\infty} P[X \leq n] = B_n$.

Vidíme, že $B_n \subset B_{n+1}$ a $\bigcup_{n=1}^\infty B_n = \Omega$. Podle věty \ref{v_spojitost_miry} se limita rovná 1.

\proofitem Nakonec ukážeme spojitost zprava. $\lim_{h \to 0^+} F_X(f+h) = \lim_{n\to\infty} P_x(-\infty,x]+P_X(x,x+\frac 1n] = F_X(x) + \lim_{n\to\infty}P_X(x,x+\frac 1n) = F_X(x)$.
\end{proof}

\begin{veta}\label{v_charakter_dist}
Nechť $F$ splňuje vlastnosti z věty \ref{v_vlastnosti_dist}. Pak existuje pravděpodobnostní prostor $\prostor$ a náhodná veličina $X$ takové, že $F$ je distribuční funkcí na veličině $X$.
\end{veta}

\begin{proof}
Kanonickou konstrukcí. Volme $\Omega = \R$, ${\cal F} = {\cal B}$ a $P$ jako míru na ${\cal B}$ definovanou předpisem $P(-\infty,x] = F(x)$.

Nyní musíme umět zadefinovat $P(-a,b) = F(b_-) - F(a)$. Tímto se dostaneme na míru na ${\cal B}$. Spojitost $P$ je důsledkem spojitosti zprava $F$.

Nyní zvolíme $X: \Omega \to \R$ takové, že $x(\omega) = \omega$. Potom $F_X(a) = P[X \leq a] = P(-\infty,a] = F(a)$.
\end{proof}

\begin{df}[Nezávislost náhodných veličin]
Mějme $X_1,X_2,\dots$ náhodné veličiny definované na $\prostor$. Nazveme je \emph{vzájemně nezávislými}, pokud pro každou konečnou $I\subset \N$ a každé $\{x_i\}_{i\in I}$ platí $P(\bigcap_{i\in I}[X_i \leq x_i]) = \prod_{i\in I} P[X_i \leq x_i]$.
\end{df}

\section{Střední hodnota a další momenty}

Snahou je najít číselné charakteristiky, které vypovídají o chování náhodné veličiny, jelikož samotná náhodná míra nám moc neřekne.

\begin{df}[Střední hodnota, obecná definice]
Buď $X$ náhodná veličina (definovaná na $\prostor$). Hodnotu $EX = \int_\Omega X(\omega)\:dP(\omega)$, existuje-li výraz napravo, nazveme \emph{střední hodnotou} $X$.
\end{df}

\begin{df*}
Buď ${\mathbb S}$ nejvýše spočetná množina taková, že $P[X \in {\mathbb S}] = 1$. Pokud navíc $p_X(s) = P[x=s] > 0\ \forall s \in {\mathbb S}$, pak ${\mathbb S}$ nazveme \emph{nosičem} $P_X$.
\end{df*}

\begin{veta}[Střední hodnota diskrétní náhodné veličiny]
Buď $X$ diskrétní náhodná veličina s hodnotami v ${\mathbb S}$. Pak
$$ EX = \sum_{s \in {\mathbb S}} sP[X=s] = \sum_{s \in {\mathbb S}} sP_X(\mnz{s}) = \sum_{s \in {\mathbb S}} sp_X(s) \mlpss $$
\end{veta}

\begin{proof}
Využijeme definici: $EX=\int_\Omega X(\omega)\:dP(\omega)$. Množinu $\Omega$ si rozdělíme na $\bigcup_{s \in {\mathbb S}} \mnz{\omega: X(\omega) = s} = A_s$. Tyto množiny $A_s$ jsou navzájem disjunktní a je jich spočetně mnoho.

\noindent$\int_{\bigcup A_s} X(\omega)\:dP(\omega) =
\sum_{s \in {\mathbb S}} \int_{A_s} X(\omega)\:dP(\omega) =
\sum_{s \in {\mathbb S}} s \int_{A_s} dP(\omega) =
\sum_{s \in {\mathbb S}} s \int_\Omega \chi_{A_s}(\omega)\:dP(\omega) = 
\sum_{s \in {\mathbb S}} s P(A_s) = 
\sum_{s \in {\mathbb S}} s P[X=s]$.
\end{proof}

\begin{pr}Zkusme najít funkci $p_X(s), s \in {\mathbb Z}$ takovou, že:
\begin{enumerate}
\itemsep0em
\item $p_X(s) \geq 0$
\item $\sum_{s \in {\mathbb Z}} p_X(s) = 1$
\item $\sum_{s > 0} s p_X(s) = \infty$, $\sum_{s < 0} s p_X(s) = -\infty$
\end{enumerate}
Pro tuto funkci neexistuje střední hodnota, jelikož máme nedefinovanou sumu ($\infty-\infty$).
\end{pr}

Pokud $EX$ existuje a je konečná, pak mluvíme o náhodné veličině s konečnou střední hodnotou.

Pokud $P[X \geq b] = 1$ pro $b$ konečnou konstantu, pak $EX$ existuje a je $> b$ (analogicky pro $P[X \leq b]$).

Pokud $\exists a,b$ konečné a $P[a \leq X \leq b] = 1$, pak $EX$ existuje konečná a $a \leq EX \leq b$.

Můžeme definovat $E|X| = \int_\Omega \left| X(\omega) \right|\:dP(\omega)$, která existuje vždy. Pokud $E|X| < \infty$, pak $X \in L_1$ a v tom případě existuje $|EX| < \infty$.

Střední hodnota charakterizuje polohu $X$ ($P_X$).

\medskip
Mějme $a,b$ reálné a transformaci $X \to a+bX$. Potom $E(a+bX) = \sum_s (a+bs) p_X(s)$. Pokud $|EX| < \infty$, můžeme toto přepsat jako $\sum_s ap_X(s) + \sum_s bsp_X(s) = a + b EX$. Dá se tedy říct, že v tomto případě se $EX$ chová lineárně.

\begin{df}[Obecné momenty náhodné veličiny]
Buď $X: \Omega \to \R$ náhodná veličina a $g: \R \to \R$ funkce taková, že $g(x)$ je náhodná veličina. Pak $Eg(x) = \int_\Omega g(X(\omega))\:dP(\omega) \mlpss$.
\end{df}

Pro diskrétní náhodné veličiny potom $Eg(x) = \sum_{s \in {\mathbb S}} g(s) P[X=s] \mlpss$.

\begin{df}
Buď $X$ náhodná veličina. Pak
\begin{enumerate}
\item pro $r \in \N$ $EX^r$ je $r$-tý moment $X$.
\item $E|X|^r$ je $r$-tý absolutní moment $X$. Také pro $E|x|^r < \infty$ máme $X \in L_r$.
\item pro $r \in \N$ $E(X-EX)^r$ je $r$-tý centrální moment $X$.
\item pro $r=2$ máme $\var x = E(X-EX)^2$ rozptyl (variance) $X$.
\item $\mu_3 = \frac{E(X-EX)^3}{(E(X-EX)^2)^{\frac 32}}$ je šikmost rozdělení, měří asymetrii.
\item Momentová vytvořující funkce $\Psi_X(t), t \in \R$ je $\Psi_X(t) = Ee^{tX} \mlpss$. Vždy existuje minimálně $\Psi_X(0) = 1$.
\end{enumerate}
\end{df}

Poznámky ohledně momentů:
\begin{enumerate}
\item Pokud $r > t \geq 1$ a $E|X|^r < \infty$, pak $E|X|^t < \infty$.
\item Jak spočítat rozptyl\dots{} $\var X = \sum_{s \in {\mathbb S}} (s-EX)^2 P[X=s]$.

Nebo také $\var X = E(X^2 - 2X\cdot EX + (EX)^2) = EX^2 - E(2X\cdot EX) + E(EX)^2 = EX^2  - (EX)^2$.

Nebo také $\var X = E(X(X-1)) - EX(EX-1)$.

\item $\var X \geq 0$. Pokud $\var X = 0$, potom $s = EX, p_X(EX) = 1$, tedy $P[X = EX] = 1$.
\end{enumerate}

\begin{veta}[momenty a $\psi_X$]
Buď $X$ náhodná veličina a $\psi_X$ její momentová vytvořující funkce. Nechť $\exists \delta > 0$ takové, že $\psi_X(t)$ existuje konečná $\forall|t| < \delta$. Pak $ \forall r \in \N\ EX^r = \psi_X^{(r)} (0) $.\end{veta}

\begin{proof}V knize Pravděpodobnost a matematická statistika (Dupáč, Hušková).\end{proof}

\begin{veta}[M.v.f a charakterizace rozdělení]
Nechť $X$ a $Y$ jsou náhodné veličiny. Nechť $\exists \delta > 0$ tak, že:
\begin{enumerate}
\item $\psi_X(t)$, $\psi_Y(t)$ existuje konečné $\forall |t| < \delta$
\item $\psi_X(t) = \psi_Y(t) \forall |t| < \delta$
\end{enumerate}
Pak $P_X = P_Y$
\end{veta}

\begin{veta}[Jensenova nerovnost]
Buď $X$ náhodná veličina s konečnou střední hodnotou $EX$. Buď $\varphi$ konvexní funkce. Pak
$ E\varphi(x) \geq \varphi(EX) $.
\end{veta}

\begin{proof}
Pro $\varphi \in C^2$. Potom můžeme použít Taylorův rozvoj. Tedy $\varphi(X) = \varphi(EX) + \varphi'(EX)(X-EX) + \frac{\varphi''(c)}2 (X-EX)^2$. Použijeme střední hodnotu. Dostáváme $E\varphi(x) = \varphi(EX) + \varphi'(EX) \cdot E(X-EX)_{=0} + \frac{\varphi''(c)}2 \cdot \var X \geq \varphi(EX)$.
\end{proof}
\begin{proof}[Důkaz podle Matěje Konečného]
%Ten důkaz, co tu máš, mi přijde divnej. Především nechápu toho Taylora -- nemyslím, že to takhle platí (kromě případu, kdy $\varphi$ je kvadratickej polynom).
Z definice konvexity máme
$$\varphi(X) \geq \varphi(EX) + \varphi'(EX)\cdot(X-EX),$$
a protože očekávaná hodnota zachovává nerovnosti, tak použitím $E$ na tuhle nerovnost dostaneme přesně to, co chceme.
\end{proof}

\begin{veta}
{\small Nebyla přednesena.}
\end{veta}

\section{Náhodné vektory a jejich rozdělení}

\begin{df}[Náhodný vektor]\label{df_nahodny_vektor}
Zobrazení $\nvec X: \Omega \to \R^d$, kde $\prostor$ je pravděpodobnostní prostor, $d \in \N, d \geq 2$ takové, že $\mnz{\omega: \nvec X(\omega) \leq a} \in {\cal F}\ \forall a \in \R^d$ nazveme \emph{náhodný vektor}.
\end{df}

Diskrétní náhodný vektor nabývá nejvýše spočetně mnoha hodnot. Neřekneme-li jinak, budou tyto hodnoty vždy podmnožinou $\N_0^d$.

\begin{df}
Buď $\nvec X$ $d$-rozměrný náhodný vektor. Pravděpodobnostní míra $P_{\nvec X}$ definovaná na $\R^d$ předpisem $P_{\nvec X} ( \prod_{i = 1}^d (-\infty,a_i] ) = P[\nvec X \leq \nvec a]\ \forall a \in \R^d = P( \bigcap_{i=1}^d [X_i \leq a_i] )$ nazveme rozdělení náhodného vektoru.
\end{df}

\begin{veta}[Rozdělení diskrétní náhodné veličiny]
Buď $\nvec X$ diskrétní náhodný vektor a $P_{\nvec X}$ jeho rozdělení. Pak existuje funkce $p_{\nvec X}: \N^d \to [0,1]$ jednoznačně daná taková, že
$$ P_{\nvec X}(\prod_{i=1}^d (-\infty,a_i]) = \sum_{\nvec z \leq \nvec a} p_{\nvec X} (\nvec z) $$
\end{veta}

\begin{df}[Distribuční funkce náhodného vektoru]
Buď $\nvec X$ náhodný vektor a $P_{\nvec X}$ jeho rozdělení. $F_{\nvec X}: \R^d \to [0,1]$ definovaná jako $F_{\nvec X}(\nvec a) = P[\nvec X \leq \nvec a]$ se nazývá \emph{distribuční funkce} náhodného vektoru $\nvec X$.
\end{df}

\begin{df}[Marginální rozdělení]
Buď $\nvec X$ náhodný vektor a $P_{\nvec X}$ jeho rozdělení takové, že $P_{X_i}(-\infty,a] = \lim_{a_j \to \infty, j \neq i} P_{\nvec X}(X_{j = 1}^d (-\infty,a_j])$ se nazývá \emph{marginální rozdělení} $X_i$ a $F_{X_i} = \lim_{a_j \to \infty, j \neq i} F_{\nvec X} (\nvec a)$ se nazývá jeho marginální distribuční funkce $X_i$.
\end{df}

Vezměme si, $\nvec X: \Omega \to \R^d$. Potom $\nvec X = (X_1, X_2, \dotsc, X_d)$, kde $ $

\vskip6pt\noindent{\bf Terminologie.} $P_{\nvec X}, F_{\nvec X}$ jsou sdružené rozdělení, distribuční funkce, zatímco $P_{X_i}, F_{X_i}$ jsou marginální rozdělení. Nemáme však speciální termín pro $P_{(X_1, X_2, X_8)}$ subvektor.

\begin{veta}[O Marginálním rozdělení]
Máme-li náhodný vektor $\nvec X$ a jeho rozdělení $P_{\nvec X}$, pak marginální rozdělení složek $X_1,\dotsc,X_d$ jsou jednoznačně určeny $P_{\nvec X}$.

{\large Naopak ne!}
\end{veta}

\begin{pr}
Hoďme dvěma kostkami. Jejich výsledky jsou $A, B$. Dále mějme $C = A-1$ pro $B$ sudé a $C=A+1$ pro $B$ liché. Zapišme si je do tabulky:

\noindent
\begin{tabular}{r|cccccc|r}
$_A\kern-3pt\backslash\kern-2pt^B$ & 1 & 2 & 3 & 4 & 5 & 6 &    \\ \hline
1 & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $\frac16$ \\
2 & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $\frac16$ \\
3 & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $\frac16$ \\
4 & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $\frac16$ \\
5 & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $\frac16$ \\
6 & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $1/36$ & $\frac16$ \\ \hline
  & $1/6$  & $1/6$  & $1/6$  & $1/6$  & $1/6$  & $1/6$  &
\end{tabular}
\hskip 0pt plus 1fill
\begin{tabular}{r|cccccc|r}
$_A\kern-3pt\backslash\kern-2pt^C$ & 1 & 2 & 3 & 4 & 5 & 6 &   \\ \hline
1 & $0$    & $1/12$ & $0$    & $0$    & $0$    & $1/12$ & $\frac16$ \\
2 & $1/12$ & $0$    & $1/12$ & $0$    & $0$    & $0$    & $\frac16$ \\
3 & $0$    & $1/12$ & $0$    & $1/12$ & $0$    & $0$    & $\frac16$ \\
4 & $0$    & $0$    & $1/12$ & $0$    & $1/12$ & $0$    & $\frac16$ \\
5 & $0$    & $0$    & $0$    & $1/12$ & $0$    & $1/12$ & $\frac16$ \\
6 & $1/12$ & $0$    & $0$    & $0$    & $1/12$ & $0$    & $\frac16$ \\ \hline
  & $1/6$  & $1/6$  & $1/6$  & $1/6$  & $1/6$  & $1/6$  &
\end{tabular}

Vidíme, že pro náhodné vektory $(A,B)$ a $(A,C)$ jsou jejich marginální rozdělení stejná, ale uvnitř se chovají úplně jinak.
\end{pr}

Zaveďme si značení: $\nvec a < \nvec b$ právě, když $a_i < b_i\ \forall i=1,\dotsc,d$. Dále nechť $\Delta_{k}(\nvec a, \nvec b)$ je množina těch $\nvec c$, pro které existuje právě $k$ indexů $i_1,i_2,\dots,i_k$ takových, že $c_{i_j} = a_{i_j}$ a pro zbytek indexů je $c_l=b_l$.

Tedy například pro $\nvec a = (a_1,a_2,a_3), \nvec b = (b_1,b_2,b_3)$ je $\Delta_{1}(\nvec a,\nvec b) = \mnz{(a_1,b_2,b_3), (b_1,a_2,b_3), (b_1,b_2,a_3)}$.

\begin{veta}[Vlastnosti distribuční funkce]\label{v_vlastnosti_dist_vec}
Buď $F_{\nvec X}$ sdružená distribuční funkce náhodného vektoru $\nvec X$. Pak:
\begin{itemize}
\item $\lim_{a_i \to -\infty} F_{\nvec X}(\nvec a) = 0$ pro libovolné $i$.
\item $\lim_{a_i \to \infty} F_{\nvec X}(\nvec a) = 1$ pro každé $i$.
\item V každé složce argumentu je $F_{\nvec X}$ zprava spojitá a neklesající
\item $\forall \nvec a < \nvec b$ platí $\sum_{k=0}^d (-1)^k \sum_{\nvec c \in \Delta k(\nvec a, \nvec b) } F_{\nvec X}(\nvec c) \geq 0$
\end{itemize}
\end{veta}

Podívejme se na čtvrtou podmínku pro $\nvec a = (a_1, a_2), \nvec b = (b_1,b_2)$. Pak tato podmínka říká, že pro $\nvec a < \nvec b$ platí, že $(b_1,b_2) - ((a_1,b_2) + (b_1,a_2)) + (a_1,a_2) \geq 0$. Jedná se tedy o výřez na boxu $(a_1,b_1)\times(a_2,b_2)$.

\begin{veta}[Charakterizace distribuční funkce]\label{v_charakter_dist_vec}
Nechť $F: \R^d \to \R$ splňuje vlastnosti z věty \ref{v_vlastnosti_dist_vec}. Pak existují $\prostor$ a $\nvec X: \Omega \to \R^d$ takové, že $F$ je distribuční funkcí $\nvec X$.
\end{veta}

\begin{proof}
Stejně, jako u věty \ref{v_charakter_dist}.
\end{proof}

\noindent Náhodné veličiny $X_1,\dots,X_d$ jsou nezávislé, když $\forall A_1,\dots,A_d \in {\cal B}$ platí $P(\bigcap_{i=1}^d [X_i \in A_i]) = \prod_{i=1}^d P[X_i \in A_i]$.

\begin{veta}[Charakterizace nezávislosti]
Buď $\nvec X = (X_1,\dots,X_d)$ náhodný vektor a $F_{\nvec X}$ jeho sdružená distribuční funkce. Pak $X_1,\dots,X_d$ jsou nezávislé náhodné veličiny, pokud $\forall a_1,\dots,a_d \in \R$ platí
$$ F_{\nvec X} (a_1,\dots,a_d) = \prod_{i=1}^d F_{X_i} (a_i). $$
\end{veta}

Pro diskrétní náhodný vektor je nezávislost $X_1,\dots,X_d$ ekvivalentní tomu, že $p_{\nvec X}(a_1,\dots,a_d) = \prod_{i=1}^d p_{X_i} (a_i)$.

\section{Náhodné vektory a momenty}

\begin{df}[Střední hodnota náhodného vektoru]
Buď $\nvec X$ náhodný vektor. Potom definujeme:

\begin{enumerate}
\item $E\nvec X = (EX_1, \dotsc, EX_d)$

\item Nechť $g: \R^d \to \R$ (taková, že $g(\nvec X)$ je náhodná veličina). Pak definujeme $Eg(\nvec X) = \int_\Omega g(\nvec X(\omega))\ dP(\omega)$, pokud všechny integrály existují. 
\end{enumerate}

Je-li $\nvec X$ \emph{diskrétní}, pak $Eg(\nvec X) = \sum_{\nvec z \in \N_0^d} g(\nvec z) P[\nvec X = \nvec z]$, existuje-li řada napravo.
\end{df}

Když si vezmeme funkci $g_i: \R^d \to \R$, která splňuje $g_i(\nvec X) = X_i$, potom $Eg_i(\nvec X) = EX_i$.

\begin{veta}[Linearita střední hodnoty]\label{v_ex_linear}
Buď $\nvec X = (X_1, \dotsc, X_d)$ náhodný vektor a konstanty $a \in \R, b_1,\dotsc,b_d \in R$ a $E|X_i| < \infty\ \forall i$. Pak
$$ E\left( a + \sum_{i=1}^d b_i X_i \right) = a + \sum_{i=1}^d b_i EX_i. $$
\end{veta}

\begin{proof}
Jen pro diskrétní náhodný vektor, indukcí.

Vezměme si $(X_1,X_2)$ a $a, b_1, b_2$. Potom $E(a+ b_1 X_1 + b_2 X_2) =
\sum_{\nvec z \in \N_0^d} (a+ b_1 z_1 + b_2 z_2) P[X_1 = z_1, X_2 = z_2] = 
\sum_{\nvec z \in \N_0^d} a P[X_1 = z_1, X_2 = z_2] +
\sum_{\nvec z \in \N_0^d} b_1 z_1 P[X_1 = z_1, X_2 = z_2] +
\sum_{\nvec z \in \N_0^d} b_2 z_2 P[X_1 = z_1, X_2 = z_2]$.

Pro první sumu platí, že $\sum_{\nvec z \in \N_0^d} a P[X_1 = z_1, X_2 = z_2] = a$.

Pro druhou sumu dostaneme $\sum_{\nvec z \in \N_0^d} b_1 z_1 P[X_1 = z_1, X_2 = z_2] = \sum_{z_1 = 0}^\infty \sum_{z_2 = 0}^\infty b_1 z_1 P[X_1 = z_1, X_2 = z_2] = \sum_{z_1 = 0}^\infty b_1z_1 P[X_1 = z_1, X_2 = z_2] $. Můžeme použít větu \ref{v_uplna_pravdepodobnost}, kde $\bigcup_{z_2 = 0}^\infty[X_2 = z_2] = \Omega$. Nakonec se suma bude rovnat $b_1 \sum_{z_1 = 0}^\infty z_1 P[X_1 = z_1] = b_1 EX_1$. 
Analogicky pro třetí sumu.

Celá suma se tedy nakonec rovná $a + b_1 EX_1 + b_2 EX_2$.

\smallskip
Takto můžeme indukcí projít všechny dimenze.
\end{proof}

\begin{pozn}
Předpoklad $\nvec X = (X_1,\dotsc,X_d)$ je náhodný vektor a zaručuje, že $X_1,\dotsc,X_d$ jsou definované na stejném pravděpodobnostním prostoru a mají sdružené rozdělení $P_{\nvec X} = P_{(X_1,\dotsc,X_d)}$.
\end{pozn}

\begin{veta}[Střední hodnota součinu]\label{v_ex_soucin}
Buď $\nvec X = (X_1,\dotsc,X_d)$ náhodný vektor, $E|X_i| < \infty\ \forall i$. Jsou-li $X_1,\dotsc,X_d$ \emph{nezávislé}, pak
$$ E\prod_{i=1}^d X_i = \prod_{i=1}^d EX_i. $$
\end{veta}

\begin{proof}
Jen pro diskrétní náhodný vektor, indukcí. Postup podobný, jako u předchozí věty.

Máme $(X_1, X_2)$. Potom $EX_1X_2 = \sum_{\nvec z \in \N_0^d} z_1z_2 P[X_1 = z_1, X_2 = z_2] =
\sum_{\nvec z \in \N_0^d} z_1P[X_1 = z_1, X_2 = z_2] \cdot z_2P[X_1 = z_1, X_2 = z_2]$.

Máme tedy součet $\sum_{z_1 = 0}^\infty \sum_{z_2 = 0}^\infty z_1P[X_1 = z_1, X_2 = z_2] \cdot z_2P[X_1 = z_1, X_2 = z_2]$. Díky nezávislosti se tato suma rovná $\sum_{z_1 = 0}^\infty z_1P[X_1 = z_1, X_2 = z_2] \cdot \sum_{z_2 = 0}^\infty z_2P[X_1 = z_1, X_2 = z_2] = EX_1 \cdot EX_2$.
\end{proof}

Dříve jsme zjistili, že $X_1,X_2$ jsou nezávislé právě, když $F_{(X_1,X_2)(X_1,X_2)} = F_{X_1}(X_1)F_{X_2}(X_2)$. Nyní díky větě \ref{v_ex_soucin} víme, že $X_1,X_2$ jsou nezávislé $\Rightarrow EX_1X_2 = EX_1EX_2$. Opačná implikace však obecně neplatí.
\vskip6pt

Postačí si představit náhodné veličiny $X=\mnz{-1,0,1},Y=\mnz{1,2}$, pro které platí: $EX_1X_2 = 0$, $EX_1 = 0$. Tedy $EX_1X_2 = EX_1EX_2$. Samotné pravděpodobnosti ale jsou $P[X=-1]=\frac13, P[Y=1]=\frac13$. Avšak $P[X=-1,Y=1] = 0 \neq \frac 19$. Nejsou tedy nezávislé.

\begin{df}[Kovariance náhodných veličin]
Buď $(X_1,X_2)$ náhodný vektor takový, že $\var X_1 < \infty, \var X_2 < \infty$. Definujeme \emph{kovarianci} $\cov(X_1,X_2) = E(X_1 - EX_1)(X_2 - EX_2)$.
\end{df}

Co tato kovariance znamená? $X_1 - EX_1, X_2 - EX_2$ je odchylka od střední hodnoty. $(X_1-EX_1)(X_2-EX_2)$ je kladné, když násobíme odchylky stejného znaménka, či záporné, když odchylky mají různé znaménko. Dále tento součin říká, jak jsou obě veličiny daleko.

Co se stane, když si vezmeme $E(X_1-EX_1)(X_2-EX_2)$? Pokud je kladná, můžeme očekávat, že obě hodnoty budou růst. Například u vysokého člověka můžeme očekávat, že bude mít i vysokou hmotnost. Když je záporná, je tomu naopak.
\vskip6pt

Jak se dá kovariance počítat? Můžeme využít přímou definici. Ta však není moc pohodlná.

Podobně jako pro rozptyl můžeme tento vzoreček zjednodušit: $E\big((X_1-EX_1)(X_2-EX_2)\big) = E(X_1X_2 - X_1EX_2 - X_2EX_1 + EX_1EX_2)$.

Díky větě \ref{v_ex_linear} můžeme tento výraz rozepsat jako $EX_1X_2 - E(X_1EX_2) - E(X_2EX_1) + E(EX_1EX_2) = EX_1X_2 - EX_1EX_2$.
\vskip6pt

Důsledkem věty \ref{v_ex_soucin} je, že nezávislé $X_1,X_2$ mají nulovou kovarianci.
\vskip6pt

Platí, že $\cov(X_1,X_1) = \var X_1$ a kovariance je symetrická.

\begin{veta}[Rozptyl součtu náhodných veličin]\label{v_var_soucet}
Buď $\nvec X = (X_1,\dotsc,X_d)$ náhodný vektor, $\var x_i < \infty\ \forall i$. Pak
$$ \var\left( \sum_{i=1}^d X_i \right) = \sum_{i=1}^d \var X_i + \sum_{1 \leq i \neq j \leq d} \cov (X_i, X_j) = \sum_{i=1}^d \var X_i + 2\sum_{1 \leq i < j \leq d} \cov (X_i, X_j). $$

Speciálně, jsou-li $X_1,\dotsc,X_d$ nezávislé, pak
$$ \var\left(\sum_{i=1}^d X_i\right) = \sum_{i=1}^d \var X_i. $$
\end{veta}

\begin{proof}
Podle definice rozepíšeme a postupnou úpravou: $\var\left( \sum_{i=1}^d X_i \right) = E\left( \sum_{i=1}^d X_i - E\left(\sum_{i=1}^d X_i\right) \right)^2 = E\left( \sum_{i=1}^d (X_i - EX_i)^2 + 2\sum_{1 \leq i < j \leq d} (X_i-EX_i)(X_j-EX_j) \right) = \sum_{i=1}^d \var X_i + 2\sum_{1 \leq i < j \leq d} \cov (X_i, X_j)$.
\end{proof}

\begin{pr}
Mějme $X_1,X_2$ nezávislé, kde $\sigma^2 = \var X_1 = \var X_2$. Podle věty \ref{v_var_soucet}:
\begin{enumerate}
\itemsep0em
\item $\var (X_1+X_2) = \var X_1 + \var X_2 = 2\sigma^2$
\item $\var (X_1-X_2) = \var X_1 + \var X_2 = 2\sigma^2$
\item $\var (X_1 + X_1) = \var X_1 + \var X_1 + 2\cov (X_1, X_1) = 4\var X_1 = 4\sigma^2$
\item $\var (X_1 - X_1) = \var X_1 + \var X_1 - 2\cov (X_1, X_1) = 0$
\end{enumerate}
\end{pr}

Již umíme spočítat $\cov(X_i,X_j)$. Představme si, že $Z_i = 1000X_i$ (${\rm kg \to g}$). Potom ale získáváme rovnost $\cov(Z_i,X_j) = 1000\cov(X_i,X_j)$, což je mnohem vyšší číslo.

Chtěli bychom tedy, aby kovariance byla bezrozměrná, tedy chceme $\varphi(X): \varphi(aX) = |a|\varphi(X)$.

Potom $\frac{\cov(aX,bY)}{\varphi(aX)\varphi(bY)} = \frac{\cov(X,Y)}{\varphi(X)\varphi(Y)}$.

\begin{df*}
\emph{Korelací} nazveme $\corr (X,Y) = \frac{\cov (X,Y)}{\sqrt{\var X \var Y}}$.
\end{df*}

\begin{df}[Varianční a korelační matice]
Buď $\nvec X = (X_1,\dotsc,X_d)$ náhodný vektor, $\var X_i < \infty\ \forall i = 1,\dotsc,d$. Potom varianční matice je $ \Var \nvec X = \mnz{\cov(X_i,X_j)}_{i,j}$ a korelační matice je $\Corr \nvec X = \mnz{\corr(X_i,X_j)}_{i,j}$.
\end{df}

Varianční matice $\Var \nvec X$ má díky definici na diagonále právě $\var X_i$. Podobně korelační matice má na diagonále samé jedničky.

\medskip\noindent{\bf Značení.}
\begin{itemize}
\item $\corr(X,Y) = \rho_{X,Y}$
\item $\var X = \sigma^2_X$
\item $\cov(X,Y) = \sigma_X\sigma_y\rho_{X,Y}$
\item $EX = \mu_X$
\end{itemize}

\eject

\begin{veta}[Vlastnosti kovariance a korelace] \label{v_vlastnosti_corr}
Buďte $\nvec X$ náhodný vektor s variační matici $\Var \nvec X$ (existuje, konečné prvky). Dále mějme $X,Y$ náhodné veličiny s konečným rozptylem. Potom:
\begin{enumerate}
\item $-1 \leq corr(X,Y) \leq 1$, $\corr(X,X) = 1$
\item $|\corr(X,Y)| = 1 \Leftrightarrow \exists a \neq 0, b \in \R: X = aY + b$
\item $\cov(aX+c,bY+d) = ab \cov(X,Y)$
\item $\corr(aX+c,bY+d) = \sgn(ab) \corr(X,Y)$
\item jsou-li $X,Y$ nezávislé, $\cov(X,Y) = 0$
\item $\Var \nvec X, \Corr \nvec X$ jsou symetrické pozitivně semidefinitní
\item $\forall A \in \R^{l\times d}, B \in \R^l, \nvec X \in \R^d: \Var(A\nvec X + B) = A (\Var \nvec X) A^T$
\end{enumerate}
\end{veta}

\begin{proof}Jen některé body.

\begin{enumerate}
\item Máme vlevo $E((X-EX)(Y-EY))$, vpravo $\sqrt{E(X-EX)^2 E(Y-EY)^2}$.

Pro diskrétní náhodné veličiny získáváme vlevo $\sum_u\sum_v(u-EX)(v-EY)P[X=u,Y=v]$, vpravo $\left(\sum_u\sum_v(u-EX)^2P[X=u,Y=v]\cdot\sum_u\sum_v(v-EY)^2P[X=u,Y=v]\right)^{\frac12}$.

Nyní využijeme Cauchyho-Schwarzovy nerovnosti. Díky ní poté platí, že levá strana $\leq$ pravá strana.

Pro integrály existuje zobecnění zvané Hölderova nerovnost $\rightarrow$ z ní plyne platnost pro všechny náhodné veličiny $X,Y$ s konečnými rozptyly.

\item Je-li $X = aY + B$, pod ze bodu 3 a 4 získáváme, že $\corr(X,Y) = \corr(aY+B,Y) = \sgn(a)\corr(Y,Y) = \pm 1$.

Naopak, je-li $|\corr(X,Y)| = 1$, pak C-S nerovnost vychází jako rovnost a to je možné jen, pokud $X = aY+b$.

\item Přímo z definice $E((aX+c-E(aX+c))(bY+d-E(bY+d))) = E((aX+c-aEX))(bY+bEY)) = ab\,E((X-EX)(Y-EY)) $

\item Víme, že $\var(aX) = a^2\var X$ a $\var(bY) = b^2\var Y$.
Potom $\frac{ab \cov(X,Y)}{\sqrt{a^2\var X b^2\var Y}} = \frac{\cov(X,Y)}{\sqrt{\var X \var Y}}$

\addtocounter{enumi}{1}
\item $\forall a \in \R^d: a^T\Var \nvec X a \geq 0$. Po rozepsání $a^T\Var \nvec X a = \sum_{i=1}^d\sum_{j=1}^d a_i a_j \cov(X_i,X_j) = \sum_{i=1}^d \var(a_iX_i) + 2 \sum\sum_{1 \leq i < j \leq d} \cov(a_iX_i,a_jX_j) = \var(a^T\nvec X) \geq 0$.

Podobně $\Corr \nvec X = B \Var \nvec X B^T$, kde $B_{i,i} = (\var X_i)^{-1}$. Potom $a^t\Corr \nvec X a = a^TB \var\nvec X B^Ta \geq 0$.

\item Máme $A\nvec X$. Víme $\var a^tX = a^T \var\nvec X a$. Podobně, jako u předchozího bodu $\cov(a^T\nvec X, b^T\nvec Y) = a^T \Var\nvec X b$.
\end{enumerate}
\removelastskip\end{proof}

Korelace tedy měří míru linearity závislosti $X$ a $Y$.

Důsledkem sedmého bodu je, že $\cov(\sum_{i=1}^k X_i, \sum_{j=1}^l Y_j) = \sum_{i=1}^k\sum_{j=1}^l \cov(X_i,Y_j)$ a $\cov(X+Y,Z) = \cov(X,Z)+\cov(Y,Z)$. Tedy kovariance je bilineární forma.

\medskip
Řekněme, že $\corr(x,y) = 1$. Potom
$$ \Corr(X,Y) = \begin{pmatrix}1&-1\\-1&1\end{pmatrix}, \qquad \Var(X,Y) = \begin{pmatrix}\var X & -\sqrt{\var X \var Y} \\ -\sqrt{\var X \var Y} & \var Y\end{pmatrix} $$

Po vynásobení $\Var (X,Y)$ vektorem $(\sqrt{\Var Y}, \sqrt {\var X})$ dostaneme nulový vektor, tedy matice je singulární. Proto $\exists u,v \neq 0$ taková, že $(u,v)^T \Var(X,Y)(u,v) = 0$, tedy $\var(uX+vY) = 0$, neboli $uX+vY$ je konstanta. Tím jsme jinak dokázali implikaci $\Rightarrow$ v bodu 2 věty \ref{v_vlastnosti_corr}.

\begin{df}
Náhodné veličiny $X,Y$ takové, že $\cov(X,Y) = 0$ nazveme \emph{nekorelované}.
\end{df}

Víme, že když jsou $X,Y$ nezávislé, pak jsou $X,Y$ nekorelované. Naopak to však obecně {\bf neplatí}! Dobrým příkladem, proč to neplatí, jsou náhodné veličiny $X,Y$, kde $Y=X^2$.

\subsection*{Transformace}

Asi nejčastější transformace, kterou používáme, je $\nvec X \to \sum_{i=1}^d X_i$. 

Transformace je tedy zobrazení $\varphi: \R^d \to \R^l$. My potřebujeme, aby $\varphi(\nvec X)$ byl opět náhodný vektor, který splňuje definici \ref{df_nahodny_vektor}.

\medskip
Mějme tedy vektor $\nvec Y = \varphi(\nvec X)$. Jaké má tento vektor rozdělení?

\begin{veta}
Buď $\nvec X$ $d$-rozměrný náhodný vektor a $\varphi: \R^d \to \R^l$ (slušně vychovaná) funkce. Potom $\nvec Y = \varphi(\nvec X)$ s~distribuční funkcí
$$F_{\nvec Y}(u) = P_{\nvec X}\left(\varphi^{-1}\left(\prod\limits_{i=1}^l (-\infty,u_i]\right)\right).$$

Je-li $\nvec X$ diskrétní náhodný vektor, pak $\nvec Y$ je též diskrétní náhodný vektor a
$$P[\nvec Y=\nvec u] = \sum_{\nvec v: \varphi(\nvec v) = \nvec u} P[\nvec X = \nvec v]$$
\end{veta}

Máme tedy dva náhodné vektory $\nvec X: \Omega \to \R^d $ a $\nvec Y: \Omega \to \R^l$ takové, že $Y=\varphi(\nvec X)$. Nás zajímá $F_{\nvec Y}(\nvec u) = P(\mnz{\omega: \nvec Y(\omega) \leq \nvec u}) = P(\mnz{\omega: \nvec Y(\omega) \in A}) = P(\mnz{\omega: \nvec X(\omega) \in \varphi^{-1}(A)}) =  P_{\nvec X}\left(\varphi^{-1}(A)\right)$, kde $A = \prod_{i=1}^d (-\infty,u_i]$.

\begin{veta}[Rozdělení součtu a součinu diskrétního náhodného vektoru]
Buďte $X,Y$ diskrétní náhodné veličiny (na stejném $\prostor$), pak:

\begin{enumerate}
\item $Z = X+Y$ je také diskrétní náhodná veličina a platí $P[Z=v] = \sum_u P[X=u,Y=v-u]$.
\item Pokud jsou $X,Y$ kladné (tedy $P[X>0] = P[Y>0] = 1$), pak $V = XY$ je také kladná diskrétní náhodná veličina a $P[V=z] = \sum_u P[X=u,Y=\frac zu]$.

{\footnotesize pro obecné d.n.v je třeba dát pozor na $ab=-(a)(-b)$ a $0b=a0=0$.}
\end{enumerate} 
\end{veta}

\begin{proof}
Podle věty o úplné pravděpodobnosti $P[Z=v] = \sum_u P[Z=v,X=u] = \sum_u P[X=u,X+Y=v] = \sum_u P[X=u,Y=v-u]$. Druhý bod analogicky.

{\footnotesize Pro více, než dvě veličiny můžeme postupovat indukcí.}
\end{proof}

\begin{veta}[Momentová vytvořující funkce součtu]\label{v_moment_soucet}
Buďte $X_1,\dots,X_n$ nezávislé náhodné veličiny a $Y$ jejich součet. Pak
$$\psi_Y(t) = \prod_{i=1}^n \psi_{X_i}(t).$$
\end{veta}

\begin{proof}
Z nezávislosti plyne, že $\psi_Y(t) = Ee^{tY} = Ee^{t\sum X_i} = E\prod e^{tX_i}$. Z nezávislosti poté máme $\prod \psi_{X_i}(t)$.
\end{proof}

Mějme náhodný vektor $\nvec X$ a $\nvec Y = \varphi(\nvec X)$. Chceme znát $E\nvec Y$. Můžeme třeba určit rozdělení $\nvec Y$ a pak počítat střední hodnotu podle definice. Toto však nemusí být jednoduché.

Druhá možnost $Eg(\nvec Y) = Eg(\varphi(\nvec X)) = Eh(\nvec X)$. Poté není třeba určovat rozdělení, je však potřeba najít $h$.

\begin{pr}
Mějme $Y = \sum_{i=1}^d X_i$. Najít rozdělení součtu může být těžké a lze v něm nadělat spoustu chyb. Avšak $E\sum_{i=1}^d X_i$ je vždy $\sum_{i=1}^d EX_i$, a to díky linearitě střední hodnoty (věta \ref{v_ex_linear}).
\end{pr}

\section{Absolutně spojité náhodné vektory}

Definice \ref{df_nahodny_vektor},TODO[18,19,20] zde stále platí.

\begin{df}[Absolutně spojitý (AC) náhodný vektor]
Náhodný vektor $\nvec X = (X_1,\dotsc,X_d)$ je \emph{absolutně spojitý} (nebo jeho rozdělení je absolutně spojité), existuje-li nezáporná funkce $f: \R^d \to \R$ taková, že $$F_{\nvec X} = \int_{-\infty}^\infty\cdots\int_{-\infty}^\infty f(t_1,\dotsc,t_d)\:{\rm d}t_d\dots{\rm d}t_1$$

Funkce $f$ se nazývá sdruženou hustotou rozdělení $\nvec X$.
\end{df}

Pro diskrétní náhodný vektor jsme hustotou označovali $p_{\nvec X}(\nvec u) = P[\nvec X = \nvec u]$. Pro AC náhodný vektor však platí $P[\nvec X = \nvec u] = 0\ \forall \nvec u \in \R^d$.

Pravděpodobnost $P[\nvec a \leq \nvec X \leq \nvec b] = \int_{a_1}^{a_n}\cdots\int_{a_d}^{b_d} f(t_1,\dotsc,t_d)\:{\rm d}t_d\dots{\rm d}t_1$.

Zhruba řečeno $f_{\nvec X}(\nvec u) \approx P[\nvec X \in U(\nvec u,\delta)] / |U(\nvec u,\delta)|$, kde $U(\nvec u,\delta)$ je dostatečně \uv{malé} okolí $\nvec u$.

\medskip
Jestliže máme $f$ spojitou funkci, která se však nedá zapsat jako integrál, potom náhodné rozdělení definované touto funkcí je \emph{singulárně spojité}. Takové rozdělení se však chová dost ošklivě.

\medskip
V reálném světě nebude platit, že všechny vektory jsou buďto celé diskrétní, nebo absolutně spojité. Můžou existovat vektory se složkami různých \uv{typů}, například vektor $(X,Y)$, kde $X$ je diskrétní veličina, zatímco $Y$ je spojitá.

\begin{pr}
Představme si, že máme pozorování směru větru z meteorologie. Nejčastěji vítr fouká směrem na západ. Potom tento náhodný vektor není ani absolutně spojitý (nelze napsat četnost na kružnici jako integrál), ani diskrétní (plocha kružnice je nulová).
\end{pr}

\begin{veta}[Marginální rozdělení AC náhodného vektoru]\label{v_marginal_ac}
Buď $\nvec X = (X_1,\dotsc,X_d)$ AC náhodný vektor se sdruženou hustotou $f_{\nvec X}$. Pak marginální distribuční funkce $F_{X_i}$ je daná
$$ F_{X_i}(t) = \int_{-\infty}^\infty \cdots \underbrace{\int_{-\infty}^t}_{i\text{-tý}} \cdots \int_{-\infty}^\infty f(u_1,\dotsc,u_d)\:{\rm d}u_d\dots{\rm d}u_1 = \int_{-\infty}^t f_{X_i}(u)\:{\rm d}u $$
kde
$$ f_{X_i}(u_i) = \underbrace{\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty}_{d-1\text{ integrálů}} f(u_1,\dotsc,u_{i-1},u_i,u_{i+1},\dotsc,u_d)\:{\rm d}u_d\dots{\rm d}u_{i+1}{\rm d}u_{i-1}\dots{\rm d}u_1 $$
je marginální hustota náhodné veličiny $X_i$.
\end{veta}

\begin{proof}
Podle definice marginální funkce $F_{X_i}(t) = \lim_{t_j \to \infty, j \neq i} F_{\nvec X}(t_1,\dotsc,t_d) $. Podle definice AC vektoru je to dále rovno $\lim_{t_j \to \infty, j \neq i} \int_{-\infty}^{t_1}\cdots
\int_{-\infty}^{t_{i-1}}\int_{-\infty}^{t_i}\int_{-\infty}^{t_{i+1}}\cdots
\int_{-\infty}^{t_d} f_{\nvec X}$ neklesající v $t_j$ omezena shora 1. Tedy $\lim F_{\nvec X}(\nvec t) = 1$. Potom
$$ \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{t}\cdots\int_{-\infty}^{\infty} f_{\nvec X} =
\int_{-\infty}^{t}
\underbrace{\int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} f_{\nvec X}(u_1,\dotsc,u_d)\: {\rm d}u_d\dots{\rm d}u_{i+1}{\rm d}u_{i-1}\dots{\rm d}u_1}_{\geq 0}
{\rm d}u_i$$
\end{proof}

\begin{veta}[Nezávislost AC]
Buď $\nvec X = (X_1,\dotsc,X_d)$ AC náhodný vektor se sdruženou hustotou $f_{\nvec X}$. Pak náhodné veličiny $X_1,\dotsc,X_d$ jsou nezávislé právě tehdy, když
$$ f_{\nvec X}(\nvec a) = \prod_{i=1}^d f_{X_i}(a_i)\ \forall \nvec a = (a_1,\dotsc,a_d) \in \R^d $$
\end{veta}

Důkaz této věty vychází ze vztahu hustoty a rozdělení.

\medskip
Náhodné rozdělení, distribuční funkci i hustotu umíme mezi sebou vyvodit. Také umíme vyvodit marginální distribuční funkci, naopak však ne.

\begin{veta}[Momenty AC náhodného vektoru]
Buď $\nvec X = (X_1,\dotsc,X_d)$ AC náhodný vektor se sdruženou hustotou $f_{\nvec X}$ a $g: \R^d \to \R$. Pak
$$Eg(\nvec X) = \int_{-\infty}^\infty\cdots\int_{-\infty}^\infty g(u_1,\dotsc,u_d)f_{\nvec X}(u_1,\dotsc,u_d)\:{\rm d}u_d\dots{\rm d}u_1 $$
pokud tento integrál existuje. Speciálně pro $g(\nvec X) = X_1$ je
$$Eg(x) = \int_{-\infty}^\infty\cdots\int_{-\infty}^\infty u_1 f_{\nvec X}(u_1,\dotsc,u_d)\:{\rm d}u_d\dots{\rm d}u_1 = \int_{-\infty}^\infty u_1 f_{X_1}(u_1)\:{\rm d}u_1. $$
\end{veta}

\subsection*{Transformace}

\begin{veta}[Konvoluce]
Buď $(X,Y)$ AC náhodný vektor s hustotou $f_{(X,Y)}$. Pak $Z = X + Y$ je AC náhodná veličina a platí

$$ f_Z(t) = \int_{-\infty}^\infty f_{(X,Y)}(x,t-x)\:{\rm d}x $$
\end{veta}

Tato věta je v podstatě spojitá verze diskrétního součtu.

\begin{proof}
Chceme najít $P[Z \leq z] = P[X+Y \leq z] = P[(X,Y) \in H]$ kde $H$ je polorovina rozdělená přímkou $Z = X+Y$. To se rovná $\iint_{H} f_{(X,Y)}(u,v)\:{\rm d}v{\rm d}u = \int_{-\infty}^\infty \int_{-\infty}^{z-u} f_{(X,Y)}(u,v)\:{\rm d}v{\rm d}u = F_z(z)$.

Využijme vztahu distribuční funkce a hustoty: $F_Z(z) = \int_{-\infty}^z f(z)(t)\:{\rm d}t$. Využijme vztah $f_Z(z) = F_Z'(z)$, který ale ne nutně pro všechny $z$ platí, jelikož $F_z$ nemusí být derivovatelná. Těchto problematických bodů však není \uv{mnoho} a v nich můžeme $f$ dodefinovat podle potřeby.

Potřebujeme tedy najít $\frac{\partial}{\partial z} \int_{-\infty}^\infty \int_{-\infty}^{z-u} f_{(X,Y)}(u,v)\:{\rm d}v{\rm d}u $. Tato derivace se prvního integrálu nedotýká, dostáváme se tedy na $ \int_{-\infty}^\infty \left( \frac{\partial}{\partial z} \int_{-\infty}^{z-u} f_{(X,Y)}(u,v)\:{\rm d}v \right) {\rm d}u $. Vnitřek můžeme zderivovat, kde získáme $f_{(X,Y)}(u,z-u)\cdot 1$. Dostáváme tedy výraz ve větě.
\end{proof}

\begin{veta}[Hustota podílu a součinu]
Buď $(X,Y)$ AC náhodný vektor s hustotou $f_{(X,Y)}$ a nechť $P[Y>0] = 1$. Pak $V = \frac XY$ je AC náhodná veličina s hustotou
$$ f_V(v) = \int_{-\infty}^\infty f_{(X,Y)}(vy,y)\cdot y\:{\rm d}y. $$

Dále $W = XY$ je AC náhodná veličina s hustotou
$$ f_W(w) = \int_{-\infty}^\infty f_{(X,Y)}(\frac wy,y)\cdot \frac 1y\:{\rm d}y. $$
\end{veta}

\begin{proof}
Chceme najít $P[V \leq v] = P[\frac XY \leq v] = P[X \leq vY] = P[(X,Y) \in H]$ kde $H$ je polorovina rozdělená přímkou $x = vY$. Postupujme tedy podobně, jako u předchozího důkazu.

Derivováním vnitřního integrálu tentokrát dostaneme $F_{(X,Y)}(vy,y) \cdot y = \frac{\partial(vy)}{\partial y}$.

Hustotu součinu dostaneme přímým dosazením obrácené hodnoty $Y$ do podílu.
\end{proof}

\paragraph*{Normální rozdělení} (taky Gaussovo, či po Germánsku Gaußovo)

Zapisuje se $X \sim N(0,1)$ ($X$ má normální rozdělení s parametry 0 a 1).

$f(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac {x^2}2}$.

Dále vezměme si $Y = \mu + \sigma X$, potom $f_Y(y) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac {(y-\mu)^2}{2\sigma^2}}$. Dále $EY = \mu$, $\var Y = \sigma^2$.

Pokud máme $Z \sim N(\mu,\sigma^2)$, potom normované či standardní rozdělení je $\frac {Z-\mu}\sigma \sim N(0,1)$.

\medskip\noindent{\bf Mnohorozměrné normální rozdělení}

\begin{enumerate}
\item Mějme $X,Y \sim N(0,1)$, které jsou navzájem nezávislé. Potom $f_{X,Y} = \frac1{2\pi} e^{-\frac{x^2+y^2}{2}}$.

\item Mějme $X \sim N(\nu_1, \sigma_1^2)$ a $Y \sim N(\mu_2,\sigma_2^2)$, které jsou nezávislé. $f_{X,Y} = \frac1{2\pi\sqrt{\sigma_1^2\sigma_2^2}} \exp\left(-\frac{(x-\mu_1)^2}{2\sigma_1^2}-\frac{(y-\mu_2)^2}{2\sigma_2^2}\right)$.
\end{enumerate}
Dále $\Var(X,Y) = \left(\begin{smallmatrix} \sigma_1^2 & 0 \\ 0 & \sigma_2^2\end{smallmatrix}\right) = \Sigma$.

Potom $\det \Sigma = \sigma_1^2\sigma_2^2$ a $\Sigma$ je nějaká kvadratická forma, tedy
$$f_{X,Y}(x,y) = \frac{1}{2\pi\sqrt{\det\Sigma}}\exp\left(-\frac12 (x-\mu_1,y-\mu_2)^T \Sigma^{-1} (x-\mu_1,y-\mu_2) \right).$$

Tato hustota lze definovat pro libovolnou $\Sigma = \left(\begin{smallmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_1\sigma_2 & \sigma_2^2 \end{smallmatrix}\right)$ symetrickou pozitivně definitní. Potom $EX = \mu_1$, $EY = \mu_2$, $\var X = \sigma_1^2$, $\var Y = \sigma_2^2$, $\corr(X,Y) = \rho$.

\medskip
Tato definice lze zobecnit na $d$ rozměrů. Mějme $\Sigma^{d\times d}$ symetrickou pozitivně definitní, $\nvec \mu \in \R^d$. Potom $f_{\nvec X}(\nvec u) = \frac{1}{(2\pi)^\frac d2 \sqrt{\det\Sigma}}\exp\mnz{-\frac12 (\nvec u - \nvec \mu)^T \Sigma^{-1} (\nvec u - \nvec \mu) }$.

V tomto náhodném vektoru je potom $\Var \nvec X = \Sigma$, $E\nvec X = \nvec \mu$. Každé marginální rozdělení bude také odpovídat normálnímu rozdělení.

\medskip
Normální rozdělení je jediné absolutně spojité rozdělení, kde platí, že když $(X,Y) \sim N_2(\dots)$ a $\cov(X,Y) = 0$, $X,Y$ jsou nezávislé. 

\section{Podmíněné rozdělení a podmíněná střední hodnota}

\begin{df}[Podmíněné rozdělení diskrétního náhodného vektoru]
Buď $X = (Y,Z)$ diskrétní náhodný vektor (s hodnotami v $\N_0^2$). Pak pro každé $n\in N_0$ takové, že $P[Z = n] > 0$ definujeme podmíněné rozdělení $Y$ za~podmínky $Z = n$:
$$ P[Y=k|Z=n] = \frac{P[Y=k,Z=n]}{P[Z=n]}. $$
\end{df}

Podmínku $Z=n$ chápeme jako další informaci o chování náhodné veličiny $Y$, dává nám na něj přesnější pohled, platí-li podmínka.

\begin{pr}
Mějme 6 mincí a jednu kostku. Hodíme kostkou a podle výsledku hodíme odpovídající počet mincí. Jaká je pravděpodobnost, že nepadne žádný líc?

Jaké je rozdělení počtu líců? Víme, že počet líců je $0,\dots,6$. To však nedokážeme spočítat přímo, musíme vždy spočítat rozdělení za podmínky hození kostkou.
\end{pr}

\begin{df}[Podmíněná střední hodnota]
Buď $X = (Y,Z)$ diskrétní náhodný vektor takový, že
\begin{enumerate}
\item $P[Z = n] > 0$
\item $Eg(Y,n) < \infty$ pro zvolenou funkci $g$.
\end{enumerate}
Pak definujeme $ Eg(Y,Z | Z = n) = \sum_{k = 0}^\infty g(k,n) P[Y = k | Z = n]$.

Speciálně, pokud $E|Y| < \infty$, potom $E(Y | Z=n) = \sum_{k = 0}^\infty k P[Y = k |Z = n]. $ a zveme toto \emph{podmíněnou střední hodnotu} $g(Y,Z)$ za podmínky $Z = n$.
\end{df}

\stepcounter{veta} % Asi jsme přeskočili větu 32?
\begin{veta}[O úplné střední hodnotě]\label{v_uplna_ex}
Buď $X = (Y,Z)$ diskrétní náhodný vektor a $EY$ existuje konečná. Pak

$$EY = \sum_{n} E[Y|Z=n]P[Z=n]$$

pro ta $n$, pro které $P[Z=n] > 0$.
\end{veta}

\begin{proof}
Začněme s pravou stranou. $\sum_{n} E[Y|Z=n]P[Z=n] = \sum_n\sum_{k=0}^\infty k P[Y=k|Z=n]P[Z=n] = \sum_{n}\sum_{k=0}^\infty k P[Y=k,Z=n]$. Jelikož počítáme s existující $EY$, můžeme dále pokračovat na $\sum_{k=0}^\infty k \sum_{n} P[Y=k,Z=n] = EY$.
\end{proof}

Všimněme si, že podmíněná středí hodnota je konstanta závislá na $n$ a při sečtení všech $n$ dostaneme přímou střední hodnotu $EY$, která je již konstantní v daném rozdělení.

Můžeme si také všimnout, že podmíněná pravděpodobnost nám faktoruje množinu $\Omega$ podle hodnoty $z$. Na této faktorové množině poté můžeme zavést novou náhodnou veličinu se zajímavými vlastnostmi.

\begin{df}[Podmíněná střední hodnota jako náhodná veličina]
Buď $X = (Y,Z)$ diskrétní náhodný vektor, $E|Y| < \infty$. Definujeme náhodnou veličinu $E(Y|Z)$ předpisem $E(Y|Z)(\omega) = E(Y | Z = n)\ \forall \omega \in \mnz{\omega: Z(\omega) = n}$.

Rozdělení této náhodné veličiny je zřejmě $P[E(Y|Z) = E(Y|Z=n)] = P[Z = n]$.
\end{df}

$EY$ má tuto vlastnost: $E(Y-EY)^2 = \min_{a \in \R} E(Y-a)^2$. Střední hodnota je tedy nejlepší konstanta, která reprezentuje nejmenší čtvercovou chybu. 

Na množině $\mnz{\omega: Z(\omega) = n}$ platí $E(Y-E(Y|Z=n))^2 = \min_{b \in \R} E(Y - b)^2$. Můžeme tedy najít ještě lepší konstantu, než $EY$, reprezentující tuto informaci.

\begin{veta}
Buď $X = (Y,Z)$ diskrétní náhodný vektor, $E|Y| < \infty$. Pak $E(E(Y|Z)) = EY$.
\end{veta}

\begin{proof}
Přímý důsledek věty \ref{v_uplna_ex}.
\end{proof}

\begin{pozn}[Podmíněný rozptyl]
$\var (Y | Z = n) = E\left( \left( Y - E(Y|Z=n)\right)^2 \Big| Z = n \right)$
\end{pozn}

\begin{df}[Podmíněná hustota]
Buď $X = (Y,Z)$ absolutně spojitý náhodný vektor se sdruženou hustotou $f_{Y,Z}$. Definujme $f_{Y|Z}(v|w)$ předpisem:
$$ f_{Y|Z}(v|w) = \begin{cases} \frac{f_{Y,Z}(v,w)}{f_Z(w)} & f_Z(w) > 0 \\ 0 & \text{jinak} \end{cases} $$
kterouž funkci nazveme hustotou podmíněného rozdělení $Y$ za podmínky $Z = w$.
\end{df}

Nyní pojďme ověřit, že takto definovaná hustota je opravdu hustotou.

Marginální hustota $f_Z = \int_{-\infty}^\infty f_{Y,Z} (v,w)\:{\rm d}v$. Pokud je rovna nule, potom $f_{Y,Z}(v,w) = 0$.

Nyní $ \int_{-\infty}^\infty f_{Y|Z}(v|w)\:{dv} = \int \frac{f_{Y,Z}(v,w)}{f_Z{w}} = \frac{f_Z(w)}{f_Z(w)} $, kdykoliv $f_Z(w) > 0$.

\medskip
$P[Y \in A, Z \in B] = \int_A\int_B f_{Y,Z}(v,w)\:{\rm d}w{\rm d}v = \int_A\int_B f_{Y|Z}(v|w)f_Z(w)\:{\rm d}w{\rm d}v = \int_B\left( \int_A f_{Y|Z}(v|w)\:{\rm d}v \right) f_Z(w)\:{\rm d}w $. Zde můžeme vidět náznaky věty o úplně pravděpodobnosti pro absolutně spojitý náhodný vektor.

\begin{df}[Podmíněná střední hodnota]
Buď $X = (Y,Z)$ absolutně spojitý náhodný vektor, $g: \R^2 \to \R$ taková, že $E|G(Y,w)| < \infty$. Pak definujeme $E(g(Y,Z)|Z=w) = \int_{-\infty}^\infty g(v,w) f_{Y|Z}(v|w)\:{\rm d}v $ a $E(Y|Z=w) = \int_{-\infty}^\infty v f_{Y|Z}(v|w)\:{\rm d}v$.
\end{df} 

\section{Nerovnosti a meze}
\let\eps=\varepsilon

Nerovnosti se hodí k odhadování určování pravděpodobností určitých jevů či veličin.

\begin{veta}[Markovova nerovnost]\label{v_markovova}
Buď $X$ nezáporná náhodná veličina. Potom
$$ P[X \geq \varepsilon] \leq \frac{EX}{\varepsilon} \eqno{\forall\varepsilon>0} $$
\end{veta}

\begin{proof}
$[X \geq \eps] = P\mnz{ \omega : X(\omega) \geq \eps} = \int_{\omega: X(\omega) \geq \eps} 1\:{\rm d}P \leq \int_{\omega: X(\omega) \geq \eps} \frac{X(\omega)}\eps_{\text{Vždy kladné}} \:{\rm d}P \leq \int_{\Omega} \frac{X(\omega)}\eps\:{\rm d}P = \frac{EX}\eps$.
\end{proof}

\begin{veta}[Markovova nerovnost podruhé]\label{v_markovova_2}
Buď $X$ nezáporná náhodná veličina. Potom
$$ P[X \geq \varepsilon] \leq \frac{E(X^k)}{\varepsilon^k} \eqno{\forall\varepsilon>0,k>0} $$
\end{veta}

\begin{proof}
Jediná změna oproti předchozímu: $X(\omega) \geq \eps \Rightarrow \left( \frac{X(\omega)}\eps \right)^k \geq 1$. Jinak stejně.
\end{proof}

\begin{veta}[Čebyševova nerovnost]\label{v_cebysev}
Buď $X$ náhodná veličina a $E|X| < \infty$. Pak
$$ P[|X-EX| \geq \eps] \leq \frac{\var X}{\eps^2} $$
\end{veta}

\begin{proof}
Věta \ref{v_markovova_2} použitá na $|X-EX|$ a $k=2$.
\end{proof}

Pojďme si na chvíli povídat o náhodných procházkách. Představme si, že jsme zrovna vyšli z hospůdky ve tři ráno a náhodně v ulicích jdeme na sever nebo na jih pár minut. Kam až se můžeme dostat? Za jak dlouho se vrátíme zpět k hospodě, abychom tam strávili čas tentokrát až do rána?

\smallskip
Mějme $X_1,X_2,\dots$ nezávislé, jejichž pravděpodobnosti jsou $P[X_i=1]=P[X_i=-1]=\frac12$. Dále mějme $S_k = \sum X_i$. Čebyševova nerovnost říká $P[|S_n-ES_n\ \geq \eps] \leq \frac{\var S_n}{\eps^2}$.

Spočtěme nyní $ES_k = \sum EX_i = 0$ a $\var S_k = \var \sum S_i = \sum \var S_i = k$.

Podle nerovnosti tedy dostáváme, že $P[|S_n| \geq \eps] \leq \frac{n}{\eps^2}$. Dále $P[|S_n| \geq 2\sqrt n] \leq \frac{n}{4n} \leq \frac 14$.

\begin{veta}[Kolmogorovova nerovnost]
Buďte $X_1,X_2,\dots$ nezávislé náhodné veličiny a $E|X_i| < \infty\ \forall i$. Pak
$$ P\left[\max_{1 \leq k \leq n}\left| \sum_{i = 1}^k (X_i - EX_i) \right| \geq \eps \right] \leq \frac{\sum_{i=1}^n \var X_i}{\eps^2} $$
\end{veta}

\begin{proof}
Označme si $S_k = \sum_{i=1}^k (X_i - EX_i)$. Potom $ES_k = 0$ a $\var S_k = \sum_{i = 1}^k \var X_k$ díky nezávislosti. Hledáme tedy pravděpodobnost $P[\max_{1 \leq k \leq n} |S_k| \geq \eps]$.

Zadefinujme si množinu $A_k = \mnz{\omega: |S_j(\omega)| < \eps, j < k, |S_k(\omega)| \geq \eps}$ a $S_0 = 0$. Můžeme si všimnout, že $A_k$ jsou po dvou disjunktní. Rozložili jsme pravděpodobnostní prostor podle prvního překročení $\eps$.

\medskip
Potom $P[\max_{1 \leq k \leq n} |S_k| \geq \eps] = P[\bigcup_{k=1}^n A_k] = \int_{\bigcup_{k=1}^n A_k} 1\:{\rm d}P = \sum_{k=1}^n \int_{A_k} 1\:{\rm d}P \leq \sum_{k=1}^n \int_{A_k} \frac{S_k^2(\omega)}{\eps^2} \:{\rm d}P $.

Dále $\int_{A_k} {S_k^2(\omega)} \:{\rm d}P = \int_{A_k} (S_n-S_k+S_k)^2 \:{\rm d}P = \int_{A_k} (S_n-S_k)^2 \:{\rm d}P + \int_{A_k} 2(S_n-S_k)\cdot S_k \:{\rm d}P + \int_{A_k} (S_k)^2 \:{\rm d}P $.

\smallskip
Z toho se podívejme na $\int_{A_k} 2(S_n-S_k)\cdot S_k \:{\rm d}P = \int_\Omega (S_n - S_k)(S_k \chi_{A_k}) \:{\rm d}P = E\left( (S_n-S_k)\cdot S_k \cdot \chi_{A_k} \right)$. Využijme nezávislosti a toho, že $S_n-S_k = X_{k+1} + X_{k+2} + \dots + X_n$ a $S_k = X_1 + X_2 + \dots + X_k $ a $X_{A_k}$ závisí jen na $(X_1,\dotsc,X_k)$. Tedy celý integrál se rovná $E(S_n-S_k) ES_k\chi_{A_k} = 0$.

\smallskip
Tedy $\sum_{k=1}^n \int_{A_k} \frac{S_k^2(\omega)}{\eps^2} \:{\rm d}P \leq \int_{A_k} \frac{S_n^2(\omega)}{\eps^2} \:{\rm d}P$, kde potom můžeme postupovat jako u předchozích nerovností.
\end{proof}

\begin{veta}[Chernoffovy meze]
Buď $X$ náhodná veličina. Označme $\psi_X(t) = Ee^{tX}$ její momentovou vytvořující funkci. Pak
$$ P[X \geq a] \leq \min_{t > 0} \frac{\psi_X(t)}{e^{ta}}, P[X \leq A] \leq \min_{t < 0} \frac{\psi_X(t)}{e^{ta}} $$
\end{veta}

\begin{proof}
Pro první mez $P[X \geq a] = P[e^{tX} \geq e^{ta}]$ pro $t > 0$. Dostali jsme nezápornou veličinu, využijeme Markovovu nerovnost, tedy $ P[e^{tX} > e^{ta}] \leq \frac{Ee^{tx}}{e^{ta}} \forall t > 0$. Z toho potom jen vybereme minimu.

Druhá mez analogicky. $P[X \leq a] = P[e^{tX} \geq e^{ta}] \leq \frac{Ee^{tx}}{e^{ta}} $ pro $t < 0$.
\end{proof}

\begin{df}[Poissonovské pokusy]
Buďte $X_1,X_2,\dots$ nezávislé náhodné veličiny takové, že $P[X_i = 1] = p_i = 1 - P[X_i = 0], p_i \in (0,1)$. Takové pokusy se nazývají nezávislé poissonovské pokusy.
\end{df}

Jestliže u poissonovských pokusů bude každé $p_i = p$ pro nějaké konstantní $p$, dostaneme bernoulliovské pokusy.

\begin{veta}[Horní Chernoffovy meze pro poissonovské pokusy]
Buďte $X_1,X_2,\dots$ nezávislé poissonovské pokusy s parametry $p_1,p_2,\dots$. Označme $S_n = \sum_{i=1}^n X_i, \mu_S = \sum_{i=1}^n p_i$.
\begin{enumerate}
\item Pro $\delta > 0$:
$$ P[S_n \geq (1 + \delta)\mu_s] \leq \left(\frac{e^\delta}{(1+\delta)^{(1+\delta)}}\right)^{\mu_s} $$

\item Pro $0 < \delta \leq 1$:
$$ P[S_n \geq (1 + \delta)\mu_s] \leq e^{-\mu_s \delta^2/3} $$

\item Pro $\delta > 6 \mu_s$:
$$ P[S_n > \delta] \leq 2^{-\delta} $$
\end{enumerate}
\end{veta}

\begin{proof}
Jen první. $P[S_n \geq (1 + \delta)\mu_s] \leq \frac{\psi_{S_n}(t)}{e^{t(1+\delta)\mu_s}}$.

Z nezávislosti a věty \ref{v_moment_soucet} dostáváme $\psi_{s_n} = \prod_{i=1}^n \psi_{x_i}(t)$ a $\psi_{x_i}(t) = Ee^{tX_i} = p_ie^t + (1-p_i) = 1 + p_i(e^t-1)$.

Dále $\prod_{i=1}^n (1 + p_i(e^t-1)) = \exp\mnz{\sum_{i=1}^n \log(1 + p_i(e^t-1))} \leq \exp\mnz{(e^t-1)\sum_{i=1}^n p_i} = \exp\mnz{(e^t-1)\mu_s}$.

\smallskip
Dosadíme do vzorce, dostáváme $\frac{\prod_{i=1}^n (1 + p_i(e^t-1))}{e^{t(1+\delta)\mu_s}} \leq \frac{\exp\mnz{(e^t-1)\mu_s}}{\exp{t(1+\delta)\mu_s}} = \exp{\mu_s(e^t-1-t(1+\delta)}$.

\smallskip
Nakonec $P[S_n \geq (1 + \delta)\mu_s] \leq \frac{\prod_{i=1}^n (1 + p_i(e^t-1))}{e^{t(1+\delta)\mu_s}} = \exp{\mu_s[\delta - \log(1+\delta)^{1+\delta}]} = $ hledaný výraz.
\end{proof}

\section{Náhodné výběry a limitní věty}

{\small Na této přednášce jsem z nemoci chyběl, proto může pár věcí chybět.}

\begin{df}[Množinový $\limsup$ a $\liminf$]
Buď $A_n, n = 1,2,\dots$ množiny (náhodné jevy). Definujme
$$\limsup_{n \to \infty} A_n = \bigcap_{n=1}^\infty\bigcup_{i=n}^\infty A_i \quad \liminf_{n \to \infty} A_n = \bigcup_{n=1}^\infty\bigcap_{i=n}^\infty A_i$$

Jestliže $a \in \limsup_{n \to \infty} A_n$, potom existuje nekonečně mnoho množin $A_i$, kde $a \in A_i$. Jestliže $b \in \limsup_{n \to \infty} A_n$, potom existuje nejvýše konečně mnoho množin $A_i$, kde $b \notin A_i$.
\end{df}

\stepcounter{veta} % Asi jsme přeskočili větu 40?
\begin{veta}[Borel-Cantelliho 0-1 pravidlo]\label{veta_0-1_pravidlo}
\begin{enumerate}
\item  Buď $A_n, n=1,2,\dots$ náhodné události. Pak
$$ \sum_{i=1}^{\infty} P(A_i) < \infty \Rightarrow P\left(\limsup_{n\to\infty} A_n\right) = 0. $$

\item Buď $A_n, n=1,2,\dots$ \emph{nezávislé} náhodné události. Potom
$$ \sum_{i=1}^{\infty} P(A_i) = \infty \Rightarrow P\left(\limsup_{n\to\infty} A_n\right) = 1. $$
\end{enumerate}
\end{veta}

Všimněme si, že $\liminf A_n = (\limsup A_n^C)^C$. Z tohoto důvodu můžeme ve větě \ref{veta_0-1_pravidlo} používat jak $\limsup$, tak i $\liminf$.

\begin{df}[Náhodný výběr]
Posloupnost $X_1,X_2,\dots$ náhodných veličin či vektorů takových, že jsou nezávislé, identicky rozložené, nazvěme náhodný výběr velikosti $n$ náhodného rozložení $P_X$.
\end{df}
\def\vybmean#1{\overline{#1}}
\def\vybemp#1{\widehat{#1}}
\begin{df}[Výběrové momenty]
Buď $X_1,\dots,X_n$ náhodný výběr. Potom
\begin{enumerate}
\item $\vybmean{X_n} = \frac1n \sum_{i=1}^n X_i$ se nazývá \emph{výběrový průměr}.
\item $S^2_n = \frac 1{n-1} \sum_{i=1}^n (X_i - \overline{X_n})^2$ se nazývá \emph{výběrový rozptyl}.
\item $\vybemp{F_n}(x) = \frac{1}{n} \sum_{i=1}^n \chi(X_i \leq x)$, kde $\chi$ je indikátorová funkce, se nazývá \emph{empirická distribuční funkce}.
\end{enumerate}
\end{df}

\begin{veta}[(Slabý) Zákon velkých čísel]
Buď $X_1,X_2,\dots$ nezávislé a identicky rozložené náhodné veličiny s konečným průměrem $EX_1 = \mu$ a konečným rozptylem $\var X_1 = \sigma^2$. Potom 
$$ P\left[ \left| \frac1n \sum_{i=1}^n X_i - \mu\right| > \eps \right] \to 0 \text{ pro } n \to \infty. \eqno{\forall \eps > 0}$$
\end{veta}

\begin{proof}
Vidíme, že střední hodnota z průměru $E\overline{X_n} = E\frac1n\sum X_i = \frac1n\sum EX_i = \mu.$. Využijme nyní Čebyšeovu nerovnost, tedy $P[|\vybmean{X_n}-\mu| > \eps] \leq \frac{\var{\vybmean{X_n}}}{\eps^2}$.

Podívejme se nyní na $\var\vybmean{X_n} = \var \frac1n \sum X_i = \frac1{n^2}\var\sum X_i$. Díky nezávislosti získáme $\frac1{n^2}\var\sum X_i = \frac1{n^2}\sum \var X_i + \frac1{n^2}\sum_{i \neq j} \cov(X_i,X_j)$. Jelikož jsou každé $X_i$ nekorelované, druhá suma je nulová, zatímco ta první limitně konverguje k 0.
\end{proof}

Tato vlastnost se nazývá (slabá) konzistence výběrového průměru. Předpoklad $\sigma^2 < \infty$ se zdá příliš silný. Dal by se oslabit, ale potom by byl důkaz mnohem složitější. Tuto vlastnost nadále budeme označovat jako $\overline{X_n} - \mu \xrightarrow{P} 0$ nebo $\overline{X_n} \xrightarrow{P} \mu$.

\begin{pr}
Mějme alternativní rozdělení v $n$ pokusech, každý pokus nastává s pravděpodobností $p$. Potom výběrový průměr je počet úspěchů v $n$ pokusech a střední hodnota je $p$.

Relativní počet úspěchů tedy díky zákonu velkých čísel konverguje k $p$.
\end{pr}

\begin{veta}[Konzistence empirické distribuční funkce]
Buď $X_1,X_2,\dots$ nezávislé a identicky rozložené náhodné veličiny s distribuční funkcí $F_X$. Pak pro každé $x$ platí
$$P\left[ \left| \widehat{F_n}(x) - F_{X}(x) \right| > \eps\right] \to 0 \text{ pro } n \to \infty.$$
\end{veta}

\begin{pr}
Máme $X$ s neznámým rozdělením. Chceme určit $P[0 < X < 1]$. Potřebujeme náhodný výběr $X_1,X_2,\dots$ s tímto neznámým náhodným rozdělením a víme, že $\vybemp{F_n}(1) \to F_X(1)$ a $\vybemp{F_n}(0) \to F_X(0)$. Tedy $P[0 < x \leq 1] = F_X(1) - F_X(0)$. Dále $\chi(x \leq a)$ dává jedničku, pokud je $x \leq a$, jinak nulu.

Proto $\vybemp{F_n}(1) - \vybemp{F_n}(0) = \frac1n \sum \chi(0 < X \leq 1) \xrightarrow{p} P[0 < X \leq 1]$.
\end{pr}

\begin{proof}
Podívejme se na střední hodnotu a rozptyl odhadu $\vybemp{F_n}(x).$
Tedy $E\vybemp{F_n}(x) = E\frac1n\sum\chi(X_i \leq X) = \frac1n\sum E\chi(X_i \leq X) = E\chi(X_1 \leq X)$.  Dále $\chi(X \leq x) = 0$ s pravděpodobností $F(x)$ a $1$ s pravděpodobností $1-F(x)$. Máme tedy Bernoulliho náhodný pokus se střední hodnotou $F(x)$. Tedy $E\chi(X_1 \leq x) = F(x)$ a $\var\chi(X_1 \leq x) = F(x)(1-F(x))$.

Využijme nyní Čebyšeovu nerovnost. $P[|\vybemp{F_n}(x) - F(x)| > \eps] \leq \frac{\var \vybemp{F_n}(x)}{\eps^2} = \frac1{n\eps^2} F(x)(1-F(x))$, což pro $n \to \infty$ konverguje k nule.
\end{proof}

Předchozí věta platí dokonce i rovnoměrně, tedy $P\left[\sup_x\left|\widehat{F_n}(x)-F_{X}(x)\right|>\eps\right]\to0$.

\begin{veta}[Centrální limitiní věta]
Buď $X_1,X_2,\dots$ nezávislé a identicky rozložené náhodné veličiny s konečným průměrem $EX_1 = \mu$ a konečným kladným rozptylem $\var X_1 = \sigma^2 > 0$. Pak
$$ P\left[\sqrt n\frac{\overline{X_n} - \mu}\sigma \leq x\right]  \to \Phi(x) $$
kde $\Phi$ je distribuční funkce standardního normálního rozdělení $N(0,1)$.

Stejně tak můžeme říct
$$ \sqrt{n}\frac{\overline{X_n} - \mu}{\sigma} \xrightarrow{d} N(0,1) \text{ nebo } \frac{\sum_{i=1}^{n} X_i - n\mu}{\sqrt{n \sigma^2}} \xrightarrow{d} N(0,1) \text{ nebo } \sqrt{n}\left(\overline{X_n} - \mu \right) \xrightarrow{d} N(0,\sigma^2). $$
\end{veta}

\begin{pr}Podívejme se na využití Centrální limitní věty.
\begin{enumerate}
\itemsep0pt
\item Chceme vědět, s jakou pravděpodobností bude počet úspěchů v Bernoulliovských pokusech vyšší, než $a$. Máme $X_1,\dots,X_n$ nezávislé stejnoměrně rozdělené s alternativním rozdělením parametru $p$. Kolik bude $P[\sum X_i > a]$?

Použijeme Centrální limitní větu a použijeme stejné úpravy na obě strany:
$$ P[\Sigma X_i > a] = P\left[\frac{\sum X_i - np}{\sqrt{np(1-p)}} > \frac{a - np}{\sqrt{np(1-p)}}\right] = P[\dots < \dots] \approx \Phi\left(\frac{a - np}{\sqrt{np(1-p)}}\right) $$

\item Určení počtu pokusů. Chceme vědět, kolik pokusů máme udělat, aby se relativní počet úspěchů v Bernoulliovských pokusech (tedy podíl úspěchů k počtu pokusů) lišil od teoretické pravděpodobnosti nejvýše o $\eps$ s pravděpodobností nejvýše $\alpha$. Tedy hledáme $n$ tak, aby $P[|\vybmean{X_n} - p| > \eps] \leq \alpha$.

Znova využijeme CLV a upravujeme. Úpravou dostaneme
$$ P\left[ \sqrt{n} \frac{|\vybmean{X_n} - p|}{\sqrt{p(1-p)}} > a \right]  = 1-P\left[ \dots \leq a \right] = 1-(P[\dots \leq a]-P[\dots \leq -a]) = 1-(\Phi(a)-\Phi(-a)).$$

To znamená, že hledáme $a=\frac{\sqrt{n}\eps}{\sqrt{p(1-p)}}$ tak, aby $1 - (\Phi(a) - \Phi(-a)) \leq \alpha$, tedy $\Phi(a) - \Phi(-a) \geq 1-\alpha$. Víme, že $\Phi(-a) = 1-\Phi(a)$, z~toho dostáváme, že $2\Phi(a) \geq 2-\alpha$, tedy $a \geq \Phi^{-1}\left( 1 - \frac\alpha2 \right)$. Z $a$ potom získáme $n$.
\end{enumerate}
\end{pr}

\begin{veta}[Delta]
Buď $Y_1,Y_2,\dots$ posloupnost náhodných veličin takových, že $\sqrt n(Y_n - \mu) \xrightarrow{d} N(0,\sigma^2)$ a diferencovatelnou funkci $g$. Pak
$$ \sqrt{n}\left(g(Y_n) - g(\mu) \right) \xrightarrow{d} N\bigl(0,(g'(\mu))^2\sigma^2\bigr) $$
\end{veta}

Delta věta se používá, když chceme asymptotickou normalitu nějaké diferencovatelné transformace normálního rozdělení.

\begin{pr}
Předpokládejme, že máme Poissonovo rozdělení s parametrem $\lambda$. Pak víme, že $EX = \var X = \lambda$. Z CLV víme, že  $\sqrt n (\vybmean(X_n) - \lambda) \xrightarrow{d} N(0,\lambda)$. Dále víme, že $P[X = 0] = e^{-\lambda} = g(\lambda)$.

Delta věta říká $\sqrt n (e^{-\vybmean{X_n}} - e^{-\lambda}) \xrightarrow{d} N(0, \lambda (g'(\lambda))^2) = N(0, \lambda e^{-2\lambda})$.
\end{pr}

\begin{veta}[Cramér--Slutskij]
Buď $X_n \xrightarrow{d} N(\mu,\sigma^2)$, $U_n \xrightarrow{P} a$ a $Z_n \xrightarrow{P} s > 0$. Pak 
$$ Z_n X_n + U_n \xrightarrow{d} N(s\mu + a,s^2 \sigma^2) $$
\end{veta}

Cramér--Slutskij a Delta věty jsou základní nástroje pro asymptotické odhadovací techniky založené na CLV. Z věty C--S vyplývá, že konvergence $\xrightarrow{d}$ je \emph{slabší}, než konvergence $\xrightarrow{P}$.

Tato věta se nejčastěji používá, když neznáme rozptyl nebo je práce s rozptylem příliš obtížná. V tom případě potom víme, že díky CLV $\sqrt n \frac{\vybmean{X_n} - \mu }{\sigma^2} \xrightarrow{d} N(0,1)$ a také ze zákona velkých čísel $\frac{Sn}{\sigma} \xrightarrow{p} 1$ pokud $0 < \sigma^2 < \infty$.

Díky C--S větě pak $\frac{(\sqrt n \cdot \vybmean{X_n} - \mu) / \sigma}{S_n/\sigma} = \sqrt n \frac{\vybmean{X_n} - \mu}{s_n} \xrightarrow{d} N(0,1)$, tedy jsme nahradili rozptyl jeho výběrovým odhadem.

\section{Bodové a intervalové odhady, hypotézy}

Jedním ze základních úkolů statistiky je udělat nějaký (dobrý) odhad.

Představme si, že máme pokus, jehož výsledkem může být $0,\dots,n$. Udělali jsme tedy $n$ pokusů, zajímá nás $P[X=k]$. Jednou z možností je sestavit empirickou distribuční funkci, která bude po částech skoková. Tyto odhady nejsou ideální ani přesné, musíme odhadovat $n+1$ hodnot.

Představme si ale, že předem víme, že $x \sim {\rm Bi}(n,p)$. Již známe $n$, stačí nám odhadnout pouze jeden parametr $p$, potom náhodné rozdělení již známe.

\begin{df}[Parametrické třídy]
Parametrickou třídou nazveme ${\cal P} = \mnz{P_\theta: \theta \in \Theta}$, kde $\Theta \subset \R^d$ je prostor parametrů a $P_\theta$ je rozdělení náhodné veličiny (vektoru) známé až na parametr $\theta$.
\end{df}

\vbox{\begin{pr}\hfil\par
\begin{itemize}
\item ${\rm Bi}(n,p)$, rozdělení $P[X=k] = \binom nk p^k (1-p)^{n-k}$. Potom $\Theta = (0,1)$ a $p$ je neznámá.
\item $N(\mu,\sigma^2)$ s hustotou $\frac1{\sqrt{2\pi}\sigma} \exp(-\frac{(x-\mu)^2}{2\sigma^2})$, potom $\Theta = \R \times (0,\infty)$ a parametry jsou $(\mu,\sigma^2)$.
\item Exponenciální rozdělení s hustotou $f(x) = \lambda e^{-\lambda(x-a)}$, potom $\Theta = (0,\infty) \times \R$, parametry $(\lambda,a)$.
\end{itemize}
\end{pr}}

\begin{df}[Bodový odhad]
Buď $X_1,X_2,\dots,X_n$ náhodný výběr s rozdělením $P_\theta$ z parametrické třídy ${\cal P}$ a s $\theta$ neznámý parametrem. Bodovým odhadem $\theta$ je funkce $T: \R^n \to \Theta$, $T(X_1,\dots,X_n) \to \dots$, její předpis nezávisí na parametru $\theta$.

Úkolem je najít $T$, které \uv{dobře} aproximuje $\theta$, dále:

\begin{enumerate}
\item Bodový odhad $T$ nazveme nestranným, pokud $\forall \theta \in \Theta$ platí $ET=\theta$ je-li $\theta$ skutečnou hodnotou parametru.
\item Bodový odhad $T$ je konzistentní, pokud $\forall \theta \in \Theta$ platí $P[T-\theta] > \eps \to 0$ je-li $\theta$ skutečnou hodnotou parametru. (Tedy $T \xrightarrow{P} \theta$).
\end{enumerate}
\end{df}

Máme-li více konzistentních odhadů, chceme vybrat ten s nejmenším rozptylem. Není však zaručeno, aby existoval stejnoměrně nejlepší odhad.

Čím máme větší náhodný výběr, tím je odhad $T$ přesnější. To nám zaručuje právě konzistence $T$.

\medskip
Malá odbočka do angličtiny. \uv{Estimator} znamená funkci $T$, zatímco \uv{Estimate} je už konkrétní hodnota $T(X_1,\dots,X_n)$.

\medskip
Jak získat bodový odhad? Existuje na to mnoho způsobů:

\begin{df}[Metoda momentů]
Buď $P_\theta \in {\cal P}$ a úlohu najít bodový odhad $\theta$. Předpokládejme, že momenty $EX^j = h_j(\theta), j = 1,2,\dots$ Potom řešení rovnic
$$ \frac1n \underbrace{\sum_{i=1}^n X_i^j}_{\text{Výběrový moment}} = \underbrace{h_j(\theta)}_{\text{Skutečný moment}}, j=1,\dots,\dim(\Theta) $$
nazveme odhad metodou momentů.
\end{df}

\begin{pr}
Mějme normální rozdělení. Potom $EX = \mu = h_1(\mu,\sigma^2)$ a $EX^2 = \sigma^2+\mu^2 = h_2(\mu,\sigma^2)$. Odhad je poté $\widehat\mu = \overline{X_n}$ a $\widehat{\sigma^2} = \frac1n \sum_{i=1}^n X_i^2 - (\overline{X_i})^2$.

Ze zákonu velkých čísel potom $\overline{X_n} \xrightarrow P \mu$, $\frac1n \sum_{i=1}^n X_i^2 \to EX^2$, tedy odhad $\widehat{\sigma^2} \to \var X$.
\end{pr}

Bodový odhad jde však zlepšit odhadem intervalovým, který je ale složitější.

\begin{df}[Intervalový odhad]
Buď $X_1,\dots,X_n$ náhodný výběr z $P_\theta$, $\theta$ neznámý parametr a $\Theta \subset \R$. Intervalovým odhadem nazveme dvojici funkcí $L(X_1,\dots,X_b) \to \R$ a $U(X_1,\dots,X_b) \to \R$, jejichž předpis nezávisí na $\theta$ a které splňují $P[L(X_1,\dots,X_b) \leq \theta \leq U(X_1,\dots,X_b)] \geq 1-\alpha$ (Interval spolehlivosti s hladinou spolehlivosti $1-\alpha$) pro každé $\theta$, je-li $\theta$ skutečnou hodnotou parametru.
\end{df}

Náhodné jsou $L$ a $U$! Když provádíme náhodné experimenty, Počet intervalů $(L,U)$ pokrývajících $\theta$ je v průměru $100(1-\alpha)\%$. Naše snaha je získat $|UL|$ \emph{co nejmenší}.

Jak najít $L$ a $U$? Možné postupy:
\begin{enumerate}
\item Najdeme funkci $H: (X_1,\dots,X_n,\theta)$, jejíž rozdělení nezávisí na $\theta$. (nebo alespoň nezávisí asymptoticky). Obvykle pomůže Centrální limitní věta.

Příkladem je $X_1,\dots,X_n$ s alternativním rozdělením závislém na $p$, odhadem může být $\frac{\sum x_i - np}{\sqrt{np(1-p)}} \xrightarrow{d} N(0,1)$ nezávislé na $p$.

\item Najdeme kvantily $l(\alpha),u(\alpha)$ rozdělení $H$ takové, že $P[l(\alpha) \leq H \leq u(\alpha)] \geq 1-\alpha$. Je-li (asymptotické) rozdělení $H$ normální $N(0,1)$, pak použijeme kvantily $l(\alpha) = q(\alpha/2) = \Phi^{-1}(\frac\alpha2)$ a $u(\alpha) = q_{1-\alpha/2} = \Phi^-1(1-\frac\alpha2)$.

\item Osvobození parametru různými algebraickými úpravami dojdeme k nerovnostem $l(\alpha) \leq H \leq u(\alpha)$ právě, když $L(X_1,\dots,X_n,l,u)\leq \theta \leq U(X_1,\dots,X_n,l,u)$ \emph{je-li to možné}.

Avšak někdy ještě musíme zapojit Cramér--Slutskij větu. 
\end{enumerate}

\begin{pr}
Mějme ${\rm Alt}(p)$, potom $\frac{\sum X_i - np}{\sqrt{np(1-p)}} \in (q_{\alpha/2},q_{1-\alpha/2})$ s pravděpodobností přibližně $pa$. Dále z kvantilů získáme $q_{\alpha/2}\sqrt{np(1-p)} \leq \sum X_i - np \leq q_{1-\alpha/2}\sqrt{np(1-p)}$, máme kvadratickou nerovnost.

Nebo můžeme použit Cramér--Slutskij větu a máme $\overline{X_n} \xrightarrow{P} p \Rightarrow \overline{X_n}(1-\overline{X_n}) \xrightarrow{P} p(1-p)$. Z toho dostáváme, že $\frac{\sum X_i - np}{\sqrt{n\overline{X_n}(1-\overline{X_n})}} \xrightarrow{d} N(0,1)$. Potom $q_{\alpha/2}\sqrt{n\overline{X_n}(1-\overline{X_n})} \leq p \leq q_{1-\alpha/2}\sqrt{n\overline{X_n}(1-\overline{X_n})}$. Z toho již dostaneme $L = \overline{X_n} + \frac {q_{\alpha/2}}{\sqrt{n}}\sqrt{n\overline{X_n}(1-\overline{X_n})}$ a $U = \overline{X_n} + \frac {q_{1-\alpha/2}}{\sqrt{n}}\sqrt{n\overline{X_n}(1-\overline{X_n})}$, potom $P[L \leq p \leq U] \approx 1-\alpha$.
\end{pr}

\noindent\emph{Použití intervalového odhadu.} Rozhodnutí o hypotéze: Mějme $H_0$ hypotézu, takovou, že $H_0: \theta = \theta_0$. Dále mějme alternativu $H_1: \theta \neq \theta_0$.

Intervalový odhad pro neznáme $\theta$ se spolehlivostí $1-\alpha$. Máme $(L,U)$ takové, že $P(L \leq \theta \leq U) = 1-\alpha$. Je naše $\theta_0 \in (L,U)$? Pokud ano, $H_0$ nezamítneme na hladině statistické významnosti $\alpha$. Pokud však ne, zamítneme ji.

Všimněme si, že se zvyšujícím se $n$ se interval $(L,U)$ zmenšuje. Je potřeba také vážit faktický význam!

\end{document}