Borne de Cramer-Rao

Enoncé

Soit $f_{\theta }(x)$ une densité de proba paramétrée par $\theta$ dont le domaine est $\Theta$ . Soit $\theta ^{*}$ un estimateur de $\theta$ .

On note:

$\ell (x,\theta )=\ln f_{\theta }(x)$ la log vraisemeblance de $f_{\theta }$
$L(X,\theta )=\sum _{n=1}^{N}\ln f_{\theta }(x_{n})$ la log vraisemblance d'un échantillon $X=(x_{n})_{1\leq n\leq N}$
et $a(\theta )=\mathbf {E} _{\theta }(\theta ^{*})=\theta +b(\theta )$ qui définie l'espérance $a$ et le biais $b$ de l'estimateur $\theta ^{*}$ .

On suppose que ${\sqrt {f_{\theta }(x)}}$ est presque-partout continuement différentiable en $\theta$ ; et que l' information de Fisher :

$I\!\!I(\theta )=\int _{x}{\frac {f'_{\theta }(x)^{2}}{f_{\theta }(x)}}d\mu (x)=\mathbf {E} _{\theta }(\ell '(x_{1},\theta ))^{2}$

existe et est donc continue et positive en $\theta$ .

Théorème de Cramer-Rao. Lorsque $\mathbf {E} _{\theta }(\theta ^{*})^{2}$ existe et est bornée, alors:

$\mathbf {V} _{\theta }(\theta ^{*})\geq {(1+b'(\theta ))^{2} \over n\,I\!\!I(\theta )}$

et lorsque cette inégalité est atteinte sur un intervalle en $\theta$ , sur lequel la variance $\mathbf {V} _{\theta }(\theta ^{*})$ est non nulle, alors sur ce même intervalle: