Rappels de Cours

Tests statistiques

Données : \(({\mathbb{X}}_n,{\mathcal{X}}_n,(\mathbb{P}_{\theta})_{\theta\in\Theta})\) modèle statistique et \(\Theta_0\), \(\Theta_1\) deux sous-ensembles de \(\Theta\) tels que \(\Theta_0\cap\Theta_1=\emptyset\).

\(\Theta_0\) et \(\Theta_1\) définissent les hypothèses.

Exemples :

  • \(\Theta_0=\{\theta_0\}\), \(\Theta_1=\{\theta_1\}\) : 2 hypothèses simples.
  • \(\Theta_0=\{\theta_0\}\), \(\Theta_1=\Theta\setminus\{\theta_0\}\) : \(\Theta_1\) est une hypothèse composite.
  • \(\Theta_0=\{\theta\le \theta_0\}\), \(\Theta_1=\{\theta>\theta_1\}\) : 2 hypothèses composites.

Un test des hypothèses \(H_0: \theta\in\Theta_0\) contre \(H_1:\theta\in\Theta_1\) est une fonction \(\phi:{\mathbb{X}}_n\to[0,1]\).

Si \(\phi\) est à valeur dans \(\{0,1\}\), on parle de test pur, sinon le test est dit randomisé.

Soit \(U\) une variable aléatoire uniforme sur \([0,1]\), indépendante de \(X_1,\ldots,X_n\), on pose \[ \delta(U,X_1,\ldots,X_n)={\mathbf{1}}_{U\le \phi(X_1,\ldots,X_n)}\enspace. \] Si le test est pur, la décision \(\delta(U,X_1,\ldots,X_n)=\phi(X_1,\ldots,X_n)\).

Vocabulaire

Si la décision \(\delta=0\), on dit qu’on accepte, ou qu’on ne rejette pas \(H_0\). Si \(\delta=1\), on dit qu’on rejette \(H_0\) ou qu’on accepte \(H_1\).

L’ensemble \[ {\mathcal{R}}(\phi)=\{(x_1,\ldots,x_n)\in{\mathcal{X}}_n : \phi(x_1,\ldots,x_n)=1\} \] est appelé zone ou ensemble de rejet du test \(\phi\). Si \(\phi\) est un test pur, il est caractérisé par sa zone de rejet puisque \[ \phi(X_1,\ldots,X_n)={\mathbf{1}}_{(X_1,\ldots,X_n)\in{\mathcal{R}}(\phi)}\enspace. \]

Le tableau suivant résume les différentes issues d’un test.

\(\theta\in\Theta_0\) \(\theta\in\Theta_1\)
\(\delta=0\)
\(\delta=1\)

Si \(\delta=1\) et \(\theta\in\Theta_0\) : erreur de type \(1\) / de première espèce.

Si \(\delta=0\) et \(\theta\in\Theta_1\) : erreur de type \(2\) / de deuxième espèce.

\(\theta\in\Theta_0\) \(\theta\in\Theta_1\)
\(\delta=0\) “2”
\(\delta=1\) “1”

Niveau et puissance

Fonction puissance d’un test \(\phi\) : \[ \theta\mapsto \beta_\phi(\theta)={\mathbb{E}}_{\theta}[\phi(X_1,\ldots,X_n)]\enspace. \]

Taille du test \(\phi\) : \[ \overline{\alpha}(\phi)=\sup_{\theta\in\Theta_0}\beta_\phi(\theta)=\sup_{\theta\in\Theta_0}{\mathbb{E}}_\theta{\left[\phi(X_1,\ldots,X_n)\right]}\enspace. \] Niveau \(\alpha\in(0,1)\) si \(\overline{\alpha}(\phi)\le \alpha\), ou, pour tout \(\theta\in\Theta_0\), \(\beta_\phi(\theta)\le \alpha\).

Puissance d’un test \[ \overline{\beta}(\phi)=\inf_{\theta\in\Theta_1}\beta_\phi(\theta)=\inf_{\theta\in\Theta_1}{\mathbb{E}}_\theta{\left[\phi(X_1,\ldots,X_n)\right]}\enspace. \] Borne sur l’erreur de type 2 d’un test pur \[ \sup_{\theta\in\Theta_1}{\mathbb{P}}_\theta(\delta=0)\le 1-\overline{\beta}(\phi)\enspace. \]

Principe de Neyman

Idéalement : niveau proche de \(0\) et puissance proche de \(1\).

Objectifs antagonistes -> Il faut donc faire un choix.

Principe de Neyman : d’abord le niveau puis la puissance.

Conséquence : dissymétrie entre \(H_0\) et \(H_1\).

Idée : lorsqu’un estimateur de \(\theta\) est “proche” de la frontière entre \(\Theta_0\) et \(\Theta_1\) un test va prendre plutôt la décision \(\delta=0\).

L’hypothèse \(H_0\) est donc “favorisée”.

Conséquences pratiques : si on teste \(\theta\in\Theta'\) et \(\theta\in\Theta''\) on peut prendre des décisions contradictoires en changeant \(\Theta_0\) et \(\Theta_1\).

Heuristiques standards pour le choix de \(H_0\) :

  1. Présomption d’innocence : \(H_0\) est l’hypothèse pour laquelle l’erreur commise est la plus grave.

  2. “Preuve statistique” : hypothèse favorite en \(H_0\) si on veut maximiser les chances qu’elle soit acceptée, en \(H_1\) si on veut améliorer la pertinence de notre démonstration.

  3. Si on ne sait faire qu’un des deux tests (“tests d’indépendance”) on choisit les hypothèses par défaut.

\(p\)-valeur

Donnée : pour tout \(\alpha\in[0,1]\), un test pur \(\phi_\alpha\) de taille \(\alpha\).

Collection ordonnée \[ \forall 0\le \alpha<\alpha'\le 1,\qquad \phi_{\alpha}\le \phi_{\alpha'},\quad \text{p.s.}\enspace. \] Si une hypothèse est rejetée au niveau \(\alpha\), elle l’est aussi à tout niveau supérieur.

Si une hypothèse est acceptée à un niveau \(\alpha\), elle l’est aussi à tout niveau inférieur.

Pour toute réalisation \((x_1,\ldots,x_n)\in{\mathbb{X}}_n\), on peut alors considérer le plus petit niveau auquel \(H_0\) aurait été rejetée \[ \widehat{\alpha}(x_1,\ldots,x_n)=\inf\{\alpha\in[0,1] : \phi_\alpha(x_1,\ldots,x_n)=1\}\enspace. \] La variable aléatoire \(\widehat{\alpha}(X_1,\ldots,X_n)\) est appelée la \(p\)-valeur de la famille de tests.

C’est le plus petit niveau auquel on aurait pu accepter \(H_0\) au vue des observations.

La \(p\)-valeur est stochatiquement dominée par la loi uniforme \[ \forall \theta\in\Theta_0, \forall x\in[0,1],\qquad {\mathbb{P}}_\theta(\widehat{\alpha}(X_1,\ldots,X_n)\le x)\le x\enspace. \] En particulier, \(\phi(X_1,\ldots X_n)={\mathbf{1}}_{\widehat{\alpha}(X_1,\ldots,X_n)\le\alpha}\) définit toujours un test de niveau \(\alpha\).

Sous certaines hypothèses, la \(p\)-valeur suit la loi uniforme sur \([0,1]\).

Lorsque le test se met sous la forme \[ \phi_{\alpha}(X_1,\ldots,X_n)={\mathbf{1}}_{T(X_1,\ldots,X_n)>c_\alpha}\enspace, \] \(T(X_1,\ldots,X_n)\) est appelée statistique de tests.

\(c_\alpha\) est appelée valeur critique.

région de rejet : \[ {\mathcal{R}}(\phi_\alpha)=\{(x_1,\ldots,x_n)\in{\mathbb{X}}_n : T(x_1,\ldots,x_n)>c_\alpha\}\enspace. \]

\(p\)-valeur si \(\Theta_0=\{\theta_0\}\) : \[ \widehat{\alpha}(x_1,\ldots,x_n)={\mathbb{P}}_{\theta_0}(T(X_1,\ldots,X_n)>T(x_1,\ldots,x_n))\enspace. \]

Exercice 1

Observons tout d’abord que \(\bar X_n \sim \mathsf{N}(\mu,\sigma^2/n)\) de sorte que \[ T(Z) \sim \left| \mathsf{N}\left( \frac{\sqrt{n}}{\sigma}(\mu - \mu_0); 1 \right) \right|. \] Pour tout \(c>0\), on définit un test \[ \phi_c(Z) = {\mathbf{1}}_{T(Z) > c}. \]

1.

La fonction puissance est donnée par \[ \mu \mapsto \beta_c(\mu) = {\mathbb{P}}_\mu(T(Z) > c) = {\mathbb{P}}\left( \left| \frac{\sqrt{n}}{\sigma}(\mu - \mu_0) + W \right| > c \right) \]\(W \sim \mathsf{N}(0,1)\). En notant \(\Phi\) la fonction de répartition d’une loi gaussienne \(\mathsf{N}(0,1)\), il vient \[\begin{align*} \beta_c(\mu) & = 1 - \mathbb{P}\left( \left| \frac{\sqrt{n}}{\sigma}(\mu - \mu_0) + W \right| \leq c \right) \\ & = 1 - \mathbb{P}\left( \frac{\sqrt{n}}{\sigma}(\mu_0 - \mu) - c \leq W \leq \frac{\sqrt{n}}{\sigma}(\mu_0 - \mu) + c \right) \\ & = 1 - \Phi\left( \frac{\sqrt{n}}{\sigma}(\mu_0 - \mu) + c \right)+ \Phi\left( \frac{\sqrt{n}}{\sigma}(\mu_0 - \mu) - c\right)\enspace. \end{align*}\]

2.

Le risque de première espèce \(\bar \alpha_{\phi_c}\) est égal à \[ \bar \alpha_{\phi_c} = {\mathbb{P}}_{\mu_0} \left( T(Z) > c \right) = \beta_c(\mu_0) = 1 - \Phi(c) + \Phi(-c) = 2 \left(1 - \Phi(c) \right) \] en utilisant que \(\Phi(-c) = 1 - \Phi(c)\).

3.

Soit \(\alpha\in(0,1)\) et soit \(c_\alpha\) tel que \(\bar{\alpha}_{\phi_{c_\alpha}}=\alpha\), i.e. \(c_\alpha\) est solution de \[ 2 \left(1 - \Phi(c) \right) = \alpha \] donc \[ c_\alpha = \Phi^{-1}\left( 1 - \frac{\alpha}{2}\right). \] Soient \(0 \leq \alpha < \alpha' \leq 1\); alors \(c_\alpha > c_{\alpha'}\) donc \(\{z: T(z) > c_\alpha \} \subset \{z: T(z) > c_{\alpha'} \}\). La \(p\)-valeur est définie comme \[ \inf \{ \alpha \in [0,1]~: T(Z) > c_\alpha \} \] Puisque \(\alpha \mapsto c_\alpha\) est décroissante et bijective de \(]0,1[\) dans \({\mathbb{R}}_+\), la solution est donc \(\alpha \in [0,1]\) tel que \(T(Z) = c_\alpha\) soit \[ \widehat{\alpha}(Z) = 2 \left( 1 - \Phi(T(Z)) \right)\enspace. \]

4.

Soit \({\bf 1}\) le vecteur de coordonnées \((1,\ldots,1)\) et \(\Pi\) la projection orthogonale sur la droite engendrée par \({\bf 1}\). On a \[ \Pi Z=\frac{{\bf 1}^T Z}{{\left\|{\bf 1}\right\|}^2}{\bf 1}=\overline{X}_n{\bf 1}\enspace. \] Comme \[ \Pi(I_n-\Pi)^T=\Pi(I_n-\Pi)=0\enspace, \] \(\Pi Z\) et \((I_n-\Pi)Z\) sont indépendants (voir le rappel de cours de PC2). Comme \[ \overline{X}_n=\frac1n{\bf 1}^T\Pi Z,\qquad S_n^2=\frac1{n-1}{\left\|(I_n-\Pi)Z\right\|}^2\enspace. \] On a \(\overline{X_n}\) et \(S_n^2\) sont indépendants.

5.

Comme \(\Pi(\mu{\bf 1})=\mu{\bf 1}\), on a \[ (n-1)\frac{S_n^2}{\sigma^2}={\left\|(I_n-\Pi)\frac{Z}{\sigma}\right\|}^2={\left\|(I_n-\Pi)\frac{(Z-\mu{\bf 1})}{\sigma}\right\|}^2\enspace. \] De plus, \(Z\sim\mathsf{N}(\mu{\bf 1},\sigma^2I_n)\), donc \((Z-\mu{\bf 1})/\sigma\) suit la loi gaussienne standard sur \({\mathbb{R}}^n\). Comme \(I_n-\Pi\) est la projection orthogonale sur l’orthogonale de la droite engendrée par \({\bf 1}\), espace de dimension \(n-1\), on a \[ {\left\|(I_n-\Pi)\frac{(Z-\mu{\bf 1})}{\sigma}\right\|}^2\sim\chi^2(n-1)\enspace. \]

6.

Soit \(W= \sqrt{n}(\overline{X}_n-\mu)/\sigma\), \(K=(n-1)S_n^2/\sigma^2\). On a \[ \frac{\sqrt{n}(\overline{X}_n-\mu_0)}{S_n}=\frac{W+\sqrt{n}(\mu-\mu_0)/\sigma}{\sqrt{K/(n-1)}}\enspace. \] Comme \(W\) suit une loi gaussienne standard, \(K\) suit une loi du \(\chi^2\) à \((n-1)\) degrés de liberté et comme \(W\) et \(K\) sont indépendantes, d’après le rappel B., \[ \frac{\sqrt{n}(\overline{X}_n-\mu_0)}{S_n} \] suit une loi de Student décentrée à \(n-1\) degrés de liberté, de paramètre de non-centralité \(\gamma=\sqrt{n}(\mu-\mu_0)/\sigma\).

7.

Notons \(t\) la fonction de répartition de la loi de Student de paramètre de non-centralité \(\gamma=0\). On peut répéter les calculs de la question \(1\) en remplaçant la fonction \(\Phi\) par la fonction \(t\). On obtient que la fonction puissance du nouveau test est donnée par \[ \beta_c(\mu)=1 - t\left( \frac{\sqrt{n}}{\sigma}(\mu_0 - \mu) + c \right)+ t\left( \frac{\sqrt{n}}{\sigma}(\mu_0 - \mu) - c\right)\enspace. \]

8.

En répétant les arguments de la question 2. on obtient cette fois que le niveau du test est égal à \(\bar{\alpha}_{\phi_c}=2 \left(1 - t(c) \right)\), en utilisant que \(t(-c) = 1 - t(c)\).

9.

En répétant les arguments de la question 3., on trouve maintenant que la \(p\)-valeur du nouveau test est donnée par \(\widehat{\alpha}(Z)=2(1-t(T(Z)))\).

Exercice 2

1.

La vraisemblance est donnée par (à une constante multiplicative près) \[ \theta \mapsto \frac{1}{\sigma^{n+p}} \exp\left(-0.5 \sigma^{-2} \sum_{i=1}^n \left\{ X_i - \mu_0\right\}^2 -0.5 \sigma^{-2} \sum_{j=1}^p \left\{ Y_j - \mu_1\right\}^2 \right) \] dont on déduit la log-vraisemblance \[ \theta \mapsto -\frac{(n+p)}{2} \ln \sigma^2 - 0.5 \sigma^{-2} \sum_{i=1}^n \left\{ X_i - \mu_0 \right\}^2 -0.5 \sigma^{-2} \sum_{j=1}^p \left\{ Y_j - \mu_1\right\}^2\enspace. \] Soit \(Z = (X_1, \cdots, X_n, Y_1, \cdots, Y_p)\). la vraisemblance est maximisée en \[\begin{align*} \widehat{\mu}_{0,n}(Z) & = \frac{1}{n} \sum_{i=1}^n X_i, \\ \widehat{\mu}_{1,p}(Z) & = \frac{1}{p} \sum_{j=1}^p Y_j, \\ \widehat{\sigma}^2_{n,p}(Z) & = \frac{1}{n+p} \left(\sum_{i=1}^n (X_i -\widehat{\mu}_{0,n} )^2 + \sum_{j=1}^p (Y_j - \widehat{\mu}_{1,p})^2 \right), \end{align*}\]

2.

On exploite la statistique \(\widehat{\mu}_{0,n} - \widehat{\mu}_{1,p}\) puisque \[ \widehat{\mu}_{0,n} - \widehat{\mu}_{1,p} \sim \mathsf{N}\left( \mu_0 - \mu_1, \sigma^2 \left( \frac{1}{n } + \frac{1}{p}\right) \right), \] ou de façon équivalente \[ \sqrt{\frac{np}{n+p}} \left\{ \frac{(\widehat{\mu}_{0,n} - \widehat{\mu}_{1,p}) - (\mu_0 -\mu_1)}{ \sigma} \right\} \sim \mathsf{N}(0,1). \] \(\sigma^2\) est inconnue; on peut le remplacer par un estimateur \[ S_{n,p}^2 = \frac{1}{n+p-2} \left( \sum_{i=1}^n (X_i- \widehat{\mu}_{0,n})^2 + \sum_{j=1}^p (Y_j- \widehat{\mu}_{1,p})^2 \right) = \frac{n+p}{n+p-2} \widehat{\sigma}^2_{n,p}. \]

En procédant comme dans l’exercice 1, on montre que

  • \(S_{n,p}^2\) est indépendant de \(\widehat{\mu}_{0,n} - \widehat{\mu}_{1,p}\).
  • \((n+p-2) S_{n,p}^2 / \sigma^2 \sim \chi^2(n+p-2)\).

Par suite, en utilisant le Rappel B, \[ \sqrt{\frac{np}{n+p}} \left\{ \frac{(\widehat{\mu}_{0,n} - \widehat{\mu}_{1,p}) - (\mu_0 -\mu_1)}{ S_{n,p}} \right\}\sim t_{n+p-2} \enspace. \] Notons \(t_{n+p-2}^u\) le quantile d’ordre \(u\) d’une loi de Student (centrée) à \(n+p-2\) degrés de liberté. Alors un intervalle de confiance de niveau \(1-\alpha\) est donné par \[ \left\{(\mu_0 - \mu_1): t_{n+p-2}^{\alpha/2} \leq \sqrt{\frac{np}{n+p}} \left\{ \frac{(\widehat{\mu}_{0,n} - \widehat{\mu}_{1,p}) - (\mu_0 -\mu_1)}{ S_{n,p}} \right \} \leq t_{n+p-2}^{1-\alpha/2} \right\}; \] soit encore \[ \mathcal{I}(Z) = \left[ \widehat{\mu}_{0,n}(Z) - \widehat{\mu}_{1,p}(Z) \pm t_{n+p-2}^{1-\alpha/2} \, \sqrt{\frac{n+p}{np}} \ S_{n,p}(Z) \right] \] en notant que \(t_{n+p-2}^{\alpha/2} = - t_{n+p-2}^{1-\alpha/2}\).

3.

Posons le test défini par la zone de rejet \[ \mathcal{R}_\alpha = \left\{ z \in {\mathbb{R}}^{n+p}: \ \ \sqrt{\frac{np}{n+p}} \frac{|\widehat{\mu}_{0,n}(z) - \widehat{\mu}_{1,p}(z)| }{ S_{n,p}(z)} \geq t_{n+p-2}^{1-\alpha/2} \right\} . \] Alors pour \(\theta =(\mu_0, \mu_0, \sigma^2)\), on a \[ {\mathbb{P}}_\theta \left( Z \in \mathcal{R}_\alpha \right) = \alpha\enspace. \] La taille du test de zone de rejet \(\mathcal{R}_\alpha\) est \(\alpha\).

4.

Définissons la zone de rejet \[ \mathcal{R}_\alpha = \left\{ z \in {\mathbb{R}}^{n+p}: \ \ \sqrt{\frac{np}{n+p}} \frac{(\widehat{\mu}_{0,n}(z) - \widehat{\mu}_{1,p}(z)) }{ S_{n,p}(z)} \geq t_{n+p-2}^{1-\alpha} \right\} . \] Vérifions le niveau de ce test : pour tout \(\theta\) tel que \(\mu_0 - \mu_1 \leq 0\), \[\begin{align*} \mathbb{P}_{\theta}\left( Z \in \mathcal{R}_\alpha\right) & = \mathbb{P}_{\theta}\left( \sqrt{\frac{np}{n+p}} \frac{(\widehat{\mu}_{0,n}(Z) - \widehat{\mu}_{1,p}(Z)) }{ S_{n,p}(Z)} \geq t_{n+p-2}^{1-\alpha} \right) \\ & = \mathbb{P}_{\theta}\left( W_{n+p-2} + \sqrt{\frac{np}{n+p}} \frac{(\mu_0 - \mu_1) }{ S_{n,p}(Z)} \geq t_{n+p-2}^{1-\alpha} \right), \end{align*}\]\(W_{n+p-2} \sim t_{n+p-2}\). Puisque \(\mu_0 - \mu_1 \leq 0\), il vient \[\begin{align*} \mathbb{P}_{\theta}\left( Z \in \mathcal{R}_\alpha\right) & \leq \mathbb{P}_\theta\left( W_{n+p-2} + 0 \geq t_{n+p-2}^{1-\alpha} \right) \\ & = \mathbb{P}_{(\mu_0, \mu_0, \sigma^2)}\left( W_{n+p-2} + \sqrt{\frac{np}{n+p}} \frac{(\mu_0 - \mu_1) }{ S_{n,p}(Z)} \geq t_{n+p-2}^{1-\alpha} \right) \\ &= \mathbb{P}\left( W_{n+p-2} \geq t_{n+p-2}^{1-\alpha} \right) = \alpha. \end{align*}\]

Ainsi, on a montré que \[ \sup_{\theta: \mu_0 - \mu_1 \leq 0} {\mathbb{P}}_\theta(Z \in \mathcal{R}_\alpha) = \alpha \] ce qui termine la démonstration du niveau (et de la taille) du test.

5.

Avec une telle \(p\)-valeur, on ne rejette pas \(H_0\).

6.

On a \[\begin{align*} & \sigma_0^{-2} \sum_{i=1}^n (X_i - \widehat{\mu}_{0,n}(Z))^2 \sim \chi^2(n-1), \\ & \sigma_1^{-2} \sum_{j=1}^p (Y_j - \widehat{\mu}_{1,p}(Z))^2 \sim \chi^2(p-1), \end{align*}\]

dont on déduit, en utilisant le Rappel~, que la loi de la v.a. \[ G(Z; \theta) = \frac{\sigma_1^2}{\sigma_0^2} \frac{(n-1)^{-1} \sum_{i=1}^n (X_i - \widehat{\mu}_{0,n}(Z))^2}{(p-1)^{-1} \sum_{j=1}^p (Y_j - \widehat{\mu}_{1,p}(Z))^2} \] est indépendante de \(\theta\) et suit une loi de Fisher de paramètres \((n-1, p-1)\).

7.

On propose le test \[ {\mathbf{1}}\left\{Z: \frac{(n-1)^{-1} \sum_{i=1}^n (X_i - \widehat{\mu}_{0,n}(Z))^2}{(p-1)^{-1} \sum_{j=1}^p (Y_j - \widehat{\mu}_{1,p}(Z))^2} > f_{n-1,p-1}^{1-\alpha} \right\} \]\(f^{1-\alpha}_{n-1,p-1}\) désigne le quantile d’ordre \(1-\alpha\) d’une loi de Fisher de paramètres \((n-1,p-1)\).

Etablissons le niveau de ce test. Notons \(W_{n-1,p-1}\) une v.a. de loi de Fisher de paramètres \((n-1, p-1)\). Pour tout \(\theta\) tel que \(\sigma_0^2 \leq \sigma_1^2\), on a \[\begin{align*} \mathbb{P}_\theta \left( \frac{(n-1)^{-1} \sum_{i=1}^n (X_i - \widehat{\mu}_{0,n}(Z))^2}{(p-1)^{-1} \sum_{j=1}^p (Y_j - \widehat{\mu}_{1,p}(Z))^2} > f_{n-1,p-1}^{1-\alpha} \right) & = \mathbb{P} \left( \frac{\sigma_0^2}{\sigma_1^2} W_{n-1,p-1} > f_{n-1,p-1}^{1-\alpha} \right) \\ & =\mathbb{P} \left( W_{n-1,p-1} > \frac{\sigma_1^2}{\sigma_0^2} \ f_{n-1,p-1}^{1-\alpha} \right) \\ & \leq \mathbb{P} \left( W_{n-1,p-1} > \ f_{n-1,p-1}^{1-\alpha} \right). \end{align*}\]

D’une part \[ \mathbb{P} \left( W_{n-1,p-1} > \ f_{n-1,p-1}^{1-\alpha} \right) = \alpha \] et d’autre part \[ \mathbb{P} \left( W_{n-1,p-1} > \ f_{n-1,p-1}^{1-\alpha} \right) = \mathbb{P}_{(\mu_0, \mu_1, \sigma_0^2, \sigma_0^2)} \left( \frac{(n-1)^{-1} \sum_{i=1}^n (X_i - \widehat{\mu}_{0,n}(Z))^2}{(p-1)^{-1} \sum_{j=1}^p (Y_j - \widehat{\mu}_{1,p}(Z))^2} > f_{n-1,p-1}^\alpha \right) \] ce qui montre que \[ \sup_{\theta: \sigma_0^2 \leq \sigma_1^2}\mathbb{P}_\theta \left( \frac{(n-1)^{-1} \sum_{i=1}^n (X_i - \widehat{\mu}_{0,n}(Z))^2}{(p-1)^{-1} \sum_{j=1}^p (Y_j - \widehat{\mu}_{1,p}(Z))^2} > f_{n-1,p-1}^{1-\alpha} \right) = \alpha\enspace. \]

8.

Soit \(T(Z)= \frac{(n-1)^{-1} \sum_{i=1}^n (X_i - \widehat{\mu}_{0,n}(Z))^2}{(p-1)^{-1} \sum_{j=1}^p (Y_j - \widehat{\mu}_{1,p}(Z))^2}\), la \(p\)-valeur du test est la plus petite valeur de \(\alpha\) pour laquelle \[ T(Z)>f_{n-1,p-1}^{1-\alpha}\enspace. \] En notant \(F_{n-1,p-1}\) la fonction de répartition de la loi de Fisher de paramètres \(n-1\) et \(p-1\), on a \(f_{n-1,p-1}^{1-\alpha}=F_{n-1,p-1}^{-1}(1-\alpha)\), c’est donc une fonction décroissante et bijective de \((0,1)\) dans \({\mathbb{R}}_+^*\) donc \[ \widehat{\alpha}(Z)=1-F_{n-1,p-1}(T(Z))\enspace. \]

Exercice 3

1.

La proportion annoncée par le Ministère est \(p_0 = 1/310\,000 \approx 3.23e^{-6}\).

2.

On prend un test de la forme \[ \phi(Z) = {\mathbf{1}}_{S_n > c}. \] Le risque de première espèce est \[ \sup_{p \leq p_0} \mathbb{P}_p(S_n > c) = \mathbb{P}_{p_0}(S_n > c)\enspace. \] On veut un test de niveau \(\alpha\), donc on prend \(c\) tel que \(\mathbb{P}_{p_0}(S_n > c) \leq \alpha\). Posons \[\begin{align*} c_\alpha &= \inf\{0 \leq c \leq n: \mathbb{P}_{p_0}(S_n >c) \leq \alpha \} = \inf\{0 \leq c \leq n: \mathbb{P}_{p_0}(S_n \leq c) \geq 1- \alpha \} \\ & = F^{-1}_b(1-\alpha) \end{align*}\]

\(F^{-1}_b\) désigne l’inverse généralisée de la fonction de répartition de la loi binomiale de paramètres \(n=300 \, 533\) et \(p = p_0\). Alors on choisit le test \[ \phi_\alpha(Z) = {\mathbf{1}}_{S_n > c_\alpha}, \] qui a l’avantage de minimiser le risque de seconde espèce parmi les tests de niveau \(\alpha\).

3.

Au niveau \(\alpha = 0.05\), on trouve \(c_\alpha = 3\); on relève \(S_n = 4\) donc on rejette \(H_0\). Pour \(\alpha = 0.01\), on trouve \(c_\alpha = 4\), donc on accepte \(H_0\).

4.

Si \(\alpha < \alpha'\), alors \(c_\alpha > c_{\alpha'}\) donc \(\{S_n > c_\alpha \} \subset \{S_n > c_{\alpha'} \}\). On cherche donc \[ \inf \{\alpha \in [0,1]: S_n =4 \in \mathcal{R}_\alpha \} = \inf \{\alpha \in [0,1]: 4 \in ]c_\alpha,n] \} = \inf\{\alpha: c_\alpha = 3 \}. \] Donc on cherche \(\alpha\) tel que \[ 3 =F_b^{-1}(1-\alpha) \qquad \text{i.e.} \qquad \alpha = 1 - {\mathbb{P}}_{p_0}(S_n \leq 3). \] La \(p\)-valeur est \(0.0171\) (exactement \(0.017172\)).

5.

On attend \(\theta_0 = 300 \, 533 \times p_0 = 300\,533/310 \,000 \approx 0.9695\).

6.

Les hypothèses nulle et alternative deviennent \[ H_0: \qquad \theta \geq \theta_0 \qquad \qquad H_1: \theta < \theta_0. \] On considère la famille de tests de la forme \[ \phi_c(Z) = {\mathbf{1}}_{S_n \leq c} \] et l’on choisit \(c\) tel que \(\sup_{\theta \geq \theta_0} {\mathbb{P}}_\theta(S_n \leq c)\leq \alpha\). Puisque \(\theta \mapsto {\mathbb{P}}_\theta(S_n \leq c)\) est décroissante, on choisit \(c\) tel que \[ {\mathbb{P}}_{\theta_0}(S_n \leq c) \leq \alpha. \] Pour des considérations de minimisation de risque de seconde espèce, on prendra le plus grand \(c\) qui vérifie cette condition. Posons \[ c_\alpha = \max \{c \in {\mathbb{N}}: \ \ {\mathbb{P}}_{\theta_0}(S_n \leq c) \leq \alpha \} = F^{-1}_{\theta_0}(\alpha), \]\(F^{-1}_{\theta_0}\) désigne l’inverse généralisée de la fonction de répartition d’une loi de Poisson de paramètre \(\theta_0\). Le test associé est donc \[ \phi_\alpha(S_n) = {\mathbf{1}}_{S_n \leq c_\alpha} \qquad \mathcal{R}_\alpha = \{n \in {\mathbb{N}}: n \leq c_\alpha \}. \]

Remarque : pour se donner une idée des valeurs du seuil critique en fonction de \(\alpha\) (qu’on choisit plutôt de l’ordre de qq \(\%\)) quelques valeurs \[ {\mathbb{P}}_{\theta_0}(S_n< 0) =0 \qquad {\mathbb{P}}_{\theta_0}(S_n \leq 0) =0.3793 \qquad {\mathbb{P}}_{\theta_0}(S_n \leq 1) = 0.7470. \]

7.

On peut vérifier la monotonie des zones de rejet: si \(\alpha < \alpha'\) alors \(c_\alpha \leq c_{\alpha'}\) et donc \(\mathcal{R}_\alpha \subset \mathcal{R}_{\alpha'}\). On cherche \[ \inf \{\alpha \in [0,1]: 4 \leq c_\alpha \} = \inf \{\alpha: c_\alpha = 4\} = F_{\theta_0}(4). \] Il vient \[ \widehat{\alpha}(S_n) = 0.9968. \]

Exercice 4

1.

On a, pour tout \(x<0\), \({\mathbb{P}}_\theta(X_{n:n}/\theta\le x)=0\), pour tout \(x>1\), \({\mathbb{P}}_\theta(X_{n:n}/\theta\le x)=1\) et, pour tout \(x\in[0,\theta]\), \[ {\mathbb{P}}_\theta(X_{n:n}/\theta\le x)={\mathbb{P}}_\theta{\left(\cap_{i=1}^n\{X_i\le \theta x\}\right)}= x^n\enspace. \] La loi de \(X_{n:n}/\theta\) sous \({\mathbb{P}}_\theta\) ne dépend donc pas de \(\theta\), donc \(X_{n:n}/\theta\) est une fonction pivotale.

2.

Soit \(I=[X_{n:n},X_{n:n}/\alpha^{1/n}]\), on a \[ {\mathbb{P}}_{\theta}(\theta\in I)={\mathbb{P}}_\theta(X_{n:n}/\theta\in [\alpha^{1/n},1])=1-[\alpha^{1/n}]^n=1-\alpha\enspace. \] Donc \(I\) est un intervalle de confiance pour \(\theta\) au niveau \(1-\alpha\). Vérifions que sa longueur est minimale parmi les intervalles \(I_{a,b}\) de la forme \([X_{n:n}/a,X_{n:n}/b]\). Pour être un intervalle de confiance, il faut que \(a\) et \(b\) satisfassent \[ {\mathbb{P}}_{\theta}(\theta\in I_{a,b})={\mathbb{P}}_\theta(X_{n:n}/\theta\in [b,a])=(a\wedge1)^n-(b\vee 0)^n\ge 1-\alpha\enspace. \] On peut se restreindre à \(a\le 1\) et \(b\ge 0\). En écrivant \(u=1/b-1/a\), on tire que \[ u\ge \frac1a{\left(\frac1{(1-a^{-1}(1-\alpha))^{1/n}}-1\right)}\enspace. \] Cette fonction étant clairement décroissante en \(a\), la borne inférieure sur \(u\) est maximale lorsque \(a=1\) et la contrainte de niveau de l’intervalle impose \(u\ge \alpha^{-1/n}-1\).

Exercice 5

1.

  • Sous \(H_0\), les v.a. \((Z_1, \cdots, Z_{n+m})\) sont i.i.d. de loi \(F_X\) ce qui entraine que \((Z_1, \cdots, Z_{n+m})\) a même loi que \((Z_{\tau(1)}, \cdots, Z_{\tau(n+m)})\) pour toute permutation déterministe \(\tau \in \mathcal{S}_N\). En particulier, on a \[ {\mathbb{E}}\left[{\mathbf{1}}_{Z_1 < \cdots < Z_{n+m}} \right] = {\mathbb{E}}\left[{\mathbf{1}}_{Z_{\tau(1)}< \cdots < Z_{\tau(n+m)}} \right]\enspace. \] Par suite pour tout permutation \(\tau \in S_N\), \[\begin{align*} \mathbb{P}\left(R = (1,\cdots, n+m) \right) &= \mathbb{E}\left[{\bf 1}_{Z_1 < \cdots < Z_{n+m}} \right] = \mathbb{E}\left[{\bf 1}_{Z_{\tau(1)}< \cdots < Z_{\tau(n+m)}} \right] \\ & =\mathbb{P}\left( R_{\tau(1)} =1, \cdots, R_{\tau(i)} =i, \cdots, R_{\tau(n+m)} =n+m \right) \end{align*}\] Cette relation étant vraie pour tout \(\tau\), il vient que \(R\) suis la loi uniforme sur \(\mathcal{S}_N\) donc \[ {\mathbb{P}}(R = (i_1, \cdots, i_{n+m})) = \frac{1}{(n+m)!}. \]
  • Montrons que sous \(H_0\), \(W_{n,m}\) est libre. Sous \(H_0\), \(W_{n,m}\) est à valeur dans l’intervalle délimité par (au mieux) \(\sum_{i=1}^n i\) et (au pire) \(\sum_{i=m+1}^{n+m} i\). Pour toute valeur \(q\) dans cet intervalle, on a \[\begin{align*} \mathbb{P}\left( W_{n,m} =q \right) &= \sum_{(i_1, \cdots, i_n) \in \mathcal{I}_q} \mathbb{P}(R_1 = i_1, \cdots, R_n =i_n) \\ &= \sum_{(i_1, \cdots, i_n) \in \mathcal{I}_q} \frac{m!}{(n+m)!} \end{align*}\]

    \(\mathcal{I}_q\) désigne l’ensemble des listes à \(q\) éléments, d’entiers deux à deux distincts de l’alphabet \(\{1, \cdots, n+m\}\), et dont la somme vaut \(q\); et \(m!\) correspond au nombre de possibilités de compléter les \(m\) valeurs manquantes pour \((R_{n+1}, \cdots, R_{n+m})\). La preuve est terminée en observant que le cardinal de \(\mathcal{I}_q\) ne dépend pas de la loi \(F_X\).

  • Enfin, déterminons la loi de \(R_i\) sous \(H_0\). On connaît la loi du vecteur \(R\), qui est la loi uniforme. L’événement \(\{R_i =q \}\) correspond à choisir les valeurs de \(n+m-1\) autres rangs dans une liste à \(n+m-1\) éléments : il y a \((n+m-1)!\) possibilités. Donc \[ {\mathbb{P}}(R_i =q) = \frac{(n+m-1)!}{(n+m)!} = \frac{1}{n+m}. \] Autrement sur: sous \(H_0\), \(R_i\) suit une loi uniforme sur \(\{1, \cdots, n+m\}\).

2.

On vient de voir que sous \(H_0\), \(R_i\) suit une loi uniforme sur \(\{1, \cdots, n+m \}\), donc \[ {\mathbb{E}}[R_i] = \frac{(n+m)(n+m+1)}{2(n+m)} = \frac{(n+m+1)}{2}. \] Ce résultat est indépendant de \(i\); par suite, \({\mathbb{E}}[W_{n,m}] = n \, {\mathbb{E}}[R_1]=n (n+m+1)/2\).

3.

  • Par un développement classique de la variance d’une somme, et en utilisant que sous \(H_0\), les v.a. \((R_i)_i\) ont même loi, il vient \[ \mathrm{Var}(W_{n,m}) = n \mathrm{Var}(R_1) + \sum_{1 \leq i \neq j \leq n} \mathrm{Cov}(R_i, R_j)\enspace. \] Il reste à montrer que sous \(H_0\), \(\mathrm{Cov}(R_i, R_j) = \mathrm{Cov}(R_1,R_2)\), ce qui est une conséquence du fait que sous \(H_0\), les v.a. \((Z_k)_k\) sont iid. Pour s’en convaincre, on peut utiliser la relation \[ R_i = 1 + \sum_{\ell=1}^{n+m} {\mathbf{1}}_{]0, \infty[}(Z_i-Z_\ell). \]
  • La démonstration de la seconde expression est identique; le terme vaut zero puisque la somme de tous les rangs est une constante égale à la somme de tous les entiers de \(1\) à \(n+m\).

  • On déduit de la seconde relation que \[ \mathrm{Cov}(R_1, R_2) = - \frac{1}{n+m-1} \mathrm{Var}(R_1) \] et en l’introduisant dans la première, il vient \[ \mathrm{Var}(W_{n,m}) = n \mathrm{Var}(R_1) \left(1 - \frac{n-1}{n+m-1} \right) = \frac{n m}{n+m-1}\mathrm{Var}(R_1). \] Puisque \(R_1\) suit une loi uniforme sur \(\{1, \cdots, n+m\}\), sa variance est \((n+m+1)(n+m-1)/12\) (en utilisant le fait que \(\sum_{i=1}^q i^2 = q(q+1)(2q+1)/6\)) ce qui donne le résultat.

4.

Puisque sous \(H_0\), la loi de \(W_{n,m}\) ne dépend pas de \(F_X\), on peut trouver \(\mathcal{A}_\alpha\) telle que sous \(H_0\), \[ {\mathbb{P}}\left( W_{n,m} \notin \mathcal{A}_\alpha \right) \leq \alpha, \] et poser le test de zone de rejet \[ \{z_1, \cdots, z_{n+m}: \sum_{i=1}^n r(i) \notin \mathcal{A}_\alpha \}\enspace. \] Un exemple de tel ensemble \(\mathcal{A}_\alpha\) peut être construit par Tchebychev: on sait que \[ {\mathbb{P}}\left( |W_{n,m} - n (n+m+1)/2 | \geq \epsilon\right) \leq \frac{nm (n+m+1)}{12 \, \epsilon^2} \] donc on choisit \[ \epsilon_\alpha = \sqrt{\frac{nm (n+m+1)}{12 \, \alpha}} \] puis \[ \mathcal{A}_\alpha = \left[ \frac{n (n+m+1)}{2} \pm \epsilon_\alpha \right]\enspace. \]