Norme ISO-11929 (seuil de décision, limite de détection, intervalle de confiance)

Bonjour,

En cette période, je vous propose un petit jeu, auquel je n'ai pas encore cherché de réponse (scientifiquement, bien sûr car pour le reste...). 

Normalement, je pars en vacances ce soir. Pour être sûr que je prends la bonne décision, je mesure mon niveau de fatigue. Mon ressenti de la fatigue est tel que si elle est supérieure à 10 (unités arbitraires), je décide de partir en vacances, sachant que j'arrive à détecter ma fatigue dès qu'elle dépasse une valeur de 5.
Le résultat de la mesure est de 9,5 (une fois soustraite la contribution des parasites extérieurs (qui ne sont pas mes collègues, rassurez-vous!)).


Que me conseillez-vous? Et si ce soir elle est de 11?


Bon, vu le titre, il y a des réponses à chercher dans la fameuse norme ISO-11929. Pour autant qu'il soit approprié de l'utiliser...

Et j'avoue (d'autant que je suis dans le forum Réglementation) que le jeu est une excuse pour discuter de cette norme ISO-11929:2010 intitulée "Détermination des limites caractéristiques (seuil de décision, limite de détection et extrémités de l'intervalle de confiance) pour mesurages de rayonnements ionisants — Principes fondamentaux et applications".
Surtout qu'elle vient d'être révisée en ce début d'année 2019.

Connaissant les nombreuses critiques qui en étaient faites (voir ci-dessous quelques exemples), je suis curieux de savoir ce qu'apporte la nouvelle version (ISO-11929:2019-Part 1 - les Part 2 et 3 sont également sorties, la Part 4 est en preparation apparemment).
Sachant que la Commission Européenne et diverses Autorités internationnales sont assez fan de cette norme, et au vu des critiques sur la version de 2010, il est possible/probable que la version de 2019 doive, à terme, être appliquée si elle apporte une réelle amelioration/correction.

Certains d'entre-vous ont-ils déjà eu l'occasion de prendre connaissance de la version 2019 de cette norme ISO-11929?

Voici quelques exemples de critiques:
- La norme donne lieu à une confusion entre les tests d'hypothèses et l'incertitude.
- Pour recourir à la statistique Bayésienne (et le théorème de Bayes), il est nécessaire de tenir compte du 'prior' (c'est-à-dire d'information relative à la cause, connue préalablement à la mesure de l'effet).
- Si l'on compare les formules à appliquer pour determiner les limites caractéristiques telles que données dans la norme avec celles de l'approche de Currie (utilisée actuellement dans un grand nombre de systèmes de mesure de la radioactivité, en particulier pour la spectro), la correction est négligeable (pour de petites incertitudes) voire incorrecte (pour de grandes incertitudes).

Par ailleurs, pour ceux qui veulent une saine lecture au bord de la piscine, je suis tombé sur un article (de 2010) assez interpellant. Comme quoi, il semble que les mauvaises interprétations des statistiques en sciences ne soient pas uniquement problématiques en radioprotection. Voici: https://www.academia.edu/1507335/Odds_are_its_wrong_Science_fails_to_face_the_shortcomings_of_statistics

Sur ce, je vais clôturer ce qu'il faut clôturer pour retrouver mes vaches dans la prairie à la rentrée... (ben oui, au final, je pars quand même en vacances ce soir, tant pis pour les statistiques!)

Asphy

Les vaches sont elles les parasites extérieures ?

Je te les échanges car elles feraient tomber mon niveau de fatigue sous le seuil d'alerte !

Par contre si tu pars quand même il est probablement certain que le niveau ne puisse dépasser 10. En général il diminue durant la journée avant l'arrêt pour arriver à 1 à l'heure du départ  .

(désolé je n'ai pas fait avancer le shmilibilik, par contre je vais suivre ce poste avec attention car les avis intéressent également )


Signé : une creusoise émigrée en mal du pays...

Hello !
Il manque l'incertitude sur la contribution des parasites....
Bonnes vacances!

Bonjour
Comme toutes ces normes sont payantes, aujourd'hui je n'ai plus l'occasion de les consulter.
Gluonmou pourrait venir à ton secours car il connaît parfaitement le sujet.
Iron kloug

Bonjour cher Asphy,

Avant de répondre à votre post (auquel j'adhère à 100 %, je le dis en préambule), juste je voulais dire, sans rire (je ne ris jamais), sans prétention aucune (c'est pas mon genre), que je suis en gros et à ma connaissance à ce jour le seul expert (ce qui me place à un niveau expert mondial) de la norme 11929.
En effet je suis  (du moins j'ai l'impression) le seul à l'avoir non seulement lue, mais surtout comprise. Attention, quand je dis comprise, au sens où j'ai compris pourquoi elle était incompréhensible.

Si je devais donner mon avis en quelques mots : c'est une immonde bouse intergalactique


Pour en revenir à ce que vous disiez, et l’essentiel est là, c'est qu'ils confondent allègrement le concept d'incertitude avec le concept des tests statistiques d'hypothèse

A peine, le truc léger

Ces deux concepts sont en sens inverse l'un de l'autre :
- tests statistiques d'hypothèse : on part de causes connues (activité dans l'échantillon) vers les effets attendus (mesures à faire)
- Incertitude : on part des effets connus (mesures effectuées) vers les causes probables (activités possibles dans l'échantillon). là du coup l'approche est bayesienne en soi, qu'on le veuille ou non.

Donc nos amis créateurs de la norme mettent tout dans le même sac, touillent tout ça et en sortent un truc qui d'entrée est faux. A noter au passage qu'ils ne parlent jamais de tests statistiques, cadre dans lequel apparaissent justement les risques alpha et bêta. Ils sont toujours et à chaque ligne en sens inverse.

par exemple ils construisent le seuil de décision comme "l'incertitude associée à une valeur vraie connue"
Je ne m'en suis jamais remis : le truc devrait s'auto-annihiler 
C'est un oxymore épistémologique :lorsque la valeur vraie est connue (en général par hypothèse), vous n'avez plus d'incertitude.

Bon, j’arrête, je me fait du mal

Mais du coup aussi avec vous je me sens moins seul, vous avez vu le loup.
merci, bravo, 
Il faut que l'on fonde un club, une assos, ou un groupe de parole pour s'en remettre


A propos de la norme qui va arriver, je l'ai imprimée juste pour le poids, elle tape dans les 300 pages

Pour l’essentiel rien ne change par rapport à la version précédente, ils ont juste ouvert plus grand les vannes de l’enfumage général (à un tel niveau on retombe dans une attaque chimique versions Ypres 1915)
Le tome 2 est assez édifiant là dessus, avec des intégrales de 3 km

Comme le disais Audiard, quand un gars arrive en disant qu'il va pondre une norme sur les seuil de décision dans "une approche bayesienne en mettant en oeuvre le principe de maximisation de l'entropie d'information (PME)", les autres se taisent.
Et ils se sont tus
A suivre
Gluonmou

Sinon vous bossez où, on s'est déjà croisé?

Sinon aussi, ils construisent pour la spectro gamma un seuil de décision fondé sur l'optimisation du rapport signal sur bruit en l'absence de signal
Fallait oser, et comme le disait Audiart (d ou t)?) etc...etc (restons polis)

Je ne connais pas cette norme, mais j'ai eu des débords avec une autre norme récemment, et peut-être cela pourrait-il vous donner une piste de recherche.

Il s'est avéré que nous n'avions pas tous la même compréhension d'une disposition. Et effectivement, ce passage était sujet à interprétation, ce qui est fou dans une norme prescriptive !

J'ai posé la question au COFRAC concernant le sens exact de cette disposition. Ils m'ont répondu qu'ils ne commentaient pas et ne donnaient pas d'interprétations des normes. Mais l'interlocutrice a ajouté que la version anglaise de la norme était sans doute plus explicite. 

Et effectivement, la version anglaise ne laisse place à aucune imagination, c'est clair et net !!! C'est la traduction française qui a été faite qui pose problème !

Ben si les gars du COFRAC comprennent la 11129, en anglais ou en français, moi je suis la Reine d'Angleterre,en plus jeune et sans les chapeau.

l'ayant lu dans les 2 versions, je peux certifier que l'une est une bouse et l'autre ...ben une bouse aussi en fait.

Pour revenir aux remarques d'Asphy sur l'intérêt du formalisme bayesien, il est d'une part intéressant pour exprimer correctement les incertitudes lorsque les incertitudes sont en soi plus élevées que la valeur moyenne, et où l'on se retrouve avec des gaussiennes tronquées

Pour l'aspect seuil de décision, l'approche bayesienne ne change effectivement pas grand chose.par contre pour les limites de détection lorsque l'incertitude sur le rendement est élevée, les modifs sont importantes

mais hélas dans la 11929 leur solution est archi-fausse, avec une LD qui part à l'infini (il faut utiliser des fonctions beta pour modéliser l'incertitude sur le rendement, pas une gaussienne, on leur a dit mais ils sont autistes les gars).

Concernant les priors (les bayesiens pur beurre sont très chatouilleux sur les priors), il suffit de prendre un flat prior (un-informative prior) de 0 jusqu'à une maximum réaliste (taux de comptage max par exemple). De toute façon ce maximum disparaît dans les diverses intégrations

Gluonmou

Juste j'en profite pour dire que la seule chose qui tienne la route dans la 11929, ce sont les estimateurs bayesiens de l'incertitude et de la valeur moyenne lorsque la mesure est inférieure au seuil
hélas personne ne les utilise et se contente d'écrire "<LD" sans même vraiment savoir pourquoi.

Ce que préconise la norme, annihilant ainsi eux-même le seul truc intéressant. Sont vraiment trop forts

Gluonmou a écrit:

Ben si les gars du COFRAC comprennent la 11129, en anglais ou en français, moi je suis la Reine d'Angleterre,en plus jeune et sans les chapeau.

l'ayant lu dans les 2 versions, je peux certifier que l'une est une bouse et l'autre ...ben une bouse aussi en fait.

Pour revenir aux remarques d'Asphy sur l'intérêt du formalisme bayesien, il est d'une part intéressant pour exprimer correctement les incertitudes lorsque les incertitudes sont en soi plus élevées que la valeur moyenne, et où l'on se retrouve avec des gaussiennes tronquées

Pour l'aspect seuil de décision, l'approche bayesienne ne change effectivement pas grand chose.par contre pour les limites de détection lorsque l'incertitude sur le rendement est élevée, les modifs sont importantes

mais hélas dans la 11929 leur solution est archi-fausse, avec une LD qui part à l'infini (il faut utiliser des fonctions beta pour modéliser l'incertitude sur le rendement, pas une gaussienne, on leur a dit mais ils sont autistes les gars).

Concernant les priors (les bayesiens pur beurre sont très chatouilleux sur les priors), il suffit de prendre un flat prior (un-informative prior) de 0 jusqu'à une maximum réaliste (taux de comptage max par exemple). De toute façon ce maximum disparaît dans les diverses intégrations

Gluonmou

Juste j'en profite pour dire que la seule chose qui tienne la route dans la 11929, ce sont les estimateurs bayesiens de l'incertitude et de la valeur moyenne lorsque la mesure est inférieure au seuil
hélas personne ne les utilise et se contente d'écrire "<LD" sans même vraiment savoir pourquoi.

Ce que préconise la norme, annihilant ainsi eux-même le seul truc intéressant. Sont vraiment trop forts

Merci Gluonmou pour les précisions que tu nous donne.

Mais je dois dire que je ne comprends rien à ce que tu expliques .... avec les bayesien, les priors ou en core flat prior. Cela me donne un text à trou sans le sujet.
Aurais tu un un livre à me conseiller pour mieux comprendre ?

En te remerciant

Cher khalem,

très sincèrement je n'ai pas vraiment de bouquin simple à recommender
Sur l'approche bayesienne j'ai un bouquin assez sympa écrit par un physicien canadien (radiotelescope)  : "bayesian logical data analysis.." de Phil Gregory
Mais :
-ça reste un pavé
-En anglais
-Et l'approche bayesienne ne peut être comprise sans un bon socle en statistique et probabilité "classique"

Je vais donc vous proposer ici une expérience inédite : une formation en ligne progressive, en reprenant le chemin que j'avais abordé il y a 20 ans, à l'époque ou je n'y comprenais que pouic


1 ouvrez une feuille Excel
2 : tapez dans une cellule exactement cela : =ALEA()

Vous obtenez un nombre 
tapez sur F9
Le nombre change!
Vous venez de créer une variable aléatoire (la cellule) et chaque fois que vous appuyez sur f9, vous obtenez une réalisation de cette variable aléatoire
Votre première mission consiste à établir la loi de probabilité de cette variable aléatoire, sa moyenne et son écart-type

Une petite info : à gauche de votre première cellule tapez1
puis dessous tapez 2
sélectionnez les deux cellules et tirez vers le bas jusqu'à obtenir une colonne numéroté de 1 à 1000 par exemple
revenz sur la cellule "alea", double-cliquez en sélectionnant le coin den bas en droite (petite croix noire)
Vous obtenez ainsi 1000 réalisations indépendantes de votre variable aléatoire

La seconde leçon consistera à fabriquer un compteur nucléaire à partir de cet aléa

A vous de jouer

Gluonmou

PS : avant de faire un compteur nucléaire on peut commencer par simuler un jeu de pile ou façe (0 ou 1)
C'est "l’épreuve de Bernouilli", un truc de base.

En plus je vais faire un reposter tout ça dans une autre thématique, ça peut interesser du monde
parce dans un post "11929", va pas y avoir foule

Gluonmou

Vous faites mal à la tête des fois   Ca doit être super intéressant, mais j'y pane rien   mais je continuerai à lire ^^ (trop curieux)

Bonsoir
Va voir sur le nouveau post ouvert par Gluon.. Il suffira de suivre pas à pas le cours pratique !
Iron kloug

Merci à tous

Bonjour,

Désolé pour ma réaction tardive mais j'avais prévenu, j'étais en vacances !

Merci pour vos réponses. Et un merci particulier à Gluonmou, évidemment (à qui je vais principalement m’adresser dans la suite). Un expert international de la norme ISO-11929 ! Waw, la chance (pour nous, il va sans dire, pas en sens inverse (jamais en sens inverse !!!)).

Je tiens d’abord à préciser que les critiques sur la norme en question, je ne les ai pas sucées de mon pouce mais plutôt trouvées en recherchant des informations sur le vaste monde du net. J’avais par exemple trouvé une présentation qui, sauf erreur, est la progéniture de Gluonmou (en espérant que votre solitude ne reprenne pas le dessus en entendant cela…).

Bon, pour pimenter un peu, je vais quand même me faire l’avocat du diable. Honte à moi, d'autant que je vais faire du mal à Gluonmou...
Est-il correct de dire que, pour un certain nombre de cas (non précisés dans la norme), les formules à utiliser permettent d’obtenir des valeurs sensées, même si obtenues de manière mathématiquement non correctes ? Parce que, en pratique, si l’on compare les valeurs obtenues pour la limite de détection avec ce que donne par exemple la méthode de Currie, dans un certain nombre de cas (voire un grand nombre de cas ‘standards’ avec beaucoup de guillemets), cela donne des valeurs comparables. Voir par exemple ceci (article ‘commercial’ mais dont les conclusions sont tout de même intéressantes, pour autant qu’elles soient correctes) :
https://www.researchgate.net/profile/John_Kirkpatrick/publication/257611249_Minimum_detectable_activity_systematic_uncertainties_and_the_ISO_11929_standard/links/5672d65508aedbbb3f9f6dfa/Minimum-detectable-activity-systematic-uncertainties-and-the-ISO-11929-standard.pdf
Je ne nie pas qu’un des autres gros problèmes, qui n’est pas mathématique, c’est au niveau ‘philosophique’ (non-utilisation des concepts dans le bon contexte et donc ne pas comprendre ce qu’on fait). Mais je pense que cela vaut la peine de savoir si toutes les personnes qui utilisent les formules de la norme sont, dans tous les cas, tout à fait à côté de la plaque ou non.

Et puis, quand vous dites :
« Comme le disais Audiard, quand un gars arrive en disant qu'il va pondre une norme sur les seuil de décision dans "une approche bayesienne en mettant en oeuvre le principe de maximisation de l'entropie d'information (PME)", les autres se taisent.
Et ils se sont tus
A suivre »,
vous voulez dire que l’approche bayesienne n’est pas compatible avec le PME ? Ou plutôt que ce sont des termes tellement absconds pour une grande majorité de personnes que la norme qui est pondue ne peut être vérifiée et critiquée quasiment par personne ?
Et pourquoi ‘A suivre’ ? Vous espérez voir sortir un jour une autre norme, mathématiquement correcte un jour ???

Question subsidiaire : que conseillez-vous comme référence pour déterminer les limites de détection, seuils de décision et extrémités d’intervalle de confiance ? Ou dit autrement, qu’utilis(eri)ez-vous ?

Merci.

Asphy

PS: On a dû se croiser à l’une ou l’autre rencontre SFRP.
PPS : C'est Michel Audiard avec d.

Cher Asphy,

Avant tout merci pour tous ce que vous écrivez, qui me console d'années de solitude
 
Ceci étant dit, quelques remarques à propos des vôtres
Tout d'abord oui effectivement dans la plupart des cas l'application de la 11929  permet d'avoir la bonne valeur numérique.
Ce n'est pas un scoop car en gros ils ont implicitement (voire quasi-explicitement) fondé leur méthode sur le fait que le SD est numériquement égal à l'incertitude lorsque  dans cette dernière on met le comptage net à 0 !

Sauf que cette analogie formelle n'est qu'une analogie numérique, et en aucun cas par exemple avec une telle méthode le concept de seuil de décision associé à un risque de première espère n'apparait.
D'où l'incompréhension de tels outils etc..

mais je dis bien dans la plupart des cas, sous-entendu ceux pour lesquels les incertitudes associées aux coefficient de conversion(le rendement pour l'essentiel) sont élevés (> 40 %)
Là les valeurs de LD (le seuil n'est pas affecté) données par la norme partent complètement à l'ouest, et pour être plus précis partent à l'infini (apparition d'un pôle dans la formule), alors qu'au pire on peut avoir des facteurs multiplicatifs égaux à 3 ou  4...
Dans la norme si vous prenez une incertitude relative à 55 % vous vous payez même le luxe d'avoir une LD négative!!

Et ce sont justement les cas où l'approche bayesienne formelle était justifiée
pas de bol, ils se sont plantés en beauté. C'est pas faute de leur avoir dit

Et bien entendu dans la nouvelle norme rien n'a changé

Concernant le fameux PME, juste 2 remarques
Ce principe, qui existe, dit pour l'essentiel par exemple que lorsque l'on dispose uniquement d'une moyenne et d'un écart-type pour caractériser une variable aléatoire, alors la loi la moins coûteuse en information est la loi gaussienne
De cela nous n'avons pas besoin car nous savons que les processus mis en jeu dans les mesures nucléaires sont de nature poissonniens, hypothèse forte par ailleurs reprise par la 11929 elle même.mais hélas fort mal utilisé par eux 

Hypothèse qui permet par exemple d'estimer l'écart-type par la racine carrée de la moyenne, ça c'est connue, mais mieux encore,que l'incertitude-type (k=1) associée à une telle estimation est toujours égale à 0,5.

Or dans les problèmes de seuil de décision, tout repose justement sur la connaissance de la variabilité potentielle des mesures.
Pour en terminer avec le PME qui permet d'utiliser la loi gaussienne faute de mieux (ce qui je le redis n'est pas le cas ici), il est fort malencontreux de l'utiliser justement dans le cas des incertitudes sur le rendement
La physique nous dit qu'il faut prendre une loi Bêta, toujours contenues entre 0 et 1, ce qui permet d'éviter justement les fameuses LD qui partent à l'infini (je parle donc ici de facteur d’erreur sans aucune limites)

Ne voyez donc dans l'énoncé du principe de maximisation énoncé par les auteurs de la norme qu'une technique d'enfumage .
Ce n'est pas parce que ce principe est vrai que ce qui suit l'est aussi.

Par ailleurs la nouvelle norme commence à débarquer dans les labos, et me revient ici et là des début de frémissement
Bon courage les gars

Pour répondre à votre dernière demande, nous avions proposé au niveau français une norme  reprenant le truc à 0, fondée comme il se doit sur les principes de tests statistiques d’hypothèse
hélas cette norme complète, avec toutes ses annexes, a été bloqué par un triste sire  qui était en même temps le responsable au BNEN et responsable du groupe ISO pour cette norme.

Son seul objectif était que l'on ne dégage pas ses copains allemands de l'histoire 
Il a réussi
Pour le malheur de tous les labos qui doivent se frapper ce document effrayant (surtout la dernière version)

Gluonmou

PS : je pense l'avoir déjà dit, mais ce projet, mêmes'il est resté à l'état de projet, reste un document applicable et surtout compréhensible
Il est à disposition par MP
j'essaye de relancer la CETAMA pour en faire a minima un guide, mais ayant quitté toute fonction je n'y suis plus guère (sinon plus du tout) écouté. C'est devenu trop politique à mon gout
Vous pouvez relancer la demande, on verras bien

J'ai pas compris grand chose, mais je suis d'accord avec toi gluonmou