ms

Oculaire électronique en une planche

Messages recommandés

Le bruit qui accompagne nos prises astro est un bruit hybride, Camille Sutour en donne un exemple dans le document suivant qui est remarquable :

 

https://hal.archives-ouvertes.fr/hal-01138809/document

 

denoise_cs.png.69890e5ae7b2cc2074394e6c808377c0.png

 

Dans l'OE, la détection des zones où le rapport S/B est faible est intégré aux traitements liés aux patchs un peu comme dans l'image de droite ci-dessus.

 

Les algorithmes de l'OE travaillent sur des rafales d'images décomposées en rafales de patchs traitées en // par les processeurs graphiques.

Le traitement par patchs est intéressant parce qu'il introduit en plus un comptage des similarités. Un patch peut être une 'lucky region'', un élément générique de l'image (fractale), une zone homogène de bruit, une zone homogène de flou, une zone non exploitable (un trou). Tout cela nécessite de travailler sur des images brutes contiguës et toute la difficulté est de gérer dans le bon ordre les distorsions, les flous et le bruit hybride propres à chaque patch. A la fin, les patchs sont fusionnés pour donner une des images de la vidéo de l'OE.

Modifié par ms
  • J'aime 1

Partager ce message


Lien à poster
Partager sur d’autres sites
il y a une heure, CPI-Z a dit :

Merci MS pour l’exemple sur M51 (135 images) ton résultat est probant. Serai-il possible d’avoir ce résultat en version x1 pour le comparé au résultat IRIS ?

C'est encore un prototype parce que le traitement d'un bruit au niveau des patchs n'est pas complètement terminé.

Je parts de 19 rafales de 7 images brutes contiguës et ce sont ces 19 images qu'il sera intéressant de comparer aux images obtenues avec Iris ou d'autres logiciel.

 

Qui a dit ;)

Citation

l'informatique ne sait pas faire la différence entre le bruit et le détail à l'échelle du pouvoir séparateur

Il y a justement des zones homogènes de bruit et de flou dans chaque image brute, pour en augmenter la probabilité, on traite des rafales d'images brutes. Il y a aussi des zones homogènes de signal que l'on peut appeler des 'lucky regions'. A ces différentes zones s'ajoutent des zones similaires (fractales). Enfin, il peut aussi y avoir des trous, ce sont des zones non exploitables où règne le cahot. ;)

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites

Ahhh, les voies du traitement d'images sont parfois mal pavées : de cahoteuses à chaotiques selon la forme des trous... ;):)

  • Haha 1

Partager ce message


Lien à poster
Partager sur d’autres sites

Il y a 3 algorithmes qui travaillent de concert : le débruitage, le défloutage et l'inpainting.
Ce dernier intervient justement pour combler les trous de notre ignorance. ;)

Partager ce message


Lien à poster
Partager sur d’autres sites

Pour la détection de bruit, tu prends quelle taille de bloc ? le 16x16 que je lis sur l'exemple de Camille ?

Si oui, c'est pas trop gros ?

Partager ce message


Lien à poster
Partager sur d’autres sites

Ben dis donc, pour quelqu'un proche de la retraite, c'est quand meme la classe de citer des papier de 2017 et faire de la programmation de GPU ^^

Je connaissais pas le Tau de Kendall/la correlation de rang, c'est interessant comme metrique. Par contre, dans la pratique, je ne suis pas sur d'avoir compris pourquoi le Tau est proche de 1 dans les zones pleines de bruit seul:

 

-Les variables aleatoires X et Y designent la mesure de la valeur du patch, que l'on peut supposer intrinsequement constant (le patch, pas la mesure) pour les cas qui nous interessent

-on genere artificiellement des  sequences de paires de valeurs (xi,yi) en considerant 4 sequences a partir de 4 voisinages differents

-si deux pixels ont une valeur egales, on parle de tied pair, et on utilise la formule du papier pour les prendre en compte dans le calcul de Tau

-Si on a pas de "signal" ayant une correlation spatiale significative dans le patch, le nombre de paires concordantes et discordantes doivent etre proche de la meme valeure

-Le z score (un genre de Tau index a variance normalise) pour des patch de bruit pur suis une loi normale (0,1) d'apres le Th central limite, comme rappele dans le papier

 

C'est d'ailleur exactement ce qui est montre sur la figure 2: comment separer une distribution de z pour un bruit pur (hypothese H0) d'un distribution de z pour un step signal (hypothese H1). La premiere est centree en 0, alors que la seconde est centree en une valeur strictement positive, qui depend du rapport signal/bruit.

 

 j'ai du mal a comprendre pourquoi le Tau est eleve dans les patch de bruit pur ducoup, alors qu'il devrait au contraire etre proche de 0, il y aurai plus de paires concordantes que discordantes ?

 

EDIT: ok j'ai compris, en fait j'avais skippe le passage ou il est explique que les p values c'est l'esperance conditionnelle que le Tau(X,Y) soit inferieur a alpha, sachant qu'on a l'hypothese de signal (H1).

 

EDIT2: bon en fait le papier est assez long et j'ai pas tout lu... parceque une fois detectes les patch de bruit pur, il y a encore pas mal de bouleau pour estimer les parametres du modeles de bruit (Gauss+Poisson+Multiplicatif), qui est signal dependant.

Modifié par DOLGULDUR

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 1 heure, DOLGULDUR a dit :

 j'ai du mal a comprendre pourquoi le Tau est eleve dans les patch de bruit pur ducoup, alors qu'il devrait au contraire etre proche de 0, il y aurai plus de paires concordantes que discordantes ?

L'explication est dans le 'Résumé des travaux' puis elle est reprise de façon détaillée dans la thèse :

https://tel.archives-ouvertes.fr/tel-01225612/document

 

J'ai prévu de m'amuser encore 5 ans avec la turbulence, c'est une occupation comme une autre pour un futur retraité (ça approche c'est pour la fin du mois).
J'espère aussi que cela donnera envie à de plus jeunes d'aller plus loin car c'est un sujet qui se prête à merveille aux évolutions technologiques actuelles.
Maurice Kendall a inventé cette statistique (le tau de Kendall) en 1938 mais il en existe d'autres comme celle de Charles Spearman (le rho de Spearman ;) ) qui doit dater de la même époque.

 

 

Il y a 1 heure, lyl a dit :

Pour la détection de bruit, tu prends quelle taille de bloc ? le 16x16 que je lis sur l'exemple de Camille ?

Si oui, c'est pas trop gros ?

En fait, je détecte des zones homogènes qui me permettent d'estimer à l'aveugle le bruit mais aussi le flou avec des patchs qui varient de 4x4 à 16x16. La taille des patchs peut effectivement varier d'un problème à l'autre. Dans le cas de l'OE, la taille des patchs peut varier d'une image de la vidéo à l'autre car les conditions de turbulence varient parfois rapidement. Dans le cas de l'algorithme Non-Local Bayes la taille des patchs est fonction du bruit, elle varie de 3x3 à 7x7. La détection du bruit est une chose (voir par exemple Camille Sutour avec des patchs 16x16) et son traitement par l'algorithme le mieux adapté en est une autre (voir par exemple l'algorithme NL Bayes avec des patchs de 3x3).

Modifié par ms
  • Merci 1

Partager ce message


Lien à poster
Partager sur d’autres sites
Il y a 2 heures, ms a dit :

l'inpainting.
Ce dernier intervient justement pour combler les trous de notre ignorance.

 

Dans la langue de Molière, l'inpainting correspond à la restauration,  justement fort utile pour combler les creux de notre estomac ;)

 

Plus sérieusement, le "Neat" honni des astrophotographes utilise également la sélection manuelle d'une zone  homogène pour réduire le bruit.

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

Pour moi, il n'y a pas photo, l'arrière plan est bourré d'artefacts, la gestion des basses fréquences est catastrophique. Quand on lit leur pub commerciale, je crois qu'on pourrait s'attendre à mieux : ;)

 

neat0.png.068debdf04d3bee5d15caab942e53735.png

 

Regarde Neb comme la texture du bandeau à l'arrière de la fleur centrale est massacrée par Neat Image. La difficulté c'est d'estimer la nature du bruit, son intensité et d'appliquer l'algorithme le mieux adapté (L'OE fait cela et en temps réel en plus). Il y a des gens sérieux (comme ceux dont je cite les travaux) qui bossent depuis des années pour faire progresser les techniques de débruitage et de défloutage, c'est de ceux-là qu'il faut apprendre et non de ceux qui te vendent des logiciels de débruitage ou de défloutage à coup de pubs mensongères.

 

Citation

 

We use sophisticated math to detect and reduce noise while accurately preserving the image details. The code in Neat Image embodies years of our math and practical imaging — all to give you velvety, smooth images.

We've also optimized Neat Image for speed by taking full advantage of multi-core CPUs and GPUs. Superior noise reduction combined with blazing speed makes Neat Image the most efficient noise reduction solution available.

 

Et modeste en plus. 9_9

 

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites

Pas très claire, ta démo, ms !

Ne pourrait-on voir côte à côte horizontalement  les trois  images entières : origine, OE et NI  ?

Et si tu as du temps à perdre (ce dont je doute !) tu peux jouer un peu avec la version gratuite de Neat pour être admis dans le cercle des honnisseurs en connaissance de cause ! :D xD:D:/

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

Neb, les 2 images de droite sont faites avec Neat Image.

Les 2 du haut sont celles prises sur leur site.

Celle du bas à gauche est traitée avec L'OE.

Tu regardes à combien de mètres de l'écran ? ;)

Partager ce message


Lien à poster
Partager sur d’autres sites

ms, même en me rapprochant  (raisonnablement) de l'écran, je ne vois pas l 'image en haut à gauche traitée par NI ! 

Daubée, leur démo !

Partager ce message


Lien à poster
Partager sur d’autres sites

J'ai trouvé cette image bruitée sur leur site et je n'ose même pas mettre leur traitement tellement il est mauvais (bruit résiduel, artefacts autour des rubans, lissage, ...) :

t_fnb.jpg.bdbc36898e3f85ff9f55bbd32583431d.jpg

 

 

Avec l'OE le débruitage donne cela :

t_fnb_den.png.89b7fcb72d2cdac4b7c9a3979671ff9b.png

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites

Je n'aime malheureusement pas écrire ça, mais cette dernière image a un rendu qui me semble peu naturel, trop "aquarelle". Mais j'admets tout de même qu'au niveau "détails", ils sont plus francs que chez neatimage (où je ne vois guère qu'une réduction de bruit de chroma).

Quoi qu'il en soit, je ne suis pas "choqué" du résultat: pour un système en développement, aussi polyvalent, c'est plutôt pas mal et ici, le choix est sans doute plus esthétique que technique...

 

Partager ce message


Lien à poster
Partager sur d’autres sites

Ok, voici les choses présentées à ma façon  :

.
Neat_OE.png.754a3f541d2cf0056c9b9d51ca7ce958.png

 

De gauche à droite  : L'original  (extrait) du site Neat, le traitement proposé par Neat, le traitement OE.

Avant toute appréciation, il faut faire un clic droit sur l'image > Ouvrir dans un nouvel onglet,  recliquer dans l'image du nouvel onglet pour l'afficher en 100%.

Pour moi, le traitement Neat, vendeur pour un profane, est une excellente démonstration de l'effet "plastique"  (ici, je dirais plutôt "porcelaine") reproché  au procédé. 

Certes, Neat permet de régler le niveau de débruitage à son gré.

Je reviens après avoir tiré les FFT des images pour estimer si  ça vaut le coup que je tente une autre manip en chargeant ce logiciel.

 

Voici les FFT  des  images (entières)  :

-  Rouge : l'original

-  Magenta :  la Neat

-  Jaune : la OE

 

 

FFT1.png

 

Curieusement, selon les courbes la OE devrait paraître visuellement plus filtrée  que la Neat, pour moi ce n'est pas le cas, il reste plus de bruit...

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

Déjà il n'existe pas d'image de référence pour comparer.

En suite, l'OE est appliqué sur une image alors qu'en réalité il travaille sur une rafale d'images.

 

Maintenant, nous pouvons discuter :

1) des artefacts bien présents avec Neat Image (voir les rubans dans l'image suivante),

2) des lissages qui écrasent de nombreux détails,

3) du bruit résiduel bien présent.

 

t_fna.jpg.cf67ad914b1bebe12e11edaa33f37f4f.jpg

 

Neb la seule manip intéressante serait à faire avec une image bruitée dont on a l'image de référence.

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites

Chacun sa sensibilite, et les algorithmes permettant de calculer la fidelite d'une image forment a eux seuls des sujets de recherche (PSNR, SSIM, etc...).

 

Je ne cherche pas a defendre specialement NEAT, mais sur les images de Nebulium, completement a droite,t_fnb_den, je vois cet effet d'applatissement ou aquarelle assez caracteristique de l'approche variation totale (je ne sais pas si c'est ce qui a ete utilise).

L'image du milieu preserve beaucoup mieux les contours et les structure meme a faible constrastes, cf le decors au fond dans lequel on voit de fines bandes horizontales ressortir.

 

Bon apres, l'OE est sense tourner en real time, donc la evidemment tout n'est pas comparable a sa juste valeur.

Modifié par DOLGULDUR

Partager ce message


Lien à poster
Partager sur d’autres sites

Personnellement, ce qui me heurte le plus ce sont les traces du filtrage sur le fond voire déformations (comme des traces de palettes), le grain et dans une moindre mesure, le halo autour des voiles, dans les zones à fort contraste. Est-ce qu'on parle des mêmes choses?

Pour le grain, je pense que dans Neatimage, on peut mixer image-source et image filtrée. Mais dans ce cas, c'est alors clairement un aveu que ça n'est pas si efficace...

 

En bon linuxien, je filtre plus souvent mes images par Darktable... (une petite merveille en logiciel libre et qui dit libre dit open-source ;) )

 

 

Partager ce message


Lien à poster
Partager sur d’autres sites

Avec l'algorithme suivant (K-SVD) on n'est plus en temps réel mais l'effet aquarelle disparaît : ;)

 

t_fnb_ksvd.png.7e6c2493b5fd7ab9fe24bfbe0d203693.png

 

Cet algorithme est à ma connaissance le seul capable de construire un dictionnaire à partir de l'image bruitée.

 

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites

Ahaha alors la on commence a parler de ce que je connais :) en tout cas niveau rendu, ca me semble un peu plus "natuel" et moins a-plat de TV.

 

Malgres que K-SVD, qui date de 2006 soit l'algorithme d'apprentissage de dictionnaire parcimonieux le plus simple et le plus connu, on a un champion francais qui a fait des merveilles dans la conception d'algorithmes de ce type, et leur application beaucoup plus large dans les problemes inverses en imagerie.

 

Mieux que des mots, sa vie, son oeuvre:

https://lear.inrialpes.fr/people/mairal/pubs_year.html

 

Je conseille en particulier l'utilisation de son package SPAMS et ses differents bindings (python, matlab, etc...). Ses bouqins, dispo gratuitement en pdf sur son site sont vraiment une bonne source d'information.

 

Bon maintenant il fait comme tout le monde, il bosse sur les reseaux de neurones.

 

En tout cas, je suis impressionne par tes connaissances en traitement d'image ms, c'est vraiment sympa de voir quelqu'un appliquer ces techniques et faire des rapports sur astrosurf.

Modifié par DOLGULDUR

Partager ce message


Lien à poster
Partager sur d’autres sites

Pour le décor, c'est nettement mieux, mais je rejoins Dolguldur: les bords et fins détails me semblent mieux mis en valeur avec NeatImage. Bon évidemment, si on élimine les fréquences spatiales les plus représentatives du "grain" et qu'on applique un beau unsharp mask...

Partager ce message


Lien à poster
Partager sur d’autres sites

Je reviens après mes mesures FFT.

Répétons tout de suite que la manip est ici  biaisée par rapport à la vocation de l'OE, puisque l'on travaille  sur une seule image de départ bruitée.

Bon, ça donne à réfléchir sur les histoires de bruit et de FFT :

 

En haut à gauche,  rappel des FFT des images de mon message précédent :

-  Rouge : l'original

-  Magenta :  la Neat

-  Jaune : la OE

 

 

En bas à gauche j'ai modifié sur l'originale la courbe FFT (en blanc) pour l'égaliser  (en rouge) avec la OE, afin de voir l'effet sur le bruit qui s"avère finalement assez négligeable.

 

Sur cette nouvelle planche, voici de G. à D. l'original, la simple correction FFT, la OE :

 

fft2.png

 

Donc, pour la réduction du  bruit, l'algo OE est nettement plus efficace que  la correction par FFT.

Et il faut retenir que pour l'aspect visuel du bruit, les courbes FFT ne disent pas tout !

 

Modifié par Nebulium

Partager ce message


Lien à poster
Partager sur d’autres sites

Je me suis un peu planté dans l'utilisation de l'OE que j'utilise habituellement avec une rafale d'images, du coup les couleurs de l'arrière plan étaient toutes écrasées. Voici une image qui me plaît d'avantage : :$

 

t_fnb_den.png.ad8bcb1f108effd5dcd570991925b458.png

 

Là, je crois qu'il n'y a pas photo. ;)

 

Modifié par ms

Partager ce message


Lien à poster
Partager sur d’autres sites

Neb, je pense avoir compris comment fonctionne Neat Image : ;)

 

Neat_OE.png.fba7d6df19c09ea119063e261574761f.png

 

Il suffit de superposer ma dernière image avec celle de Neat pour compendrer la transformation utilisée.
Il est donc possible de faire un traitement donnant un aspect analogue mais en plus rapide (quasi temps réel), exempt d'artefact et de halo. ;)

Partager ce message


Lien à poster
Partager sur d’autres sites

Ms, je n'ai pas compris la transformation utilisée, mais si l'on retranche de l'image de gauche (OE) la centrale, on obtient celle de droite (Neat) :

 

 

sub.png

Partager ce message


Lien à poster
Partager sur d’autres sites

Créer un compte ou se connecter pour commenter

Vous devez être membre afin de pouvoir déposer un commentaire

Créer un compte

Créez un compte sur notre communauté. C’est facile !

Créer un nouveau compte

Se connecter

Vous avez déjà un compte ? Connectez-vous ici.

Connectez-vous maintenant