Fausses étoiles avec BXT

[pleclech94 458]

Bonjour,

 

j'adore Blur Exterminator je trouve l'outil formidable en revanche il y a une seule chose qui me gêne vraiment. C'est la transformation des galaxies faibles en étoiles.

Pour vous illustrer le sujet j'ai mis une comparaison de 2 clichés 

Celui de gauche a plus de temps d'intégration que celui de droite et l'application de BXT montre 2 résultats différents. Ce qui me saute aux yeux immédiatement c'est la galaxie en haut à gauche qui est vraiment une galaxie sur l'image de gauche et qui est une étoile sur celle de droite.

Je précise que le traitement des 2 images a été fait avec les mêmes paramètres, elles sont directement comparables.

On voit aussi que sur l'image de gauche en bas il y a une nouvelle étoile qui apparait et qui est aussi certainement une galaxie faible.

Voilà je voulais vous en faire part car je trouve qu'il faut faire attention lors de l'utilisation de BXT à ces fausses étoiles qui ruinent un peu le rendu final et l'exactitude de l'information de la prise de vue.

Vous avez certainement vous aussi remarqué cela et quelle solution avez-vous trouvé ?

 

[LRoulin 2]

Merci pour cette comparaison très parlante. Je suis en train de me mettre à Pix et aux outils XT (versions d'essai pour le moment) et j'ai moi-même été assez convaincu par les résultats obtenus.

 

Cependant, j'ai aussi noté un problème du même type avec BXT. Sur une image provenant d'une chaîne optique présentant un tilt très important, j'ai d'abord été bluffé par l'étendue de la correction, qui a pour ainsi dire rendu invisible le problème des étoiles fortement allongées en bord de champ. Mais, en fin de traitement, j'ai remarqué que les étoiles problématiques avaient en fait été dédoublées! Je n'ai malheureusement pas gardé de quoi illustrer le méfait, cette version ayant été instantanément poubellisée.

 

Alors certes, je ne peux m'en prendre qu'à moi-même d'avoir donné à bouffer au programme une image un peu avariée. Le problème ne se serait pas présenté avec des données de meilleure facture. Mais le problème que tu soulèves est assez inquiétant en effet. A moins d'être d'une vigilance à toute épreuve, pas mal de faux détails risquent d'apparaître sans qu'on s'en rende compte.

 

Je me pose donc la question: continuer à utiliser cet outil ou revenir à une déconvolution plus classique?

[COM423 13 874]

Tu soulèves un point fondamental, c'est très ennuyeux cette transformation de faibles galaxies en étoiles d'aspect stellaires !

Je n'expérimente pas moi-même n'ayant ni Pix, ni ce plug-in BXterminator, mais on a fait quelques essais rapides avec un collègue et c'est un point qui m'a sauté aux yeux, juste derrière la spectaculaire amélioration visuelle des détails et de la rondeur des vraies étoiles.

Je pensais qu'on pouvait jouer sur les curseurs pour éviter çà (?).

 

Une autre piste, sinon, pour atténuer ce défaut est de mixer en calques sous Gimp la version d'origne et la version Bluxterminatorisée

 

[pleclech94 458]

1 hour ago, LRoulin said:

Merci pour cette comparaison très parlante. Je suis en train de me mettre à Pix et aux outils XT (versions d'essai pour le moment) et j'ai moi-même été assez convaincu par les résultats obtenus.

 

Cependant, j'ai aussi noté un problème du même type avec BXT. Sur une image provenant d'une chaîne optique présentant un tilt très important, j'ai d'abord été bluffé par l'étendue de la correction, qui a pour ainsi dire rendu invisible le problème des étoiles fortement allongées en bord de champ. Mais, en fin de traitement, j'ai remarqué que les étoiles problématiques avaient en fait été dédoublées! Je n'ai malheureusement pas gardé de quoi illustrer le méfait, cette version ayant été instantanément poubellisée.

 

Alors certes, je ne peux m'en prendre qu'à moi-même d'avoir donné à bouffer au programme une image un peu avariée. Le problème ne se serait pas présenté avec des données de meilleure facture. Mais le problème que tu soulèves est assez inquiétant en effet. A moins d'être d'une vigilance à toute épreuve, pas mal de faux détails risquent d'apparaître sans qu'on s'en rende compte.

 

Je me pose donc la question: continuer à utiliser cet outil ou revenir à une déconvolution plus classique?

J'ai eu le même souci que j'ai réglé dans l'ordre du processus. Je fais d'abord une correction seule sans autre amélioration (il faut cocher la case correct only). Et ensuite à partir de cette base qui a des étoiles améliorées on a des résultats bien meilleurs et on peut éviter ce dédoublement d'étoile.

 

26 minutes ago, COM423 said:

Tu soulèves un point fondamental, c'est très ennuyeux cette transformation de faibles galaxies en étoiles d'aspect stellaires !

Je n'expérimente pas moi-même n'ayant ni Pix, ni ce plug-in BXterminator, mais on a fait quelques essais rapides avec un collègue et c'est un point qui m'a sauté aux yeux, juste derrière la spectaculaire amélioration visuelle des détails et de la rondeur des vraies étoiles.

Je pensais qu'on pouvait jouer sur les curseurs pour éviter çà (?).

 

Une autre piste, sinon, pour atténuer ce défaut est de mixer en calques sous Gimp la version d'origne et la version Bluxterminatorisée

 

Jouer sur les curseurs ne suffit pas. L'ordre dans lequel on fait les opérations semble important (cf plus haut). En tout cas il faut vraiment en être conscient car on se retrouve avec des images certes plus flatteuses à l'oeil mais mensongères sur l'information qu'elles donnent et je pense que notre fibre d'astronome amateur est forcément chagrinée.

[danielo 6 072]

As-tu essayé la PSF manuelle ? Pour certains problèmes d'artefacts c'est vraiment mieux, ça vaudrait le coup de tester concernant celui-ci

[pleclech94 458]

Just now, danielo said:

As-tu essayé la PSF manuelle ? Pour certains problèmes d'artefacts c'est vraiment mieux, ça vaudrait le coup de tester concernant celui-ci

Oui je passe systématiquement en PSF manuel  voici ce que j'utilise de manière empirique :

 

avec une ou plusieurs passes.

[danielo 6 072]

Est-ce que avec StarX ces petites galaxies lointaines sont aussi des faux positifs ?

[LRoulin 2]

il y a 2 minutes, pleclech94 a dit :

J'ai eu le même souci que j'ai réglé dans l'ordre du processus. Je fais d'abord une correction seule sans autre amélioration (il faut cocher la case correct only). Et ensuite à partir de cette base qui a des étoiles améliorées on a des résultats bien meilleurs et on peut éviter ce dédoublement d'étoile.

C'est pourtant ce que j'avais fait, et même au stade du correct only le problème apparaissait, bien que moins marqué qu'à la fin du traitement par BXT. Mais bon, encore une fois, bien mal m'en a pris de lui soumettre une image avec des étoiles dégueulasses à l'extrême.

[COM423 13 874]

5 minutes ago, pleclech94 said:

des images certes plus flatteuses à l'oeil mais mensongères sur l'information

Au-delà du risque d'inventer des détails irréels, le fait de transformer des galaxies en étoiles est une sacrée perte d'information, vigilance de rigueur en effet

[pleclech94 458]

1 hour ago, LRoulin said:

C'est pourtant ce que j'avais fait, et même au stade du correct only le problème apparaissait, bien que moins marqué qu'à la fin du traitement par BXT. Mais bon, encore une fois, bien mal m'en a pris de lui soumettre une image avec des étoiles dégueulasses à l'extrême.

BXT est moins fort pour transformer les comètes en étoiles 

[pleclech94 458]

1 hour ago, danielo said:

Est-ce que avec StarX ces petites galaxies lointaines sont aussi des faux positifs ?

Moi j'ai remarqué que oui et on se retrouve avec des étoiles supplémentaires quand on réunit les 2 images.

[Tromat2 722]

Il y a 2 heures, danielo a dit :

Est-ce que avec StarX ces petites galaxies lointaines sont aussi des faux positifs ?

Oui ça arrive. Il y a plein de petites choses dont il faut se méfier, d'où l'intérêt de bien scruter les résultats à 100%.

Après pour la majorité d'entre nous qui ne faisons pas de science, quelques pixels problématiques sur une image qui en comporte des millions ça reste à mes yeux acceptable.

Il y a sinon toujours la possibilité de faire des masques pour protéger les données mal interprétées  par le process.

[Vlaams59 4 865]

Effectivement il faut être vigilant avec blurx surtout dans le traitement des galaxies,perso je fais juste un "correct only" pour les galaxies,après pour ne pas être embêté tu peux faire un starnet avant afin de ne traiter que la galaxie et faire une déconv classique pour les étoiles.

[jeffbax 7 656]

Hello. Un exemple intéressant.

 

J'ai discuté de ces aspects avec Russell Croman ( le créateur de la suite XT) lors du CEDIC 2024 fin mars en Autriche où nous étions tous deux parmi les conférenciers. Il est très accessible et on a dîné ensemble. Il aime le pinard donc super....

 

Son approche est très maitrisée et il a bien conscience de ces limites. Pour essayer de résumer l'IA agit nativement selon deux comportements principaux sur la base de deep learning.

 

Un comportement discriminatif qui consiste en gros à reconnaître une structure et à l'améliorer. Un comportement génératif qui en gros produit des structures en extrapolant.

 

Toute la difficulté consiste à moduler ces 2 comportements, le comportement génératif devant être le plus limité possible. C'est lui qui génère les artefacts.

 

BXT possède des processus internes visant à surveiller ce comportement génératif le mieux possible. Mais effectivement ce n'est pas infaillible.

 

L'oeil est en dernier recours ce qui permet de juger de l'acceptable. Ça c'est subjectif 😉.

 

Au final, dans une image, chacun aura un degré d'acceptation discriminatif/génératif et corrigera son process en fonction ( sous réserve bien sûr de bien maîtriser les outils).

 

JF 

[exaxe17 5 872]

Je l'avais vu et signaler depuis longtemps! C'est un probleme mais ce que je trouve vraiment limite c'est que des pros du traitement ferme les yeux sur ce type d'artefact! Inventer un détail ( une étoile) car le programme hallucine que probablement c'est une étoile . Et on gobe l'info. .. cela peut mettre en difficulté une calibration photométrique par exemple! Je pense que la possibilité de mettre une carte gaia en vérif par arrière  plan,par exemple, aiderais le logiciel! 

[jeffbax 7 656]

En fait dans ce cas précis le composant discriminatif de BXT décide que cette petite galaxie est une étoile floue. Du coup le comportement génératif la corrige comme telle et lui applique une PSF pour en faire une étoile nette. C'est assez con en fait.

 

Avec le T1000 je masque systématiquement tout le fond de ciel jusqu'à disons tout ce qui est détecté à 5 sigma pour éviter ça. Sinon certaines des pétouilles en limite de détection ressortent avec un aspect stellaire.

 

Starnet ne fait pas mieux quand il discrimine les étoiles.

 

Il faut bien comprendre ce que font ces outils pour les contrôler. C'est nous qu'on reste le chef 😄😄

Modifié 7 juin par jeffbax

[Bigcrunch 2 561]

Trés bonne et intéressante explication Jeff,

Merci 👍

[jeffbax 7 656]

Il y a 3 heures, jeffbax a dit :

En fait dans ce cas précis le composant discriminatif de BXT décide que cette petite galaxie est une étoile floue

 

Puisque ça vous intéresse, Russell a expliqué lors de sa conf que ce processus décisionnel se base sur un entrainement en deep learning avec plus de 200 000 images du ciel avec tous les échantillonnages possibles et imaginables. La dernière version est comme ça. Il va essayer de monter à 500 000 sur la prochaine je crois.

 

Dans ce cas précis, et dans d'autres certainement, cet entraînement a apris à l'IA que généralement les trucs qui ont cette tronche sont des étoiles floues.

 

Tout ceci est naissant. Vivement une version où on pourra lui dire, en l'engueulant si possible : "espèce d'abruti, dans mon image ça c'est une galaxie". C'est sans doute ça la suite... Et ça va très vite...

 

JF 

[Bigcrunch 2 561]

Il y a 1 heure, jeffbax a dit :

Puisque ça vous intéresse, Russell a expliqué lors de sa conf que ce processus décisionnel se base sur un entrainement en deep learning avec plus de 200 000 images du ciel avec tous les échantillonnages possibles et imaginables. La dernière version est comme ça. Il va essayer de monter à 500 000 sur la prochaine je crois.

 

très intéressant en effet  , j'appliquais ce script "bêtemen" sans vraiment connaitre son fonctionnement mais en surveillant quand même la non apparition d'artefact ou autres choses bizarres

[exaxe17 5 872]

Il y a 1 heure, jeffbax a dit :

200 000 images du ciel avec tous les échantillonnages possibles et imaginables

oui, tu es sur? cela fait beaucoup?

[jeffbax 7 656]

il y a 2 minutes, exaxe17 a dit :

oui, tu es sur? cela fait beaucoup?

 

Oui, certain.

 

En fait on a vraiment beaucoup échangé avec lui et l'équipe de développement PI. On est restés en contact, certaines de mes approches les intéressent et tu imagines que moi aussi ça m'intéresse si un jour une équipe de développeurs arrive à systématiser un empilement différencié sur une série de données. Avec le nombre de couches qu'on veut tout ça. Bref je raconte ma vie... En plus on a pris une demi cuite, virgule 5...

 

En fait il s'emmerde pas à trouver 200000 images. Ce mec est très inspirant en fait.

 

Il prend des champs de bonnes images, larges, amateurs, pro, Hubble, tout ça. Il les découpe pour faire 200 000 échantillons. Je crois qu'il y a 10000 images découpées. Il leurs applique une convolution. Puis il apprend au réseau de neurones à retrouver l'image initiale.

 

En gros... Je suis pas informaticien. Mais tu vois l'idée...

 

JF 

 

 

[exaxe17 5 872]

il y a 2 minutes, jeffbax a dit :

Il leurs applique une convolution. Puis il apprend au réseau de neurones à retrouver l'image initiale.

ok, oui je vois le bin's, et dans le cas d'une supernova dans une galaxie éloignée? c'est a dire un événement soudain , est ce "compris" par l'ai ou bien effacé?

 

il y a 6 minutes, jeffbax a dit :

. Bref je raconte ma vie

non pas du tout! cela touche tout les traitements astro , c 'est tres interessant!

 

A+

[Tromat2 722]

Il y a 1 heure, jeffbax a dit :

Vivement une version où on pourra lui dire, en l'engueulant si possible : "espèce d'abruti, dans mon image ça c'est une galaxie". C'est sans doute ça la suite...

Ce serai idéal ! Je vois bien un aperçu de l'image ou tu cliques sur les cas litigieux sans avoir besoin de faire de sélection précise.

[jeffbax 7 656]

il y a 7 minutes, exaxe17 a dit :

ok, oui je vois le bin's, et dans le cas d'une supernova dans une galaxie éloignée? c'est a dire un événement soudain , est ce "compris" par l'ai ou bien effacé?

 

Là je sais pas. Si ya une supernova il verra une étoile à mon avis. Linteret de l'IA justement c'est qu'elle ne reproduira pas un truc qui est en mémoire. Elle va vraiment s'adapter à l'image. Mais au final c'est pas l'intérêt pour moi. C'est pour faire des images. Pas de la science. Bien que certains pros commencent à employer de l'IA dans certains cas... 😏

[exaxe17 5 872]

il y a 17 minutes, jeffbax a dit :

C'est pour faire des images

Oui tu as raison. Quand je vois les IA sur des photos de tous les jours faire de l'upscaling,c'est bien fait c'est sur mais pas réel, mais c'est parfaitement cohérent avec l'ensemble. En tout cas merci pour tes retours !