Action #5184
open
Plots and stats from perfAllDataTest.npy
Added by Marie Treyer almost 6 years ago. Updated over 5 years ago.
0%
Description
ALL :
sigma,bias,eta=0.02086 & 0.00304 & 14.72
<CRPS>=0.03179
ZCNN< 2 :
sigma,bias,eta=0.02029 & 0.00215 & 13.80
<CRPS>=0.03014
PDF WIDTH< 0.25 (90%):
sigma,bias,eta=0.01867 & 0.00157 & 9.66
<CRPS>=0.02566
PDF WIDTH< 0.15 (83%):
sigma,bias,eta=0.01708 & 0.00134 & 6.58
<CRPS>=0.02161
Files
| SIG_SNR.png (19.8 KB) SIG_SNR.png | Marie Treyer, 2019-02-18 13:40 | ||
| ZPHOT_ZSPEC.png (74 KB) ZPHOT_ZSPEC.png | Marie Treyer, 2019-02-18 13:40 | ||
| MEANPDFS_WIDTH.png (45.1 KB) MEANPDFS_WIDTH.png | Marie Treyer, 2019-02-18 13:40 | ||
| PIT.pdf (9.49 KB) PIT.pdf | Marie Treyer, 2019-02-18 13:40 | ||
| NZ.png (21.6 KB) NZ.png | Marie Treyer, 2019-02-18 13:57 | ||
| SIG_MAG.png (20.3 KB) SIG_MAG.png | Marie Treyer, 2019-02-18 16:16 | ||
| SIG_Z.png (27.1 KB) SIG_Z.png | Marie Treyer, 2019-02-18 16:16 | ||
| DELTAZ_Z.png (42.5 KB) DELTAZ_Z.png | Marie Treyer, 2019-02-18 16:36 | ||
| ZSPEC_ZPHOT_CNN.png (56.8 KB) ZSPEC_ZPHOT_CNN.png | Marie Treyer, 2019-02-28 11:42 | ||
| ZSPEC_ZPHOT_WIDE.png (83.2 KB) ZSPEC_ZPHOT_WIDE.png | Marie Treyer, 2019-02-28 11:42 | ||
| ZSPEC_ZPHOT_DEEP.png (70.6 KB) ZSPEC_ZPHOT_DEEP.png | Marie Treyer, 2019-02-28 11:42 | ||
| SIG_ZSPEC_MAG.png (21.2 KB) SIG_ZSPEC_MAG.png | Marie Treyer, 2019-02-28 17:21 | ||
| cfht1.png (42.5 KB) cfht1.png | Johanna Pasquet, 2019-03-11 12:17 | ||
| cfht2.png (73.7 KB) cfht2.png | Johanna Pasquet, 2019-03-11 12:17 | ||
| ZSPEC_ZPHOT_CNN.png (76.4 KB) ZSPEC_ZPHOT_CNN.png | Marie Treyer, 2019-03-12 12:04 | ||
| MEANPROBAS_HIGHZ.png (37.7 KB) MEANPROBAS_HIGHZ.png | Marie Treyer, 2019-03-12 14:00 | ||
| PIT.png (28.7 KB) PIT.png | Marie Treyer, 2019-03-12 14:12 |
Updated by Marie Treyer almost 6 years ago
For comparison, here are the stats for the available SED fitting zphots in the Wide and Deep fractions of the catalog respectively:
ZPHOT_W>0 (14872 galaxies) :
sigma,bias,eta=0.04021 & 0.02019 & 26.80
ZPHOT_D>0 (5277 galaxies) :
sigma,bias,eta=0.03301 & -0.01458 & 29.05
ps: the fraction of outliers is still defined as abs(deltaz)>0.05.
Updated by Marie Treyer almost 6 years ago
- File SIG_MAG.png SIG_MAG.png added
- File SIG_Z.png SIG_Z.png added
- File DELTAZ_Z.png DELTAZ_Z.png added
Updated by Johanna Pasquet almost 6 years ago
Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...
Updated by Marie Treyer almost 6 years ago
Johanna Pasquet wrote:
Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...
oui en effet, au delà de 1.5 ça devient hautement imprécis, comme on pouvait s'en douter au vu de la fraction de galaxies dans cette zone. les pdf sont quasi plates.
Updated by Marie Treyer over 5 years ago
- File ZSPEC_ZPHOT_CNN.png ZSPEC_ZPHOT_CNN.png added
- File ZSPEC_ZPHOT_WIDE.png ZSPEC_ZPHOT_WIDE.png added
- File ZSPEC_ZPHOT_DEEP.png ZSPEC_ZPHOT_DEEP.png added
Updated by Stephane Arnouts over 5 years ago
Marie TREYER wrote:
merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info
Updated by Johanna Pasquet over 5 years ago
Marie TREYER wrote:
On voit vraiment bien l'amélioration 
Merci Marie!
Updated by Stephane Arnouts over 5 years ago
Johanna Pasquet wrote:
On voit vraiment bien l'amélioration
oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions ;-)
Regarder strictement les memes serait plus sur avant de conclure.
Updated by Marie Treyer over 5 years ago
Stephane ARNOUTS wrote:
Marie TREYER wrote:
merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info
non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot>0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?
Updated by Marie Treyer over 5 years ago
Stephane ARNOUTS wrote:
Johanna Pasquet wrote:
On voit vraiment bien l'amélioration
oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions ;-)
Regarder strictement les memes serait plus sur avant de conclure.
c'est ce que j'avais fait avant, les stats sont les mêmes.
Updated by Stephane Arnouts over 5 years ago
non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot>0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?
OK, c'est bien ce qui me semblait. On a sans doute pas trop de stats avec un seul pickle pour le faire.
Sinon oui Tu as le flag_K qui identifie les regions avec le K (je ne sais plus dans quel sens ca marche) et tu as flag_opt qui dit si la photometrie optique est OK ou dans une region masquee.
Par defaut les objets dans des masques optiques ont zphot=-99 (mais zml contient l'info)
Updated by Stephane Arnouts over 5 years ago
Marie TREYER wrote:
ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude
Updated by Marie Treyer over 5 years ago
Stephane ARNOUTS wrote:
Marie TREYER wrote:
ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude
rien d'inattendu finalement
Updated by Johanna Pasquet over 5 years ago
New results with 50% of the statistics for the test: 97 603 images
biais = 0.0029499073319248998
sigma_mad = 0.02050504239557023
fraction d' outliers = 11.3644047826
Updated by Marie Treyer over 5 years ago
- File ZSPEC_ZPHOT_CNN.png ZSPEC_ZPHOT_CNN.png added
Johanna Pasquet wrote:
New results with 50% of the statistics for the test: 97 603 images
biais = 0.0029499073319248998
sigma_mad = 0.02050504239557023
fraction d' outliers = 11.3644047826
consistency check
les stats sont à zphot_CNN<2. j'ai toujours l'ancienne définition des outliers.
Updated by Johanna Pasquet over 5 years ago
Marie TREYER wrote:
Johanna Pasquet wrote:
New results with 50% of the statistics for the test: 97 603 images
biais = 0.0029499073319248998
sigma_mad = 0.02050504239557023
fraction d' outliers = 11.3644047826
consistency check
les stats sont à zphot_CNN<2. j'ai toujours l'ancienne définition des outliers.
Super merci!
Updated by Marie Treyer over 5 years ago
- File MEANPROBAS_HIGHZ.png MEANPROBAS_HIGHZ.png added
- File PIT.png added
- File MEANPDFS_Z.png added
the PIT=1 peak is due to catastrophic errors at z>3, especially those with zphot_CNN<1.5 
Updated by Johanna Pasquet over 5 years ago
Marie TREYER wrote:
the PIT=1 peak is due to catastrophic errors at z>3, especially those with zphot_CNN<1.5
Au delà de 3 en redshift c'est vraiment pas bon...dû au faible nombre de données dans cet intervalle. Peut être qu'on ne devrait pas considérer les images au delà de 3 pour le test du moins. Pour le PIT il faudrait voir si plus d'ensemble permettent de le rendre plus plat...