Project

General

Profile

Action #5184

Plots and stats from perfAllDataTest.npy

Added by Marie TREYER about 1 month ago. Updated 13 days ago.

Status:
New
Priority:
Normal
Assigned To:
Start date:
02/18/2019
Due date:
% Done:

0%


Description

ALL :
sigma,bias,eta=0.02086 & 0.00304 & 14.72
<CRPS>=0.03179
ZCNN< 2 :
sigma,bias,eta=0.02029 & 0.00215 & 13.80
<CRPS>=0.03014
PDF WIDTH< 0.25 (90%):
sigma,bias,eta=0.01867 & 0.00157 & 9.66
<CRPS>=0.02566
PDF WIDTH< 0.15 (83%):
sigma,bias,eta=0.01708 & 0.00134 & 6.58
<CRPS>=0.02161





SIG_SNR.png (19.8 KB) Marie TREYER, 02/18/2019 01:40 PM

ZPHOT_ZSPEC.png (74 KB) Marie TREYER, 02/18/2019 01:40 PM

MEANPDFS_WIDTH.png (45.1 KB) Marie TREYER, 02/18/2019 01:40 PM

PIT.pdf (9.49 KB) Marie TREYER, 02/18/2019 01:40 PM

NZ.png (21.6 KB) Marie TREYER, 02/18/2019 01:57 PM

SIG_MAG.png (20.3 KB) Marie TREYER, 02/18/2019 04:16 PM

SIG_Z.png (27.1 KB) Marie TREYER, 02/18/2019 04:16 PM

DELTAZ_Z.png (42.5 KB) Marie TREYER, 02/18/2019 04:36 PM

ZSPEC_ZPHOT_CNN.png (56.8 KB) Marie TREYER, 02/28/2019 11:42 AM

ZSPEC_ZPHOT_WIDE.png (83.2 KB) Marie TREYER, 02/28/2019 11:42 AM

ZSPEC_ZPHOT_DEEP.png (70.6 KB) Marie TREYER, 02/28/2019 11:42 AM

SIG_ZSPEC_MAG.png (21.2 KB) Marie TREYER, 02/28/2019 05:21 PM

cfht1.png (42.5 KB) Johanna Pasquet, 03/11/2019 12:17 PM

cfht2.png (73.7 KB) Johanna Pasquet, 03/11/2019 12:17 PM

ZSPEC_ZPHOT_CNN.png (76.4 KB) Marie TREYER, 03/12/2019 12:04 PM

MEANPROBAS_HIGHZ.png (37.7 KB) Marie TREYER, 03/12/2019 02:00 PM

PIT.png (28.7 KB) Marie TREYER, 03/12/2019 02:12 PM

History

#1 Updated by Marie TREYER about 1 month ago

For comparison, here are the stats for the available SED fitting zphots in the Wide and Deep fractions of the catalog respectively:

ZPHOT_W>0 (14872 galaxies) :
sigma,bias,eta=0.04021 & 0.02019 & 26.80

ZPHOT_D>0 (5277 galaxies) :
sigma,bias,eta=0.03301 & -0.01458 & 29.05

ps: the fraction of outliers is still defined as abs(deltaz)>0.05.

#2 Updated by Marie TREYER about 1 month ago

#3 Updated by Johanna Pasquet about 1 month ago

Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...

#4 Updated by Marie TREYER about 1 month ago

Johanna Pasquet wrote:

Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...

oui en effet, au delà de 1.5 ça devient hautement imprécis, comme on pouvait s'en douter au vu de la fraction de galaxies dans cette zone. les pdf sont quasi plates.

#5 Updated by Marie TREYER 25 days ago



#6 Updated by Stephane ARNOUTS 25 days ago

Marie TREYER wrote:
merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info

#7 Updated by Johanna Pasquet 25 days ago

Marie TREYER wrote:



On voit vraiment bien l'amélioration :) Merci Marie!

#8 Updated by Stephane ARNOUTS 25 days ago

Johanna Pasquet wrote:

On voit vraiment bien l'amélioration :) Merci Marie!

oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions ;-)
Regarder strictement les memes serait plus sur avant de conclure.

#9 Updated by Marie TREYER 25 days ago

Stephane ARNOUTS wrote:

Marie TREYER wrote:
merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info

non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot>0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?

#10 Updated by Marie TREYER 25 days ago

Stephane ARNOUTS wrote:

Johanna Pasquet wrote:

On voit vraiment bien l'amélioration :) Merci Marie!

oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions ;-)
Regarder strictement les memes serait plus sur avant de conclure.

c'est ce que j'avais fait avant, les stats sont les mêmes.

#11 Updated by Stephane ARNOUTS 25 days ago

non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot>0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?

OK, c'est bien ce qui me semblait. On a sans doute pas trop de stats avec un seul pickle pour le faire.

Sinon oui Tu as le flag_K qui identifie les regions avec le K (je ne sais plus dans quel sens ca marche)  et tu as flag_opt qui dit si la photometrie optique est OK ou dans une region masquee. 
Par defaut les objets dans des masques optiques ont zphot=-99 (mais zml contient l'info)

#12 Updated by Marie TREYER 25 days ago

#13 Updated by Stephane ARNOUTS 25 days ago

Marie TREYER wrote:
ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude

#14 Updated by Marie TREYER 25 days ago

Stephane ARNOUTS wrote:

Marie TREYER wrote:
ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude

rien d'inattendu finalement

#15 Updated by Johanna Pasquet 14 days ago

New results with 50% of the statistics for the test: 97 603 images

biais = 0.0029499073319248998
sigma_mad = 0.02050504239557023
fraction d' outliers = 11.3644047826


#16 Updated by Marie TREYER 13 days ago

Johanna Pasquet wrote:

New results with 50% of the statistics for the test: 97 603 images

biais = 0.0029499073319248998
sigma_mad = 0.02050504239557023
fraction d' outliers = 11.3644047826


consistency check :)
les stats sont à zphot_CNN<2. j'ai toujours l'ancienne définition des outliers.

#17 Updated by Johanna Pasquet 13 days ago

Marie TREYER wrote:

Johanna Pasquet wrote:

New results with 50% of the statistics for the test: 97 603 images

biais = 0.0029499073319248998
sigma_mad = 0.02050504239557023
fraction d' outliers = 11.3644047826


consistency check :)
les stats sont à zphot_CNN<2. j'ai toujours l'ancienne définition des outliers.

Super merci!

#18 Updated by Marie TREYER 13 days ago


the PIT=1 peak is due to catastrophic errors at z>3, especially those with zphot_CNN<1.5

#19 Updated by Johanna Pasquet 13 days ago

Marie TREYER wrote:


the PIT=1 peak is due to catastrophic errors at z>3, especially those with zphot_CNN<1.5

Au delà de 3 en redshift c'est vraiment pas bon...dû au faible nombre de données dans cet intervalle. Peut être qu'on ne devrait pas considérer les images au delà de 3 pour le test du moins. Pour le PIT il faudrait voir si plus d'ensemble permettent de le rendre plus plat...

#20 Updated by Marie TREYER 13 days ago

  • File deleted (PIT.png)

#21 Updated by Marie TREYER 13 days ago

  • File deleted (MEANPDFS_Z.png)

#22 Updated by Marie TREYER 13 days ago

  • File deleted (MEANPDFS_Z.png)

#23 Updated by Marie TREYER 13 days ago

Also available in: Atom PDF

Go to top