The new GRAPPA3E Database

GAIA EDR3 Restreint pour l'Astrométrie et à la Photométrie Pour "Amateur"

(Text in english below)

Cette
base de données provient de la publication Early DR3 (EDR3) de la
mission GAIA de l'ESA. Le contenu de cette publicationpublication
est décrit  ici.
Remerciements
Un
grand merci aux équipes GAIA qui ont rendu ces informations
disponibles. Un grand Merci aussi à Dave Herald et Paolo Tanga pour
leurs conseils pour l'utilisation et le codage des données de GAIA.

Si vous désirez utiliser cette base de données, s'il vous plaît, lisez d'abord ceci :  Remerciements et  Crédit et Citation

Introduction
L'objectif principal de GRAPPA3E est de rendre les données essentielles du catalogue GAIA disponibles hors ligne. Ainsi
téléchargés sur un poste de travail, aucune liaison internet ne sera
nécessaire pour pour disposer des données astrométriques et
photométriques de précision du catalogue complet de la version Early DR3. L'accès aux données sera accéléré et leurs permettra d'être utilisées plus intensivement.
Contenu
Afin de construire la base de données GRAPPA3E, la partie main_source de la base de données d'archives de GAIA EDR3
a été utilisée et traduite en condensant sous forme
binaire et structurée le contenu de quelques 3386 fichiers sources csv
compressés. Afin
de faciliter la recherche par position, les enregistrements
correspondant aux sources ont été redistribuées non plus dans
l'ordre ascendant source_id mais par zone du ciel de 1°x1° en ascension
droite et en déclinaison. Toutes les 1 811 709 771 sources GAIA EDR3 sont enregistrées dans la base de données. Quelques
autres fichiers supplémentaires ont été compilés et peuvent être
utilisés comme table de correspondance vers les catalogues Hipparcos2 et Tycho2DSCmerge.
Organisation des données
Les
fichiers GRAPPA3E sont divisés en bandes de déclinaison de 1 °, sauf
pour les 2 zones polaires au-dessus de 85 ° de déclinaison absolue où
toutes les étoiles sont regroupées en deux fichiers uniques, l'un pour
la calotte polaire nord et l'autre pour la calotte sud.

La base
de données est structurée en 170 répertoires. Les répertoires sont
nommés 5 à 174. Le nom du répertoire est défini par la valeur de la déclinaison arrondie au degré inférieur plus 90
de la bande contenue. Le nom du répertoire est donc la troncature de (Delta + 90).

Dans chaque répertoire, les étoiles sont
enregistrées dans 360 fichiers, chaque fichier a donc une largeur de 1
° en Ascension Droite (R.A.). Les fichiers sont nommés en fonction de
la zone qu'ils représentent.

Ainsi, le fichier 22-25 stocké dans le répertoire "25"
est la zone où les étoiles ont une Ascension Droite entre 22 ° et
22,9999999999999 ° et une déclinaison Delta entre -64,99999999 ° et -64
° (car 25 ° - 90 ° = - 65 °). 

Les zones polaires sont nommées N85-90 et S85-90 selon la gamme de déclinaison qu'elles représentent.

Il y a donc en tout 170x360+2=61202 fichier de données pour les sources GAIA.
Encodage des étoiles...
Dans
les fichiers de données, les sources sont toutes classées
séquentiellement en fonction de leur ascension droite (R.A.). Chaque enregistrement a une longueur de 52 octets. La
structure de l'enregistrement est identiques pour tous les fichiers
de données et peut être écrite en langage Pascal comme ceci:
TGrappa3ESource = bitpacked record
                           //         Size
                           // Unit   (byte) Definition
      Source_id : QWord;   //          8    Unique within a particular Data Release. See https://dms.cosmos.esa.int/COSMOS/doc_fetch.php?id=2779219
      RA        : int32;   // mas      4    R.A.truncated to 1mas precision truncation: +10.123 = 10
      RA2       : byte;    // 4µas     1    R.A.component <1mas. Units of 4 µas. To be added to RA. 30 = 0.120mas
      e_RA      : uint16;  // 10µas    2    Uncertainty in RA units of 10 µas
      DEC       : int32;   // mas      4    Declination+90° truncated 1 mas precision truncation: +10.123 = 10
      DEC2      : byte;    // 4µas     1    DEC component <1mas. Units of 4 µas. To be added to DEC. 30 = 0.120mas
      e_DEC     : uint16;  // 10µas    2    Uncertainty in Dec, units of 10 µas
      parallax  : uint16;  // 12.5µas  2    This unit permits to code Proxima Centauri's parallax 
      e_parx    : uint16;  // 10µas    2    Uncertainty in Parallax units of 10 µas
      PM_RA     : int32;   // µas/yr   4    Annual proper motion in RA. Value has been multiplied by Cos(declination)
      e_PM_RA   : uint16;  // µas/yr   2    Uncertainty in Proper motion in RA
      PM_DEC    : int32;   // µas/yr   4    Annual proper motion in Dec
      e_PM_DEC  : uint16;  // µas/yr   2    Uncertainty in Proper motion in Dec
      RUWE      : byte;    //   0.1    1    Value for ruwe indicator See : https://dms.cosmos.esa.int/COSMOS/doc_fetch.php?id=3757412
                           //               RUWE is set to 0 for sources with only two parameters (only RA & DEC)
      has_RV,              //         1/8   Set if there is a radial velocity for the star in the RV.dat file
      has_PM_parallax_RUWE,//         1/8   Set if there are PM, parallax and RUWE values for the star
      has_Hipparcos2_id,   //         1/8   Set if an Hipparcos2 crossmatch has been found
      has_TYCHO2DSC_id,    //         1/8   Set if an Tycho2DSC crossmatch has been found
      has_G,has_BP,has_RP, //       3x1/8   Set if magG, magBP, magRP are given respectively
      duplicated_source            : boolean;//  
      G,BP,RP   : uint32;  // 0.1mmag 3x4   Values for magnitude in the G, BP and RP bands respectively including e_G, e_BP, e_RP
                           //               Coded as : 18bits for value (value can go up to 26.2144), 14 bits for incertitudes.
   end;

Les enregistrements bitpacked
sont des enregistrements "compactés" au bit près, c'est-à-dire que les
types ordinaux sont alignés sur des limites de bits, et non sur
des octets, ou des mots de 32 ou 64 bits. Par conséquent, les
8 indicateurs binaires sont définis sur un seul octet, l'enregistrement
fait 52 octets de long ou 13 mots de quatre octets au total.

Types de données utilisés:

Les types de données indiqués ci-dessus, en utilisant le langage Pascal, sont :

QWord : entier non signé 64 bits
int32 : entier signé 32 bits (seules des valeurs positives ont été enregistrées donc le type uint32 peut être utilisé)
uint32 : entier non signé 32 bits
uint16 : entier non signé 16 bits
octet : entier positif 8 bits

Et décodage...
Toutes les valeurs se réfèrent à l'époque J2016.0 TCB.
Source_ID
L'identifiant unique sur la release EDR3 de la source est le source_id.  
Ascension Droite
L'Ascension
droite de la source et son incertitude sont décodées comme
suit, en utilisant le langage Pascal, par exemple pour avoir l'A.D. en
degré décimaux, l'incertitude en mas :

value:=(RA+RA2/250)/3600000;
error:=e_RA/100;
Declinaison
La
Déclinaison de la source et son erreur sont décodées comme
suit, en utilisant le langage Pascal, par exemple pour avoir la
Déclinaison en degré décimaux, l'incertitude en mas :

value:=(DEC+DEC2/250)/3600000-90;
error:=e_DEC/100;
Mouvements Propres, Parallaxe et RUWE
Les valeurs des mouvements propres en A.D. et Déclinaison, de parallaxe de la source et le facteur
RUWE (Renormalised unit weight error) sont données quand le drapeau has__PM_parallax_RUWE est mis à VRAI (=1). Notez que le mouvement propre en A.D. fourni est µa* = µa . cos (déclinaison).

Pour le mouvement propre en AD et son erreur, en mas :

valeur:=PM_RA/1000;
erreur:=e_PM_RA/1000;

Pour le mouvement propre en Déclinaison et son erreur, en mas :

valeur:=PM_DEC/1000;
erreur:=e_PM_DEC/1000;

Pour la Parallaxe et son erreur, in mas :

valeur:=parallax*0.0125;
erreur:=e_parallax/100;

Pour RUWE :
valeur:=RUWE/10;
Magnitudes
Les
magnitudes et leurs incertitudes respectives ont été codées dans
un même champ int32 (entier non signé sur 32bits) par magnitude
lorsque celle-ci est présente. Ceci est signalé par le drapeau has_G, has_BP ou has_RP correspondant mis à VRAI (=1)

Le
décodage des magnitudes se fait aisément. Par exemple, en langage
Pascal, pour magnitude G et son incertitude données en magnitude :

if has_G then begin
    Gmagnitude:=(G AND $3FFFF)/10000;
    Gincertitude:=((G AND $FFFC0000) SHR 18)/10000;
end;

Où SHR
est l'opérateur binaire de décalage vers la Droite, (ou une
division binaire par 2^18 dans ce cas). AND est le ET binaire (ou
logique).

La
magnitude est fournie par les 18bits les moins significatifs du
mot de 32 bits, aussi seule une opération logique est nécessaire
pour obtenir sa valeur avec une unité de 0.1mmag. L'incertitude
est donnée par les 14 bits les plus significatifs du mot.

Le même algorithme peut être utilisé pour les magnitude BP et RP.
Vitesse Radiale
La vitesse radiale d'une source est donnée dans un fichier séparé lorsque l'indicateur has_RV est VRAI (=1). Les détails seront donnés ci-dessous.
Correspondance avec Hipparcos2
Une correspondance avec une étoile du catalogue Hipparcos2 existe pour la source lorsque l'indicateur has_hipparcos2_id est VRAI (=1). Les détails seront donnés ci-dessous. Voir hipparcos2_best_neighbour pour plus d'informations.
 
Correspondance avec TYCHO2DSCmerge
Une correspondance avec une étoile du catalogue Tycho2TDSCmerge existe pour la source lorsque l'indicateur has_tycho2dsc_id est VRAI (=1). Les détails seront donnés ci-dessous. Voir tycho2tdsc_merge_best_neighbour pour plus d'informations.

Fichiers associés
Il y a trois fichiers associé aux données de la base GRAPPA3E. Ces fichiers sont :

VR.dat    Hipparcos2BestNeighbour.dat    et     Tycho2tdscMergeBestNeighbour.dat
Fichier des Vitesses Radiales
Comme
"seulement" 7,209,831 sources dans la publication GAIA EDR3 ont une vitesse
radiale définie (en fait, ce sont les mêmes valeurs de vitesses que celle données
dans la publication  DR2), ces valeurs ont été stockées dans un fichier à
part pour gagner de la place disque. Le fichier VR.dat donnent les information suivantes :

La vitesse radiale est donnée par le champ VR en km/s avec une valeur entière signée. 
Son erreur e_VR est donnée dans la valeur (positive) codée sur un octet.

En langage Pascal, cela donne :

TVR = packed record        //  Unit (byte)   Definition
      source_id : QWord;   //    -     8
     
VR        : int16;   //
 km/s    2     Radial
velocity    (int16 = -32768..32767)
     
e_VR      : byte;    // 
km/s    1     Uncertainty in Radial
Velocity
   end;

Un enregistrement "packed" signifie que chaque nouvel élément d'un type
structuré commence sur une limite d'octet, sans dépendre de la taille
des registres du processeur.

Le fichier VR.dat est classé dans l'ordre des source_id GAIA EDR3. 

Correspondance avec Hipparcos2

Le fichier Hipparcos2BestNeighbour.dat
contient toutes les correspondances entre les sources GAIA EDR3 et les
objets Hipparcos2. La recherche n'est pas symétrique et plusieurs
sources GAIA peuvent être associées à un objet Hipparcos2. Une bonne
correspondance respecte la position et l'erreur de GAIA et du catalogue
externe.
Les informations suivantes sont fournies :

source_id est l'identifiant unique GAIA EDR3 de la source.
original_ext_source_id est l'identifiant unique dans le catalogue Hipparcos2.
angular_distance
est la séparation résultante du meilleur voisin dans le
catalogue Hipparcos et la source GAIA EDR3. L'unité est
l'arcsec. 
Le champ number_of_neighbours donne le nombre de voisin dans le catalogue GAIA.
Le champ xm_flag donne des détails sur les opérations effectuées par l'algorithme de recherche. Voir ici pour plus d'informations.

En langage Pascal, cela donne :

THipparcos2crossmatch_index = packed record
      source_id : QWord;
      original_ext_source_id : longint;
      angular_distance : single;
      number_of_neighbours,xm_flag : byte;
   end;

Un enregistrement "packed" signifie que chaque nouvel élément d'un type
structuré commence sur une limite d'octet, sans dépendre de la taille
des registres du processeur.
Le type de donnée single est un nombre réel flottant de 4 octet au format IEEE.

Le fichier Hipparcos2BestNeighbour.dat file est trié sur le champ  source_id GAIA EDR3. 
Correspondance avec le catalogue Tycho2DSCmerge
The Tycho2tdscMergeBestNeighbour.dat file contains all crossmatches found between GAIA EDR3 sources and the Tycho2DSCmerge objets. The
search is not symmetric and several GAIA sources can be associated to
an Tycho2DSCmerge object. A good crossmatch respects the postion and error
of GAIA and the external catalogue.

Le
fichier Tycho2tdscMergeBestNeighbour.dat contient toutes
les correspondances trouvées entre les sources GAIA EDR3 et les
objets du catalogue externe Tycho2DSCmerge. La recherche n'est pas
symétrique et plusieurs sources GAIA peuvent être associées à un objet
Tycho2DSCmerge. Une bonne correspondance respecte la position et
l'erreur de GAIA et du catalogue externe.

source_id est l'identifiant unique GAIA EDR3 de la source.
original_ext_source_id est un identifiant unique alphanumérique dans le catalogue Tycho2DSCmerge.
angular_distance
est la séparation résultante du meilleur voisin dans le
catalogue Tycho2DSCmerge et la source GAIA EDR3. L'unité est
l'arcsec. 
The number_of_neighbours donne le nombre de voisin dans le catalogue GAIA.
Le champ xm_flag donne des détails sur les opérations effectuées par l'algorithme de recherche. Voir ici pour plus d'informations.
tycho2tdsc_merge_oid field donne un identifiant numérique additionnel à la source dans le  catalogue externe.

En langage Pascal, cela donne :

TTycho2DSCcrossmatch_index = packed record
      source_id : QWord;
      original_ext_source_id : packed array[1..11] of char;
      angular_distance : single;
      number_of_neighbours,xm_flag : byte;
      tycho2tdsc_merge_oid : longint;
   end;

Un enregistrement "packed" signifie que chaque nouvel élément d'un type
structuré commence sur une limite d'octet, sans dépendre de la taille
des registres du processeur.
Le type de donnée single est un nombre réel flottant de 4 octet au format IEEE.

Accès aux données
Ces
données sont disponibles sous format compressé 7zip sur le site FTP ( ftp.imcce.fr/pub/catalogs/GRAPPA3E/ ) de
l'IMCCE, à l'Observatoire de Paris, France, ou sur mon site FTP
personnel à CESSON, lien à ouvrir avec l'outil Filezilla pour des raisons de sécurité (utilistion de TLS 3.0). Utiliser le login grappa et le mot de passe grappagrappa.

Toutes
les données doivent être décompressées dans le même répertoire avant
utilisation afin de restaurer la structure de la base de données.

Attention !
Bien
qu'une grande attention ait été accordée à la réalisation de cette
conversion et que de nombreuses vérifications aient été effectuées,
l'auteur décline toute responsabilité quant aux éventuelles
conséquences de l'utilisation de ces données.

Ces données et
informations sont libres d'utilisation. Cependant, si leur utilisation
conduit à une publication, l'utilisateur devra citer :

- Les équipes GAIA comme indiqué dans les liens ci-dessus
- Marc SERRAU, l'auteur de cette version de la base de données GRAPPA3E.

Merci d'utiliser GRAPPA3E ! A consommer sans modération !

Fait à Cesson (France, 77) le 31 Janvier 2021.

Marc SERRAU






English translation
GRAPPA3E
GAIA EDR3 Restricted, for Astrometry and Photometry Provided by/for "Amateurs"

This database comes from the EDR3 delivery of ESA's GAIA mission.
The content of this delivery is described here.
Acknowledgments
Many
thanks to the GAIA teams who made these informations available. A big
thank you also to Dave Herald and Paolo Tanga for their advice in using
and encoding GAIA data.
If you intend to use this database, please, read first : Acknowledgement and credit_and_citation

Introduction
The main goal of GRAPPA3E is to make the essential data of the GAIA catalog available offline. Thus downloaded to a workstation, no internet link will be necessary to access to  the high accuracy of the astrometric and photometric data of the complete Early 3 version catalog. Access to the data will be accelerated and will allow it to be used more frequently.
Contents
In order to build the GRAPPA3E database, the GAIA EDR3 Archive database source
was used and partially translated by condensing in binary and
structured form the contents of some 3386 compressed csv source files.
In order to accelrate the search by position, the corresponding records
were no longer redistributed in the ascending  source_id order but by
zone in the sky of 1° x 1° in right ascension and declination. All of
the 1,811,709,771 GAIA EDR3 sources are recorded in the database. Some
other additional files were used in order to establish links to the Hipparcos2 and
Tycho2DSC catalogs.
Sources organisation
The
GRAPPA3E files are divided into 1 ° declination bands, except for the 2
polar zones above 85 ° absolute declination where all the stars are
grouped into two unique files, one for the north polar cap and the
another for the southern one.

The database is structured in 170
directories. The directories are named 5 through 174. The directory
name is the declination band plus 90.

In each directory, the
stars are recorded in 360 files, each file therefore has a width of 1 °
in Right Ascension (R.A.). Files are named according to the area they
represent.

Thus, the 22-25 file stored in the "25" directory is
the area where the stars have a Right Ascension between 22 ° and
22.9999999999999 ° and a Delta declination between -64.99999999 ° and
-64° (25° - 90° = -65 °). In fact, the name of the directory is the
truncation of (Delta + 90).

The polar zones are named N85-90 and S85-90 according to the range of declination they represent.

Therefore, there is a total of 170x360 + 2 = 61202 data files for the GAIA sources.
Star encoding...
In
the 170x360+2=61202 data files, the stars are all sorted sequentially
according to their Right Ascension (R.A.). Each record is 52 bytes in
length. The structure of the record is the same for all data files
and can be written in Pascal language like this:

TGrappa3ESource = bitpacked record
                           //         Size
                           // Unit   (byte) Definition
      Source_id : QWord;   //          8    Unique within a particular Data Release. See here
      RA        : int32;   // mas      4    R.A.truncated to 1mas precision truncation: +10.123 = 10
      RA2       : byte;    // 4µas     1    R.A.component <1mas. Units of 4 µas. To be added to RA. 30 = 0.120mas
      e_RA      : uint16;  // 10µas    2    Uncertainty in RA units of 10 µas
      DEC       : int32;   // mas      4    Declination+90° truncated 1 mas precision truncation: +10.123 = 10
      DEC2      : byte;    // 4µas     1    DEC component <1mas. Units of 4 µas. To be added to DEC. 30 = 0.120mas
      e_DEC     : uint16;  // 10µas    2    Uncertainty in Dec, units of 10 µas
      parallax  : uint16;  // 12.5µas  2    This unit permits to code Proxima Centauri's parallax 
      e_parx    : uint16;  // 10µas    2    Uncertainty in Parallax units of 10 µas
      PM_RA     : int32;   // µas/yr   4    Annual proper motion in RA. Value has been multiplied by Cos(declination)
      e_PM_RA   : uint16;  // µas/yr   2    Uncertainty in Proper motion in RA
      PM_DEC    : int32;   // µas/yr   4    Annual proper motion in Dec
      e_PM_DEC  : uint16;  // µas/yr   2    Uncertainty in Proper motion in Dec
      RUWE      : byte;    //   0.1    1    Value for ruwe indicator See here 
                           //               RUWE is set to 0 for sources with only two parameters (only RA & DEC)
      has_RV,              //         1/8   Set if there is a radial velocity for the star in the RV.dat file
      has_PM_parallax_RUWE,//         1/8   Set if there are PM, parallax and RUWE values for the star
      has_Hipparcos2_id,   //         1/8   Set if an Hipparcos2 crossmatch has been found
      has_TYCHO2DSC_id,    //         1/8   Set if an Tycho2DSC crossmatch has been found
      has_G,has_BP,has_RP, //       3x1/8   Set if magG, magBP, magRP are given respectively
      duplicated_source : boolean;//  
      G,BP,RP   : uint32;  // 0.1mmag 3x4   Values for magnitude in the G, BP and RP bands respectively including e_G, e_BP, e_RP
                           //               Coded as : 18bits for value (value can go up to 26.2144), 14 bits for incertitudes.
   end;

bitpacked
record are record "compacted" on bit scale, that is to say, ordinal
types are align on bit boundaries, not on byte,  or 32 or 64bits words.
The 8 flags are defined only on one byte, record are 52 bytes long or 13 four bytes words in total.

Used data types :

The data types given above, using the Pascal language, are :

QWord : 64bits unsigned integer
int32 : 32bits signed integer (only positive values have been recorded)
uint32 : 32bits unsigned integer
uint16: 16bits unsigned integer
byte  : 8bits positive integer

And decoding...
All values refer to Epoch J2016.0 TCB.
Source_ID
The source_id is an unique idnetifier of the source 
Right Ascension
Right Ascension and error are decoded as follow, using the Pascal language, for instance R.A. in degree, error in mas :

value:=(RA+RA2/250)/3600000;
error:=e_RA/100;
Declination
Declination and error are decoded as follow, using the Pascal language, for instance declination in degree, error in mas :

value:=(DEC+DEC2/250)/3600000-90;
error:=e_DEC/100;
Proper Motions, Parallax and RUWE
The proper motion in R.A. and Declination, the parallax of a source and the RUWE (Renormalised unit weight error) value are given when the has__PM_parallax_RUWE flag is ON (TRUE=1). Note that the given proper motion in R.A. is in fact µa* = µa . cos (declination).

For proper motion and error  in R.A, in mas :

value:=PM_RA/1000;
error:=e_PM_RA/1000;

For proper motion and error  in Declination, in mas :

value:=PM_DEC/1000;
error:=e_PM_DEC/1000;

For Parallax and error, in mas :
value:=parallax*0.0125;
error:=e_parallax/100;

For RUWE :
value:=RUWE/10;
Magnitudes
Magnitudes and
respective incertitudes are coded in the same int32 (non signed integer
on 32bits) field when the relevant flag is ON :

The decoding of magnitudes can be easily done. For instance for G, in magnitude :
if has_G then begin
    Gmagnitude:=(G AND $3FFFF)/10000;
    Gincertitude:=((G AND $FFFC0000) SHR 18)/10000;
end;

Where SHR is the Shift Right operator (or a binary division by 2^18 in this case).

The
magnitude is provided by the least significant 18bits of the 32-bit
word, so only one logical operation is needed to get its value with a
unit of 0.1mmag. The uncertainty is given by the 14 most significant
bits of the word.

The same algorithm can be used for BP and RB magnitudes and associated incertitudes.
Radial velocity
The radial velocity of a source is given in a separated file when the has_RV flag is ON. Details will be given bellow.
Hipparcos2 crossmatch
A matched star in the Hipparcos2 catalogue exist for the source when the has_hipparcos2_id flag is ON. Details will be given bellow. See hipparcos2_best_neighbour for more infromations.
 
TYCHO2DSC crossmatch
A matched star in the Tycho2TDSCmerge catalogue exist for the source when the has_tycho2dsc_id flag is ON. Details will be given bellow. See tycho2tdsc_merge_best_neighbour for more infromations.
Associated files
There are three associated files to the GRAPPA3E database. This files are :

VR.dat    Hipparcos2BestNeighbour.dat    and     Tycho2tdscMergeBestNeighbour.dat
Radial Velocity file
As
"only" 7,209,831 sources in the GAIA EDR3 catalog have a defined radial
velocity (in fact the same value as in DR2 release), this value has
been stored outside the main database. This saves disk space.
The VR.dat file gives this information, coded as following :

TVR = packed record        //  Unit (byte)   Definition
      source_id : QWord;   //    -     8
     
VR        : int16;   //
 km/s    2     Radial
velocity    (int16 = -32768..32767)
     
e_VR      : byte;    // 
km/s    1     Uncertainty in Radial
Velocity
   end;

Packing
record on byte boundaries means that each new element of a structured
type starts on a byte boundary, not depending on processor register
size.
Radial velocity is given by the VR field in km/s with an signed integer value. Its error e_VR is given in the positive one byte value.

The VR.dat file is sorted on the GAIA EDR3 source_id field. 

Hipparcos2 crossmatch

The Hipparcos2BestNeighbour.dat
file contains all crossmatches found between GAIA EDR3 sources and
Hipparcos2 objets. The search is not symmetric and several GAIA sources
can be associated to an Hipparcos2 object. A good crossmatch respects
the postion and error of GAIA and the external catalogue.
The file has the following structure :

THipparcos_index = packed record
      source_id : QWord;
      original_ext_source_id : longint;
      angular_distance : single;
      number_of_neighbours,xm_flag : byte;
   end;

Packing record on byte boundaries means that each new element of a
structured type starts on a byte boundary, not depending on processor
register size.

source_id is the GAIA EDR3 source identifier. 
original_ext_source_id is an unique identifier in the Hipparcos2 catalogue.
angular_distance is the resulting separation of the best Hipparcos neighbour and the GAIA EDR3 source. The unit is arcsec. The single data type is the 4 bytes IEEE floating point.
The number_of_neighbours gives the number of neighbour in the GAIA catalogue.
The field xm_flag gives details on the crossmatch algoritm. See here for more informations.

The Hipparcos2BestNeighbour.dat file is sorted on the GAIA EDR3 source_id field. 
Tycho2DSCmerge crossmatch
The Tycho2tdscMergeBestNeighbour.dat file contains all crossmatches found between GAIA EDR3 sources and the Tycho2DSCmerge objets. The
search is not symmetric and several GAIA sources can be associated to
an Tycho2DSCmerge object. A good crossmatch respects the postion and error
of GAIA and the external catalogue.
The file has the following structure :

TTycho_index = packed record
      source_id : QWord;
      original_ext_source_id : packed array[1..11] of char;
      angular_distance : single;
      number_of_neighbours,xm_flag : byte;
      tycho2tdsc_merge_oid : longint;
   end;

source_id is the GAIA EDR3 source identifier. 
original_ext_source_id is an unique alphanumeric identifier in the Tycho2DSCmerge catalogue.
angular_distance is the resulting separation of the best Hipparcos neighbour and the GAIA EDR3 source. The unit is arcsec. The single data type is the 4 bytes IEEE floating point.
The number_of_neighbours gives the number of neighbour in the GAIA catalogue.
The field xm_flag gives details on the crossmatch algoritm. See here for more informations.
tycho2tdsc_merge_oid field gives an additionnal numerical source identifier in the external catalogue.
Data Access 
These
data are available under compressed 7zip format on the FTP site of
IMCCE Observatoire de Paris (see  ftp.imcce.fr/pub/catalogs/GRAPPA3E/ ), France or on my private FTP site there (open link with the Filezilla tool for security purpose, use login grappa and password grappagrappa )

All the data have to be decompressed in the same directory before use in order to restore the database structure. 

Attention !
Although
great attention was given to the realization of this work and
that many verifications have been carried out, the author declines any
responsibility for the possible consequences of the use of these data.

These data and informations are  free of use. However, if their use leads to publication, the user shall cite :
 
  - The GAIA teams as indicated in the links given above
  - Marc SERRAU, the author of this version of the GRAPPA3E database.

Thank you for using GRAPPA3E, to consume without moderation !

Done at Cesson (France, 77) on January 31, 2021.

Marc SERRAU