[Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

jdt37b · 5/12/2020 15:04:01

Bonjour,
Je me suis lancé dans la compil de FG 3.x dans une partition à part avec Xubuntu 20.04 en partant de là : http://fr.flightgear.org/forums/viewtop … 009#p33009

Tout se passait bien jusqu'à :

****************************************
**************** DATA ******************
****************************************
Starting special initialization routine for the DATA component...
Fetching FGData with 'git clone https://gitlab.com/flightgear/fgdata.git'
Clonage dans '.'...
remote: Enumerating objects: 3, done.
remote: Counting objects: 100% (3/3), done.
remote: Compressing objects: 100% (3/3), done.
fatal: L'hôte distant a fermé la connexion de manière inattendues
fatal: fin de fichier prématurée
fatal: échec de index-pack

et fin du process de compil.

J'ai cru comprendre que gitlab était un contournement pour les datas. Maintenant, je ne sais plus quoi faire ... sauf une bêtise, sans doute.
Merci de votre aide.

Dernière modification par jdt37b (9/12/2020 18:13:38)

ctesc356 · 5/12/2020 17:49:23

Bonjour,
toujours un peu fastidieux d'obtenir les datas la première fois.
Essaie de relancer avec:

./download_and_compile.sh -j4 -pn --non interactive DATA

il faudra peut-être insister... une fois fgdata ok:

./download_and_compile.sh -j4 -pn FGFS

pour terminer la compilation.

jdt37b · 5/12/2020 18:52:34

Bonsoir,
J'avais déjà refait 3 fois ./download_and_compile.sh -j$(nproc) --lts --non-interactive, je viens de faire le ./download_and_compile.sh -j4 -pn --non interactive DATA.
Hélas, idem, arrêt à ~30% (avec une vitesse à 780 k/s) et en redémarrant fgdata à zéro à chaque fois.
Je ferai un dernier essai demain.
nb : est-possible de créer le fgdata à partir d'un FG 3.1 installé avec un PPA dans une autre partition ?

Clm76 · 5/12/2020 19:12:40

jdt37b a écrit :

est-possible de créer le fgdata à partir d'un FG 3.1 installé avec un PPA dans une autre partition ?

Si tu as déjà un DATA dans une autre partition, tu le recopies dans ta nouvelle partition et un d&c (download_and_compile) te fera la mise à jour. C'est ce que je fais quand je change ou rajoute une nouvelle version de Fg.

jdt37b · 5/12/2020 20:29:41

Pb : l'install avec le PPA ne crée pas de répertoire fgdata dans flightgear.
J'ai bien essayé de recopier dans un répertoire fgdata de la 20.04 tous les sous-répertoires créés par le PPA (en 18.04) et correspondant à ceux contenus dans fgdata (vus dans git), mais cela ne marche pas : d&c dit que le répertoire fgdata n'est pas vide et s'arrête.
Mais j'ai pu louper quelque chose, d'où ma question.

ctesc356 · 5/12/2020 20:37:01

jdt37b a écrit :

Je ferai un dernier essai demain.
nb : est-possible de créer le fgdata à partir d'un FG 3.1 installé avec un PPA dans une autre partition ?

Je viens de faire l'essai, la troisième fois était la bonne... Quel est ton débit dsl?
Si vraiment ça ne veut pas il y a la solution par ssh.
http://wiki.flightgear.org/Scripted_Com … he_SSH_way

Tu peux copier un fgdata provenant d'une installation par PPA, si la version correspond ça marche pour lancer fg (voir dans fgdata/version).

Mais... ça ne sera pas un depôt local git, donc la mise à jour par d&c ne se fera pas, ce qui enlève une grande part de l'intérêt du script.

Donc... il faut insister...

ps: bien sûr, si tu veux obtenir un version stable il faut inclure "--lts" dans tous les lancements de d&c.

Dernière modification par ctesc356 (5/12/2020 20:41:00)

Clm76 · 6/12/2020 11:21:38

jdt37b a écrit :

J'ai bien essayé de recopier dans un répertoire fgdata de la 20.04 tous les sous-répertoires créés par le PPA (en 18.04) et correspondant à ceux contenus dans fgdata (vus dans git), mais cela ne marche pas : d&c dit que le répertoire fgdata n'est pas vide et s'arrête.

1- tu lances ./download_and_compile.sh tes paramètres SIMGEAR FGFS
La compilation de FGFS va créer le répertoire fgdata.
2 - tu copies tous les fichiers de ton ancien DATA dans ce répertoire.
3 - tu lances ./download_and_compile.sh tes paramètres DATA pour mettre à jour les datas
4 - tu relances un ./download_and_compile.sh tes paramètres FGFS pour que les fichiers de langues qui sont dans fgdata soient pris en compte par FGFS.
et ça devrait fonctionner (ça le fait chez moi )

jdt37b · 6/12/2020 11:29:13

Comme indiqué ci-dessus, j'utilise ./download_and_compile.sh -j$(nproc) --lts --non-interactive avec une connexion de de 780 k/s.
Encore 3 essais ce matin et encore 3 arrêts dans les DATA à ~30%. Vu sur les forums, je ne suis pas seul dans ce cas, sans doute une connexion est trop lente. Donc KO au 8 ou 9ème round.
Ensuite, j'ai terminé la compil de FGFS (sans problème) et recopié les répertoires fgdata 3.1 pris dans la version PPA, mais il me propose au lancement de run_fgfs.sh de télécharger https://sourceforge.net/projects/flight … 2/download, les màj ultérieures ne se feront sans doute pas.
Je préfère donc revenir à ma version PPA.

jdt37b · 6/12/2020 11:41:09

3 - tu lances ./download_and_compile.sh tes paramètres DATA pour mettre à jour les datas

Hélas, même arrêt à ~30%

zakharov · 6/12/2020 11:53:49

Salut,

en fait le soucis vient de la taille trop grande du dépôt. Et comme git récupère le dépôt via le protocole HTTP il tombe sur des timeout (dépassement de délai) configuré côté serveur (chez sourceforge).

Ce qu'il faudrait faire ici c'est se documenter sur git. Tu aurais appris que lorsque tu as fait la copie de fgdata depuis ton dépôt PPA, la commande git lancée par d&c.sh ne pouvait pas créer le dépôt parce qu'elle voyait un chemin déjà existant avec du contenu dedans, c'est normal et sain. Si tu veux le transformer en dépôt c'est si pas compliqué, mais pour faire le lien avec le dépôt git de fgdata sur sourceforge c'est un peu plus coton. Et surtout tu aurais pu apprendre comment il est possible de récupérer un dépôt sans prendre tout l'historique (en supposant que l'historique ne t'intéresse pas vraiment, mais même là tu pourrais le récupérer plus tard), ce qui sauve une énorme partie du morceau à télécharger.

Indice: option "--depth 1" de git clone

Tu pourrais donc récupérer avec tes propres moyens (je te le donne : git clone --depth 1 https://git.code.sf.net/p/flightgear/fgdata), et le mettre dans le répertoire attendu par d&c.sh, comme ça d&c.sh ne va se rendre compte de rien et fera juste les mises à jour.

<avis type="personnel">
Le «soucis» avec les d&c.sh et consorts, c'est qu'ils sont utilisés sans chercher à comprendre ce qu'il y a derrière, et donc ça amène à des mauvaises utilisations, des 100aines de copies inutiles de fichiers, une peur irrationnelle de perdre des choses tout ça.
</avis>

@+
bons vols
zakh

zakharov · 6/12/2020 11:55:06

j'ai même envie de dire, au lieu de recommencer à zéro, tu pourrais aussi utiliser git pour reprendre là où il s'est arrêté, mais j'ai pas le temps là, suis déjà très en retard

rominet · 6/12/2020 12:13:08

Bonjour,

Sur le forum FG anglophone officiel, ludomotico a écrit que SourceForge et GitLab ont mis en place des restrictions de téléchargement pour les connexions non authentifiées, et que ces limitations ne sont pas toujours actives (peut-être qu'ils font un total de vos téléchargements sur les n derniers jours et si ça dépasse un certain seuil, paf, restrictions en place pour vous). D'où le fait que pour beaucoup de personnes, ça marche sans problème et de temps en temps, une personne a des problèmes (et en recommençant plusieurs fois de suite le téléchargement, il est possible qu'elle fasse en sorte sans le savoir que les restrictions restent en place pour elle...).

Si ce que dit ludomotico est vrai, le téléchargement de FGData via SSH devrait toujours fonctionner, car c'est une méthode de connexion authentifiée. Cela a toujours bien fonctionné pour moi, mais le téléchargement depuis GitLab en https aussi (et je ne fais pas un clone de FGData toutes les semaines !).

Sinon, zakh n'a pas tort. Il « suffit » de cloner FGData d'une manière ou d'une autre, le mettre au bon endroit attendu par d&c (install/flightgear/fgdata relativement au dossier depuis lequel d&c est lancé) et après, tout baigne. Normalement.

Dernière modification par rominet (6/12/2020 12:17:08)

jdt37b · 6/12/2020 12:48:30

"Peu à l'aise" avec l'Anglais, et pour rester simple, je retenterai de temps en temps le d&c pour les data.
Merci.

f-toro · 6/12/2020 21:34:06

La coupure est fréquente en ce moment, même quand le data existe :

****************************************
**************** DATA ******************
****************************************
DATA: the repository already exists
remote: Enumerating objects: 375, done.
remote: Counting objects: 100% (271/271), done.
remote: Compressing objects: 100% (139/139), done.
error: échec RPC ; curl 56 GnuTLS recv error (-9): Erreur de décodage du paquet TLS reçu.
fatal: L'hôte distant a fermé la connexion de manière inattendue
fatal: fin de fichier prématurée
fatal: échec de index-pack
andre@debian:~/flightgear/dnc-managed$

jano · 7/12/2020 1:42:57

je retenterai de temps en temps le d&c pour les data.

le plus gros morceau du fgdata est le fichier .git, qui fait dans les 3.3G, et qui contient tout l'historique de toutes les branches de fgdata, on a eu de la chance de le télécharger une première fois quand c'était facile, ou avec une bonne connexion et ensuite on fait plus que de l'incrémental de petite taille ce dossier .git permet de recreer n'importe quelle branche officielle de fgdata.

Si tu reste avec le script, tu butteras en permanence sur ce gros morceau, et pas sur que ça marche un jour

la solution de zakh est pas mal, tu ne prend alors que le dernier commit de la branch que tu choisi ( la 2020.3 ? ) avec un truc du genre:

git clone --depth 1 --branch release/2020.3  https://git.code.sf.net/p/flightgear/fgdata

en étant dans le dossier ou tu lance d&c

tu peux aussi omettre le --depth 1 pour avoir l'historique complet de la branche

git clone --branch release/2020.3  --single-branch https://git.code.sf.net/p/flightgear/fgdata

(je sais pas si --sigle-branch est necessaire avec un --deph 1 )

par contre je ne sais pas comment ça marche pour mettre à jour ensuite en utilisant --depth , faut se pencher un peu sur git ou attendre que zakh repasse

Une autre solution est de trouver un .git des datas à portée de clé usb ou sur un dvd , ou de squatter une bonne connexion.

un partage P2P peut marcher aussi si celui qui le met à disposition a une bonne bande passante ou si tu es pas pressé

jano

jdt37b · 7/12/2020 9:42:51

Avec l'une ou l'autre des deux commandes de jano :

Clonage dans 'fgdata'...
... 
error: échec RPC ; curl 56 GnuTLS recv error (-9): Error decoding the received TLS packet.
fatal: L'hôte distant a fermé la connexion de manière inattendue
fatal: fin de fichier prématurée
fatal: échec de index-pack

cela en ayant installé avant gnutls-bin (vu dans une discussion en cas de "échec RPC ...".
Je retenterai plus tard.

ctesc356 · 7/12/2020 10:52:01

Bonjour,

rominet a écrit :

Si ce que dit ludomotico est vrai, le téléchargement de FGData via SSH devrait toujours fonctionner, car c'est une méthode de connexion authentifiée

Même en ssh je me suis fait jeter hier soir, ce matin ça passe.
Un peu compliqué, il faut un compte sf et créer la clé ssh, mais peut-être le plus fiable?

rominet · 7/12/2020 12:44:54

Si on peut se faire bouler même en SSH, c'est pas cool. Créer une clé SSH, l'uploader sur SourceForge et l'utiliser avec ssh-agent ou un programme compatible est pratique mais pas nécessaire : s'il n'y a pas de clé SSH permettant de répondre au challenge lors d'une tentative de connexion SSH vers SourceForge, c'est le mot de passe du compte SourceForge qui est attendu. C'est documenté de cette manière dans le lien wiki que j'ai donné ci-dessus, précisément pour simplifier. Évidemment, sans clé SSH, il faut taper le mot de passe à chaque fois.

Au sujet de gnutls-bin et Cie : au début, on se demandait si ça pouvait aider. Maintenant, je suis quasiment sûr que ça ne sert à rien. Il ne s'agit pas d'erreurs d'implémentation d'un protocole comme le message d'erreur le laisse croire. C'est apparemment le serveur distant qui coupe brutalement la connexion selon son bon vouloir, donc quelle que soit l'implémentation du client, quand ça arrive, c'est cuit. Partager un FGData avec dossier .git via P2P me semble être une bonne idée. Idéalement, il faudrait le mettre à jour régulièrement et garder ses références précises dans un fil épinglé.

rominet · 7/12/2020 13:41:46

Cela dit, à moins de signer les références du Torrent ou équivalent avec GnuPG ou quelque chose du genre, étant donné que le forum est en http tout court (pas https), la sécurité d'une telle approche ne serait pas meilleure qu'avec le protocole 'git://'.

f-toro · 7/12/2020 19:49:04

rominet a écrit :

étant donné que le forum est en http tout court (pas https)

J'ai pas tout suivi, mais pour mon info, de quel forum parles-tu ?

zakharov · 7/12/2020 20:07:38

Salut,

je viens de mettre en partage torrent une archive tar-gzippée de mon fgdata.git. Le fichier torrent se trouve au bout de ce lien.

Bon c'est un essai, je sais pas si ça fonctionne (je passe par le torrent intégré de ma box internet)

La création:

$ tar cz .git > ../fgdata.git
$ cp ../fgdata.git /chemin/vers/box/Téléchargements
$ transmission-create ../fgdata.git -t "udp://tracker.torrent.eu.org:451/announce" -t "https://open.kickasstracker.com:443/announce" -t "udp://tracker.sktorrent.net:6969/announce" -t "udp://tracker.sktorrent.net:6969/announce" -t "http://tracker.kicks-ass.net/announce" -o ../fgdata.git.torrent

Pour décompresser il faudra se mettre dans fgdata et

tar xzf fgdata.git

après on récupère la branche voulue par ctesc356 avec du

$ git checkout version/3.7.0
$ git fetch

Je voulais mettre le répertoire .git directement, mais apparemment le serveur torrent de la box aime pas trop.

Voilà, si y en a qui veulent tester...

Edit: j'oubliais l'archive fait 4,6Go

@+
bons vols
zakh

Dernière modification par zakharov (7/12/2020 20:10:26)

rominet · 7/12/2020 20:08:09

Je parlais de ce forum-ci, mais apparemment, je dois avoir un train de retard. Il semble supporter https maintenant, n'est-ce pas ? Je ne m'en étais pas aperçu car il ne semble pas y avoir de redirection automatique d'http vers https. C'est une bonne nouvelle, en tout cas. Du coup, si quelqu'un veut bien mettre en place la solution du P2P pour dépanner ceux qui ont du mal à télécharger FGData, cela devrait pouvoir se faire dans de bonnes conditons (edit : déjà fait par zakh ).

Edit : je répondais bien sûr à ce message de f-toro

Dernière modification par rominet (7/12/2020 20:12:03)

jano · 8/12/2020 1:13:39

'oubliais l'archive fait 4,6Go

Ça me parait bien lourd , seulement le dossier .git des datas ou le fgdata complet ? ici j'en ai pour 3.3G du .git (avec du, 3.5 dans l'explorateur de fichier)

jano

ctesc356 · 8/12/2020 9:52:11

Bonjour,
Les données brutes de"fgdata" représentent ~2 - 2.2G
Le dossier ".git" avec l'historique complet compte pour ~3.5G
L'utilisation de "depth 1", limitant l'historique au dernier commit ramène ".git" à ~1.5G. Fgdata obtenu par:

$ git clone --branch next --depth 1 https://gitlab.com/flightgear/fgdata.git

La plupart des utilisateurs de d&c ne sont pas développeurs, l'historique complet ne leur est que de peu, si ce n'est d'aucune utilité.
Je verrais bien dans d&c, la possibilité de cloner les datas avec ou sans "depth 1". Plutôt "sans" par défaut. Apparemment ça ne perturbe pas les mise à jour à venir?

Dernière modification par ctesc356 (8/12/2020 10:36:58)

zakharov · 8/12/2020 10:04:02

Hugh,

My bad, effectivement, en vrai j'avais pas vraiment regardé

$ git -C fgdata count-objects -vH
warning: garbage found: .git/objects/pack/tmp_pack_5xGrmy
count: 1196
size: 46.25 MiB
in-pack: 75505
packs: 15
size-pack: 3.22 GiB
prune-packable: 128
garbage: 1
size-garbage: 1023.74 MiB

$ ls -lh fgdata/.git/objects/pack/tmp_pack_5xGrmy 
-r--r--r-- 1 chat chat 1,0G avril  8  2020 fgdata/.git/objects/pack/tmp_pack_5xGrmy

Je vais supprimer ce fichier et reproposer le partage.

[EDIT] je pense que je me traine ce tmp_pack_5xGrmy depuis mes premières tentatives de rapatriement des fgdata quand je me suis remis à FG au début du confinement (quel mot horrible )[/EDIT]

[EDIT2]mauvaise manip technique, le partage par la box n'est pas dispo pour le moment, je donnerai le signal tout bientôt

@+
bons vols
zakh

Dernière modification par zakharov (8/12/2020 10:24:19)

Forum Flightgear France

Annonce

#1 5/12/2020 15:04:01

[Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#2 5/12/2020 17:49:23

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#3 5/12/2020 18:52:34

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#4 5/12/2020 19:12:40

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#5 5/12/2020 20:29:41

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#6 5/12/2020 20:37:01

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#7 6/12/2020 11:21:38

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#8 6/12/2020 11:29:13

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#9 6/12/2020 11:41:09

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#10 6/12/2020 11:53:49

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#11 6/12/2020 11:55:06

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#12 6/12/2020 12:13:08

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#13 6/12/2020 12:48:30

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#14 6/12/2020 21:34:06

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#15 7/12/2020 1:42:57

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#16 7/12/2020 9:42:51

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#17 7/12/2020 10:52:01

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#18 7/12/2020 12:44:54

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#19 7/12/2020 13:41:46

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#20 7/12/2020 19:49:04

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#21 7/12/2020 20:07:38

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#22 7/12/2020 20:08:09

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#23 8/12/2020 1:13:39

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#24 8/12/2020 9:52:11

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

#25 8/12/2020 10:04:02

Re : [Résolu]Compilation de FG 3 (LTS) : l'hôte distant ferme la connexion.

Pied de page des forums