Hub documentation

Télémétrie

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Télémétrie

À partir de la version 1.7.0, le paquet Python hf_xet et le crate Rust hf-xet envoient un court rapport au Hub après chaque téléversement et téléchargement. Nous utilisons ces rapports pour mesurer la fréquence des échecs de transfert et leur vitesse selon les versions de hf_xet, les systèmes d’exploitation et les réseaux, afin de détecter et de corriger les problèmes.

Git Xet 0.2.1 et les versions antérieures n’envoient pas de télémétrie.

Ce qui est collecté

Chaque rapport décrit un transfert. Un téléversement de plusieurs fichiers dans un même commit constitue un transfert, de même qu’un téléchargement de plusieurs fichiers en une seule fois.

DonnéesDétails
Type de transfert et résultatTéléchargement ou téléchargement, et s'il a réussi, échoué ou a été annulé. En cas d'échec, une catégorie d'erreur générale telle que network, timeout ou server_error.
ChronométrageDurée de la transferts. Pour les téléversements, inclut également le temps passé à découper et à téléverser les données, ainsi que le temps passé à finaliser l'engagement.
TailleNombre de fichiers, taille totale des fichiers et nombre d'octets envoyés sur le réseau.
DéduplicationPour les téléversements, la quantité de données déjà stockées sur le Hub et ignorées, la quantité de nouvelles données et le taux de compression de ces nouvelles données.
Chemin de téléchargementÀ partir de hf_xet 1.8.0, pour les téléversements, le nombre de blocs envoyés directement vers S3 et le nombre envoyés via le service de stockage Xet, avec leur taille et leur temps de téléversement. Indique également combien de téléversements directs ont basculé vers le service de stockage Xet, et combien de ces basculements étaient dus à l’impossibilité d’atteindre S3.
VitesseDébit moyen et nombre maximal de requêtes parallèles utilisées.
Clientversion de hf_xet, système d’exploitation, architecture CPU, nombre de CPU et chaîne d’agent utilisateur. Il s’agit du même agent utilisateur que huggingface_hub envoie avec chaque requête vers le Hub, incluant le nom et la version de la bibliothèque appelante (comme transformers) ainsi que les versions de huggingface_hub, Python et PyTorch.
IdentifiantsUn identifiant aléatoire pour le transfert, un identifiant aléatoire pour la session hf_xet et le nom d'hôte du serveur de stockage Xet qui a géré le transfert.

Les rapports ne contiennent pas de noms de fichiers, de chemins d’accès, de contenus de fichiers, d’empreintes de fichiers, de noms de dépôts ni de votre nom d’utilisateur.

Les rapports sont envoyés au serveur de stockage Xet avec le même jeton d’accès que le transfert. Lorsque le serveur enregistre un rapport, il y ajoute votre adresse IP, le compte Hub auquel le jeton appartient (ou « anonyme » si vous n’êtes pas connecté), le dépôt pour lequel le jeton a été émis, et si le jeton autorise un accès en lecture ou en écriture.

Lors de l’envoi des rapports

hf_xet envoie un rapport lorsqu’un téléchargement ou un téléversement est terminé, qu’il ait réussi ou non. Un transfert qui dure plus de 5 minutes envoie également un rapport de progression toutes les 5 minutes jusqu’à son achèvement.

Les rapports font environ 1 Ko. Ils sont envoyés en même temps que le transfert et ne le ralentissent pas. Si un rapport ne peut pas être envoyé, il est abandonné et non réessayé. Une fois le transfert terminé, hf_xet attend jusqu’à 2 secondes que le dernier rapport soit expédié, afin qu’il ne soit pas perdu si votre programme se termine immédiatement.

Opter pour l’exclusion

La télémétrie est activée par défaut. Pour la désactiver, définissez HF_HUB_DISABLE_TELEMETRY=1 :

export HF_HUB_DISABLE_TELEMETRY=1

C'est la même variable qui désactive la télémétrie dans huggingface_hub et les autres bibliothèques Python de Hugging Face. Consultez HF_HUB_DISABLE_TELEMETRY dans la documentation de huggingface_hub.

hf_xet désactive également la télémétrie lorsque DO_NOT_TRACK, DISABLE_TELEMETRY, HF_HUB_OFFLINE ou TRANSFORMERS_OFFLINE est défini sur 1, true, yes ou on.

Pour désactiver la télémétrie uniquement pour hf_xet, définissez HF_XET_TELEMETRY_ENABLED=0.

Variable d'environnementPar défautDescription
HF_HUB_DISABLE_TELEMETRYunsetDéfinir sur 1 pour désactiver la télémétrie dans hf_xet et les autres bibliothèques Python de Hugging Face.
HF_XET_TELEMETRY_ENABLEDtrueDéfinir à 0 pour désactiver uniquement la télémétrie hf_xet. La définir à 1 n’annule pas les variables d’opt-out ci-dessus.
HF_XET_TELEMETRY_HEARTBEAT_AFTER300sDurée d'exécution d'un transfert avant qu'il ne commence à envoyer des rapports de progression. 0 désactive les rapports de progression.
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL300sIntervalle entre les rapports d'avancement.
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT2sDurée d’attente de hf_xet pour le dernier rapport après la fin d’un transfert. 0 signifie qu’il n’attend pas.
Update on GitHub