What's new

[Mon journal de bord] data on-chain et off-chain

flo

Administrator
Staff member
Joined
Jan 2, 2023
Messages
12
Hello,

Voici mon journal de bord où je vais y décrire mes avancées dans l'analyse de données on-chain et off-chain, je compte y partager quelques tips, victoires et galères rencontrées.

Je commence avec un petit graphique montrant l'évolution du Market Cap des catégories DePin / Layer 2 / Memes / Play to Earn et RWA en comparaison à l'évolution du MC du Bitcoin.

martketcap-historical-2024-04-10-avenue-du-coin.png


Pour ça j'ai utilisé l'API payante de CoinMarketCap et j'ai été un peu déçu car il y a des anomalies sur les endpoints permettant de récupérer les Market Cap Historiques : un delta entre le site web et l'API, je l'ai signalé et j'espère que ça sera vite corrigé.

Voilà le genre d'erreurs qu'on peut trouver :mad::

kitty-coin-erreur.png

(screenshot de mon application d'analyse privée)

Un très gros pic de plus d'1T de $ pour Kitty Coin Solana, soit presque 7 fois plus élevé que Bitcoin :LOL:

L'endpoint en question est celui-ci : /v3/cryptocurrency/quotes/historical

Le cleaning de données était loin d'être simple à première vue, j'ai pensé à faire quelque chose de compliqué au départ :

Calculer les écart types de toutes les cryptos pour chaque période de 7 jours

[math]\sigma = \sqrt{\frac{1}{n}\displaystyle\sum_{i=1}^{n} (x_{i}-\bar{x})^2}[/math]
Et au final j'ai trouvé plus simple 😁 si l'endpoint historique renvoie des mauvaises data, il y en a un qui renvoit quelque chose de bon :

/v2/cryptocurrency/quotes/latest

Toutes les mauvaises crypto ont la circulating_supply à 0, ce qui n'était pas affiché dans l'endpoint historique, ouf me voilà sauvé !

Je suis passé de + de 9500 cryptos à environ 2600, ca fait un très gros clean !
 
Last edited: