Les bots des entreprises d’IA qui parcourent le web en permanence augmentent la fréquentation des sites de manière vertigineuse. Si tout type de sites est touché, les bases de données ouvertes et les revues scientifiques le sont particulièrement. Le blocage de ces bots n’est pas simple, mais CloudFlare a esquissé récemment une solution. Les bots […]
Perso je trouve que le meilleur des deux mondes, c’est arxiv qui l’a trouvé: “on vous a packagé les données publiques dans des beaux fichiers, faciles à lire et à télécharger, ils sont hébergés dans un bucket amazon et téléchargeable juste pour le prix de la bande passante directement dans votre cloud à vous”
Perso je trouve que le meilleur des deux mondes, c’est arxiv qui l’a trouvé: “on vous a packagé les données publiques dans des beaux fichiers, faciles à lire et à télécharger, ils sont hébergés dans un bucket amazon et téléchargeable juste pour le prix de la bande passante directement dans votre cloud à vous”