Parser Youtube v5
J'avais programmé un parser de liens vidéos issus de Youtube, il y a quelques semaines de ça. J'ai même posté un article dans lequel je disais qu'il était mieux d'utiliser une librairie style HTMLParser pour pouvoir extraire facilement les données du code source.
Je l'ai fait, malheureusement, cela m'a apporté quelques soucis. Comme l'impossibilité d’exécuter correctement le script sur mon hébergeur (OVH). La librairie est pourtant bien disponible, mais ça doit foirer quelque part. J'ai cherché assez longtemps, sans pouvoir trouver la couille... impossible d'obtenir les erreurs issues du script, j'ai à la place une simple page blanche et dans les pires des cas une erreur 503.
Je me suis rabattu finalement sur la solution 'homemade'. Aucune librairie hormis urllib2, voici le script, le nombre de lignes a été réduit de plus de la moitié. Le code est bien plus propre quoiqu'on perd un peu en lisibilité à cause de l'usage de quelques one liners.
J'utilise un autre script, pour générer automatiquement une page html avec les 15 premières vidéos de chaque chaîne. La page est mise à jour quotidiennement grâce à l'usage de CRON.
Ce que l'ensemble de mes scripts peut faire :
- Récupérer les 30 dernières vidéos d'une chaîne
- Détection de doublon
- Mise à jour des vidéos de façon autonome
- Mise à jour de la page HTML
Ce qu'il ne peut pas faire :
- Ajout auto de nouvelle chaîne (automatisé qu'à moitié actuellement)
- Récupérer l'intégralité des vidéos d'une chaîne
- Ajouter des vidéos uniques (sans parser toutes les vidéos d'une chaîne)
- Pas encore disponible sous forme d'une vraie bdd (un simple fichier texte pour l'instant
- Ne gère pas encore les playlists
- Crawler de nouvelles chaînes à partir d'une chaîne existante
La prochaine étape, sera de pouvoir exploiter l'intégralité des données que j'ai pu récupérer (soit près de 9000 vidéos à l'heure où je vous écris). En associant JavaScript avec du localstorage, on peut certainement faire quelque chose d'intéressant.