Vinz' Rexx Scripts : HTML To URL List

Hop...
une petite preview beta d'un script dont l'idée me traine un peu dans le casque depuis un moment..
Pour downloader toutes les urls d'une page si y en 20000 c'est lourd de cliquer à chaque fois dans ibrowse blablabla ou de les balancer dans wallget...
Alors autant essayer Wallget et son option de liste.. seulement wallget ne prend que du texte pur, pas une page html en entrée... moche

Alors voilà un chtit script sympa 'sa maman' qui prend une page html et en extrait tout les liens (vers des fichiers pour l'instant) pour en faire une liste incorporable dans wallget.. c'est une petite beta il manque encore pas mal de chose (je pense y mettre des patterns pour éviter de récupérer des .(html|php|..) etc)

Malheureusement, le port rexx d'ibrowse étant limité on peut pas mettre un FAMenu avec ce petit script.. il faut donc sauver la page web qq part et lancer le parseur à la main...de toute façon le port rexx de wallget n'a pas non plus de fonction pour insérer une liste...

Alors utilisation :
bin dans un shell :

Code:

rx HTML2URL FILE page.html URLBASE http://le.site.com/le/chemin/

où la page était : http://le.site.com/le/chemin/page.html

attention les mot clés FILE et URLBASE sont obligatoire et obligatoirement dans ce sens là...

Et hop apparaisse dans le shell les liens..il suffit de rediriger après dans un fichier ainsi:

Code:

rx HTML2URL FILE page.html URLBASE http://le.site.com/le/chemin/ >T:listurl

pour obtenir le fichier t:listurl contenant les urls... et zyv! dans wallget

Features planned:
- pattern pour les dls
- sortie dans un fichier (?)
- Website mirroring (mmmh a voir)

Télécharger : http://lightourfire.free.fr/pub/HTML2URL [pas de readme pour l'instant, pas d'archive non plus]