ABC News mp3、txt下载工具

Jay@Au

快要登陆了，发现澳音有点不适应，就决定听听ABC News适应适应。 发现里面只能听，不能下，不太方便。 就花了一个多小时搞了个小程序。 共享出来、希望能帮到需要的人。

不过我是用java写的，所以使用的话要保证机器上装了JRE/JDK。

论坛没有附件上传功能，我用网盘共享出来，地址：http://pan.baidu.com/s/1kXXdm

解压后，点击run.bat ，默认下载第二页的列表，因为发现有时第一页MP3放上去了，transcript还没完成。如果要下载其他页， 用文本编辑器打开run.bat改改最后那个数字就可以了，第一页就改成1  

下载完成后，所有文件放在该目录下的temp目录下。

ubuntuhk

有心人，赞一个。

cctt126

谢谢分享！
请问下，默认下载第二页的列表，是什么意思啊？

Jay@Au

http://www.abc.net.au/news/audio/  是所有的audio列表， 按时间排序，新的在最前面第一页。 你看那个页面下面有页码。 第二页就是说下载第二页里面所有mp3和txt。

Jessie_dan

LZ太有心了，刚才用了一下，可以正常下载。赞！！

darrenlee

楼主想法不错,
bat文件?

给linux下的兄弟的下载文本和音频的脚本,正好我也练习练习bash,都快忘光了.....

用法:
下载当天所有音频和文本到当前目录
bash abc.sh
下载指定日期的所有音频和文本到当前目录
bash abc.sh 2013-06-27

abc.sh

1. #!/bin/bash
   
2. 
   
3. ### Author:darrenlee
   
4. ### Date:2013-06-28
   
5. ### Dependency:bash,grep,sed,curl
   
6. 
   
7. function download {
   
8.         local pageurl=$1
   
9.         echo "    Grabbing ==> $pageurl"
   
10.         local mp3url=`curl $pageurl | grep ".mp3" | cut -d "'" -f 4`
    
11.         local txturl=`echo $mp3url | cut -d "/" -f 8 | cut -d "." -f 1`.txt
    
12.         curl $pageurl | sed -n "/<div\ class\=\"media-transcript\">/,/<\/div>/p" | sed 's/<p>//g' | sed "s/<\/p>/\n/g" | sed "s/<div\ class\=\"media-transcript\">//g" | sed 's/<\/div>//g' > ./$txturl
    
13.         curl -O $mp3url
    
14. }
    
15. 
    
16. if [ -z "$1" ]; then
    
17.         newsdate=`date +%Y-%m-%d`
    
18. else
    
19.         newsdate=$1
    
20. fi
    
21. page=1
    
22. has=true
    
23. start=false
    
24. while $has
    
25. do
    
26.         echo "Grabbing ==> http://www.abc.net.au/news/audio/?page=$page"
    
27.         readarray LISTS < <(curl "http://www.abc.net.au/news/audio/?page=$page" | grep "/news/$newsdate")
    
28.         page=$((page+1))
    
29.         for item in "${LISTS[@]}"
    
30.         do
    
31.         download "http://www.abc.net.au"`echo $item | cut -d '"' -f 2`               
    
32.         done
    
33.         if [ ${#LISTS[@]} != 0 ]; then
    
34.                 start=true
    
35.         else
    
36.                 if $start ; then
    
37.                         has=false
    
38.                 fi
    
39.         fi
    
40. done
    

复制代码

Jay@Au

darrenlee 发表于 28-6-2013 20:21

                               
登录/注册后可看大图

楼主想法不错,
bat文件?

写得很简洁，不错

austone

很好用，谢谢楼主

cctt126

好像不能下载mp3了，楼主更新下啊！

izhwei

http://www.abc.net.au/am/archives.html?year=2013   这里可以直接下载啊。  

cctt126

izhwei 发表于 9-12-2013 12:43

                               
登录/注册后可看大图

http://www.abc.net.au/am/archives.html?year=2013   这里可以直接下载啊。

谢谢，我试了下，要一个一个点击保存mp3和文字，有没有更方便的批量下载方法？

Jay@Au

cctt126 发表于 9-12-2013 10:43

                               
登录/注册后可看大图

好像不能下载mp3了，楼主更新下啊！

ABC改版了。 更新了，点击上面链接重新下载。

Lopemann

技术牛人呀

Jay@Au

Lopemann 发表于 10-12-2013 23:51

                               
登录/注册后可看大图

技术牛人呀

其实很简单很简单。 这种枯燥的重复劳动用这种简单的方法也能省点时间和体力了。

iamOk

挺有意思的，这两天在学python, 也写了个完成同样功能的，装了python的可以直接用来，没有装的可以先装一个python.

1. #copyright, IamOk@freeOZ
   
2. from xml.dom import minidom;
   
3. import re;
   
4. import urllib2;
   
5. import os;
   
6. from HTMLParser import HTMLParser
   
7. xmlurl="http://www.abc.net.au/news/feed/54536/rss.xml";
   
8. prefix="download/";
   
9. class MP3Parser(HTMLParser):
   
10.         inscript=0;
    
11.         scriptname=0;
    
12.         def handle_starttag(self, tag, attrs):
    
13.                 if(tag=='script'):
    
14.                         self.inscript=1;
    
15.                 if(        tag=='div'):
    
16.                         for name, value in attrs:
    
17.                                 if name == 'class' and re.search('media-transcript', value):
    
18.                                         self.inscript=3;
    
19.         def handle_endtag(self, tag):
    
20.                 if(tag=='script'  or tag=='div'):
    
21.                         self.inscript=2;
    
22. 
    
23.         def handle_data(self, data):
    
24.                 if(self.inscript==1):
    
25.                         cline=data.split(',');
    
26.                         for csource in cline:
    
27.                                 mp3=re.search('\.mp3', csource);
    
28.                                 if mp3:
    
29.                                         tmps= csource.split()[1][1:][:-1];
    
30.                                         filename=prefix+tmps.split('/')[-1];
    
31.                                         self.scriptname=filename+'.txt';
    
32.                                         if os.path.isfile(filename):
    
33.                                                 self.scriptname=0;
    
34.                                                 break;
    
35.                                         else:
    
36.                                                 print "downloading "+tmps;
    
37.                                                 try:
    
38.                                                         mymp3=urllib2.urlopen(tmps);
    
39.                                                         mp3file = mymp3.read();
    
40.                                                         fo = open(filename, "wb");
    
41.                                                         fo.write(mp3file);
    
42.                                                         fo.close();
    
43.                                                 except ValueError:
    
44.                                                         break;
    
45.                 if(self.inscript==3 and self.scriptname!=0 ):
    
46.                         fs = open(self.scriptname, "a");
    
47.                         fs.write(data);
    
48.                         fs.close();
    
49. 
    
50. 
    
51. 
    
52. # instantiate the parser and fed it some HTML
    
53. parser = MP3Parser()
    
54. myurl=urllib2.urlopen(xmlurl);
    
55. html = myurl.read();
    
56. fo = open("result.xml", "w");
    
57. fo.write(html);
    
58. fo.close();
    
59. xmldoc = minidom.parse('result.xml')
    
60. if not os.path.exists(prefix):
    
61.         os.makedirs(prefix);
    
62. for node in xmldoc.getElementsByTagName('link'):
    
63.         mylink= node.childNodes[0].nodeValue;
    
64.         if(re.findall('[0-9]', mylink)):
    
65.                 print("opening "+ mylink);
    
66.                 myurl=urllib2.urlopen(mylink);
    
67.                 html = myurl.read();
    
68.                 parser.feed(html);
    
69.                 print("processing next link\r\n");
    
70.                

复制代码