ruby nokogiri 数据抓取

记录测试代码

require 'open-uri'
require 'nokogiri'
require 'pp'
require 'json'


weburl = {}
weburl['sinawbo'] = 'http://hot.weibo.com/?leftnav=1'  #新浪热门微博
weburl['bk'] = 'http://www.qiushibaike.com/8hr/page/'  #bk
def getInfo(key,url)
    if key == 'sinawbo'
        pp 'SINAWBO~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~'
        doc = Nokogiri::HTML(open(url),nil,'utf-8')                     #获取页面数据对象
        doc.search("//div[@class = 'WB_feed']//div[@class = 'WB_feed_type SW_fun type_intimate feed_list']").each_with_index do |div,index|
            pp index
            webhref = div.css('div')[3]
            puts webhref.css('a').attr('href')                          #获取属性
            webtext = div.css('div')[4]
            pp webtext.text.encode('gbk')        
            link = div.css('div')[5]
            if link.get_attribute('class') == "chePicMin S_bg2 bigcursor"
                pp link.css('img')[0].get_attribute('src')              #获取属性
            end
            
        end
    elsif key == 'bk'
        pp "BK~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"
        for i in 1..10 do
            url1 = url
            url1 = url1 +i.to_s+'/'
            doc = Nokogiri::HTML(open(url1),nil,'utf-8')
            bkcontent = doc.search("//div[@class = 'content-block']//div[@class = 'col1']")
            tag = 1
            bkcontent.css('div').each do |info,key|
                if info.get_attribute('class') == 'content'
                    pp tag
                    tag +=1
                    puts info.text.encode('gbk')
                    end
                
                end
            end       
    end
end
    

def main(arr)
    arr.each do |key,value|
         getInfo(key,value)
     end
end
    
main(weburl)                    #运行函数

输出内容为

"SINAWBO~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"
0
http://weibo.com/2210168325
"【春晚节目单】【权威发布】经过蛇年春晚五次联排后的节目调整与修改，权威敲定版春晚节目单终于新鲜出炉。速速收藏之。三天后咱一起拿着节目单看春晚！最后啰嗦一句，虽是权威敲定版，也请以最终直播为准哈~"
"http://ww1.sinaimg.cn/thumbnail/83bc7e05jw1e1ji3716ybj.jpg"
1
http://weibo.com/nimui
"昨天跟一朋友聊天，他问我：”你希望谈一个长久的吗？“ 我心里万般感触，回想了下自己的恋情，写下了这篇《谈一场不分手的恋爱》送给你们。"
"http://ww1.sinaimg.cn/thumbnail/68f976d7gw1e1iqfkmv6ij.jpg"
2
http://weibo.com/xiaopuwoxiaopu
"“来年就交你啦！去保卫我泱泱中华大地吧！”——【新年好 >//////<，】（说好的年贺来了>v0（自娱自乐请别把图用于奇怪的地方拜托了OJZ||||"
"http://ww4.sinaimg.cn/thumbnail/6af102betw1e1jmnbeuwvj.jpg"
3
http://weibo.com/cqcb
"【歌手朱哲琴珠峰录制MV时遇暴雪，已失踪10小时】5日晚7点50分，朱哲琴经纪人依兰在腾讯微博中发出求救称，西藏西南部迎来大到暴雪，前往珠峰拍摄MV的歌手朱哲琴及随队工作人员全部失踪，截止记者发稿时间，已经将近10个小时完全失去联系，天气恶劣再加物资匮乏，目前情况十分危急。"
"http://ww3.sinaimg.cn/thumbnail/54a5e40djw1e1ivq6xwd4j.jpg"
4
http://weibo.com/npss
"来个微访谈吧，南派治愈问答。"
5
http://weibo.com/chway888
"赖昌星万里迢迢走私汽油，价格低于原来的市场价（不到3元），养肥了那么多位高权重的贪吏，养育了自己家乡所有55岁以上的老人，就这样居然还赚了几百亿。反观现在的两桶油，劣质汽油卖这么贵，居然天天喊亏。星哥，我每次加油时都会怀念你， 怀念你那博大的情怀。盼你早日出来东山再起！尼玛，加油！ "
"http://ww1.sinaimg.cn/thumbnail/72a1dda8jw1e1iv6auf6qj.jpg"
6
http://weibo.com/xinhuashidian
"【孩子，走哪儿我都举着你的照片】春节将近，詹本玉一家举着寻人启示坐在北京地铁上。这位来自四川的母亲说，11岁的大女儿周沁去年7月11日晚11时在北京石榴庄走失后，现在一家人走哪儿都举着寻人启示。孩子，你在哪儿？联系电话：13641120549、13683639846、18201577176。（记者朱立毅）"
"http://ww1.sinaimg.cn/thumbnail/654b47dagw1e1jjqlqen8j.jpg"
7
http://weibo.com/ibukisatsuki
"《八一八我那刚入阵营的小恶人花从一次美丽邂逅到死情缘的全过程》。"
"http://ww3.sinaimg.cn/thumbnail/6aa3df83jw1e1iweehvg3j.jpg"
8
http://weibo.com/lastangel17th
"对着春晚节目单（上半部分）画了点吐槽"
"http://ww4.sinaimg.cn/thumbnail/69917555jw1e1jn49vfbqj.jpg"
9
http://weibo.com/choiseongho
"你们猜这谁？"
"http://ww4.sinaimg.cn/thumbnail/a8ef5277jw1e1jc0ht7d2j.jpg"
"BK~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~"
1


作为一个山寨控，我经常把歌词乱改山寨化，今天洗完澡在房间换衣服。怒目凝视自己老二，突然情不自禁大吼而出…………啊啊啊啊啊啊给我一杯壮阳水，换我一夜不下垂！！！！！客厅坐的我姨妈我妈还有我姐。吼完之后我就我就没出卧室门！！！！！！

2


lz一直坚信自己是一位好妹纸。。每看一条就点一个笑脸。因为快过年了，给个笑脸希望糗友们高兴一点。。妹纸只能帮这么多了。。。

3


刚才开会 对面那位主任从名字上就把我完爆地体无完肤

4


半碗面，两个蛋，若干蛋糕。这么多人一起生日见过吗？没见过给个笑脸吧。

5


最近很火的一句话，靠这个破10了。

6


就在刚才，去文具店买信封，老板笑了笑说这年头买信封没有用来写信的了。懂的点个笑脸吧。

7


朋友开出租车，今天被投诉了，原因是有个人要打车从青岛去天津，说打表，朋友说，你把我打成表我都不去。

 其他：如果遍历一个table tr 里的td时又出现th 可以这样处理

　　tr.children.map do |c|
　　　c.text
　　　puts c
　　end