91家纺

"""

抓取

解析

存储

"""

import re

import ast

from urllib import parse

from datetime import datetime

import requests

from scrapy import Selector

domain = "http://www.91jf.com/"

def write_txt():

    f = open("a.txt", 'w')

    f.write("hello world")

    f.close()

def get_nodes_json():

    left_menu_text = requests.get("http://www.91jf.com/").text

    sel = Selector(text=left_menu_text)

    all_divs = sel.xpath("//div[@class='class_child_li']//a/@herf")

    #nodes_str_match = re.search(r"(<li><a href=".*>)", left_menu_text)

    print(all_divs)

    #print(nodes_str_match.groups())

    '''

    if nodes_str_match:

        nodes_str = nodes_str_match.group(1).replace("null", "None")

        nodes_list = ast.literal_eval(nodes_str)

        return nodes_list

    return []

    '''

if __name__ == "__main__":

    get_nodes_json()