zoukankan      html  css  js  c++  java
  • go 爬取页面保存

    package main
    
    import (
    	"bufio"
    	"fmt"
    	"io/ioutil"
    	"net/http"
    	"os"
    )
    func main() {
    
    	client := &http.Client{}
    
    	req,err := http.NewRequest("GET","http://tool.yeves.cn/",nil)
    	if err != nil{
    		fmt.Println(err)
    	}
    
    	req.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.2222")
    
    	resp,err := client.Do(req)
    	defer resp.Body.Close()
    
    	if err != nil{
    		fmt.Println("err")
    	}
    
    	body,err := ioutil.ReadAll(resp.Body)
    	if err != nil{
    		fmt.Println(err)
    	}
    	writeToFile(string(body))
    }
    
    func writeToFile(str string )  {
    	filePath := "./a.html"
    	file, err := os.OpenFile(filePath, os.O_WRONLY | os.O_CREATE, 0666)
    	if err != nil {
    		fmt.Printf("open file err=%v
    ", err)
    		return
    	}
    	//及时关闭file句柄
    	defer file.Close()
    	//写入时,使用带缓存的 *Writer
    	writer := bufio.NewWriter(file)
    	for i := 0; i < 5; i++ {
    		writer.WriteString(str)
    	}
    
    }
    

      

  • 相关阅读:
    程序员外包网站
    网络测试
    数据库系统在线网课
    字体
    正则表达式测试工具
    豆瓣Top250数据可视化
    前端模板
    豆瓣Top250电影爬取
    PyCharm激活码
    爬虫禁止访问解决方法(403)
  • 原文地址:https://www.cnblogs.com/php-linux/p/13093701.html
Copyright © 2011-2022 走看看