zoukankan      html  css  js  c++  java
  • 使用WebClient制作一下简单的采集器

    输入url把网页内容抓下来,然后再加工处理,保存到数据库中,这应该是采集器的原理。
    如果要使用C#做的话,就要用WebClient类了。

    大气象
    using System;
    using System.Collections.Generic;
    using System.ComponentModel;
    using System.Data;
    using System.Drawing;
    using System.Text;
    using System.Windows.Forms;

    using System.Net;

    namespace FirstWebClient
    {
        
    public partial class Form1 : Form
        {
            
    public Form1()
            {
                InitializeComponent();
            }

            
    private void button1_Click(object sender, EventArgs e)
            {
                WebClient _client 
    = new WebClient();
                _client.BaseAddress 
    = "http://www.cnblogs.com";
                _client.Headers.Add(
    "Accept""image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*");
                _client.Headers.Add(
    "Accept-Language""zh-cn");
                _client.Headers.Add(
    "UA-CPU""x86");
                
    //_client.Headers.Add("Accept-Encoding","gzip, deflate");
                _client.Headers.Add("User-Agent""Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)");
                System.IO.Stream objStream 
    = _client.OpenRead("/");
                System.IO.StreamReader _read 
    = new System.IO.StreamReader(objStream, System.Text.Encoding.UTF8);
                textBox1.Text 
    = _read.ReadToEnd();
            }
        }
    }
    参考:http://www.cnblogs.com/titi/archive/2005/11/20/280914.html
  • 相关阅读:
    如何用meavn构建mahout项目
    项目分析:对于7种图书推荐算法的组合评测
    项目实战:Mahout构建图书推荐系统
    Mahout推荐算法API详解
    9. Palindrome Number
    26. Remove Duplicates from Sorted Array
    575. Distribute Candies
    单链表的逆置
    回文串的判断
    回文判断(一个栈是不是回文)
  • 原文地址:https://www.cnblogs.com/greatverve/p/webclient.html
Copyright © 2011-2022 走看看