zoukankan      html  css  js  c++  java
  • HttpWebRequest请求http1.1的chunked的解析问题记录

    问题:我的请求获取不到URL对应的内容(换个浏览器可以)。

    第一步对比wirshark截包看HTTP请求头,发现我这缺失一部分请求头。

    对着官方文档添加即可。https://msdn.microsoft.com/zh-cn/library/system.net.httpwebrequest(v=vs.110).aspx

    第二步,校正请求头后请求后,发现wireshark有返回,但是无法获取。debug发现无法解析内容。

    这个地方可能会耗费一点时间和经验才能知道。

    经过目测,发现这个网站是HTTP1.1 ,还有一个参数chunked。简单说就是返回内容的时候,分段返回的。不设置长度。

    老版本的读取方法的话,对于这种是没法读取的。参考另一个网友的办法就解决了。

    供大家参考吧。自己项目代码就不贴了,避嫌。

    static void Main(string[] args)
            {
                HttpWebResponse web = MySpider.GetResponse("http://localhost:1853/WebForm1.aspx");
                DecompressGZip(web );
                Console.ReadLine();
            }
     
    public static MemoryStream DecompressGZip(HttpWebResponse res)
        {
    
      
    
     //如果服务器使用了Transfer-Encoding:chunked缓冲输出,则只要服务器端Flush了,就会触发此方法,而不是等到服务器发送过来的内容全部发送完才触发,
    //而且与是不是异步HttpWebRequest请求也没有关系。相反,如果服务器没有使用Transfer-Encoding:chunked缓冲输出,
    //则不管是异步HttpWebRequest请求还是同步HttpWebRequest请求,都得等到服务器发送过来的内容全部发送完才触发此方法。
    Stream stream = res.GetResponseStream(); int length = 0; if (res.ContentLength > 0) { length = (int)res.ContentLength; } else { length = 3000; } MemoryStream memory = new MemoryStream(length); int count = 0; //每次从服务器返回流中读取5000个字节 byte[] buffer = new byte[5000]; while (true) {        //如果服务器使用了Transfer-Encoding:chunked缓冲输出,则如果已经读取了服务器第一次Flush的内容后服务器第二次Flush的内容还没有接收到,则会阻塞当前线程,
    //直到接收到服务器第二次Flush的内容(第三,四。。。次Flush也是一样),所以很可能会造成读取一次返回的count不满5000,但下一次继续读取返回的count却不是0的情况
    count = stream.Read(buffer, 0, buffer.Length); if (count == 0) { break; } memory.Write(buffer, 0, count); } stream.Close(); //将流的可读位置设置到起始值 memory.Seek(0, SeekOrigin.Begin); return memory; }

    附录

  • 相关阅读:
    excel的部分使用方法
    liist不同遍历优缺点
    oracle中rownum和rowid的区别
    Oracle中插入100万条数据
    Java中手动提交事务
    oracle 查看表是否存在、包含某字段的表、表是否包含字段
    form的一个特性
    使用oracle的保留字作为字段名称并进行操作的方法
    thinkphp不能够将ueditor中的html文本显示
    java7,java8 中HashMap和ConcurrentHashMap简介
  • 原文地址:https://www.cnblogs.com/facingwaller/p/6572543.html
Copyright © 2011-2022 走看看