HttpClient 4.0.x Tips

最近用HttpClient做一个工具做代理访问服务器的WebService，由于服务器是采用NTLM验证的，再加上网上的很多资料大多是关于HttpClient 3的，折磨了好久才搞定。这里记录一下，供以后参考使用。

关于文中内容，我不按照手册上的写法，而是整理成小Tips，希望看起来简单轻松一点。

1， HttpClient 4.x 库可以自己处理Cookie

这一点误导了我很久，HttpClient 4.x提供了CookieStore来帮助程序员管理本地Cookie，并且在Http请求的过程中，如果服务器的返回中带有Set-Cookie这样的字段，当前HttpClient的CookieStore中就会增加一条新的Cookie。

（注意：误导来了）很多网上的资料认为即便当前的HttpClient的CookieStore中有服务器返回的Cookie，HttpClient在下次请求的时候也不会主动加上，需要用户自己手动添加，添加的方法有两种，一种是直接SetHeader，一种是设置CookieStore，比如：

if (!httpclient.getCookieStore().getCookies().isEmpty()) {
                Cookie getCookie = httpclient.getCookieStore().getCookies().get(0);
                BasicCookieStore cookieStore = new BasicCookieStore();	
                cookieStore.addCookie(getCookie);
                httpclient.setCookieStore(cookieStore);
}

但事实是：

HttpClient是否在下次请求中携带从服务器端请求来的Cookie，完全是由设置决定的。

httpclient.getParams.setParameter(ClientPNames.COOKIE_POLICY, CookiePolicy.BEST_MATCH)

如果设置为Cookie策略为BEST_MATCH的话，HttpClient会在请求中携带由服务器返回的Cookie。如果按照上面的写法，手动添加了CookieStore，那么就会在下次请求中夹带着两个Cookie，Cookie和Cookie2。

2，NTLM如何使用HttpClient模拟

NTLM分为很多很多版本，HttpClient 3.x是支持NTLMv1，而因为legal的原因，HttpClient 4.0.x不再支持，转而使用jcifs库来支持NTLM，但是估计还是只支持v1，而没有继续扩展支持更高级的验证身份。

如何使用NTLM验证呢？首先NTLM过程至少要3次请求才能完成一个资源的请求，我们不需要手动模拟这三个请求，只需要使用NTLM的功能就可以了。

配置如下：

        httpclient = new DefaultHttpClient();        
        httpclient.getAuthSchemes().register("ntlm", new NTLMSchemeFactory());
        httpclient.getCredentialsProvider().setCredentials(AuthScope.ANY, 
                new NTCredentials(asi.getUser(), asi.getPass(), asi.SERVER_NAME, asi.getDomain()));
        List<String> authpref = new ArrayList<String>();
        authpref.add(AuthPolicy.NTLM);  
        httpclient.getParams().setParameter(AuthPNames.TARGET_AUTH_PREF, authpref);

其中的NTLMSchemeFactory实现如下：

package ntml;
import org.apache.http.auth.AuthScheme;
import org.apache.http.auth.AuthSchemeFactory;
import org.apache.http.impl.auth.NTLMScheme;
import org.apache.http.params.HttpParams;

public class NTLMSchemeFactory implements AuthSchemeFactory {
    public AuthScheme newInstance(final HttpParams params) {
        return new NTLMScheme(new JCIFSEngine());
    }
}

package ntml;
import jcifs.ntlmssp.NtlmFlags;
import jcifs.ntlmssp.Type1Message;	
import jcifs.ntlmssp.Type2Message;
import jcifs.ntlmssp.Type3Message;	
import jcifs.util.Base64;
import org.apache.http.impl.auth.NTLMEngine;	
import org.apache.http.impl.auth.NTLMEngineException;
import java.io.IOException;	
public final class JCIFSEngine implements NTLMEngine {
    private static final int TYPE_1_FLAGS =
            NtlmFlags.NTLMSSP_NEGOTIATE_56 |	
            NtlmFlags.NTLMSSP_NEGOTIATE_128 |	
            NtlmFlags.NTLMSSP_NEGOTIATE_NTLM2 |
            NtlmFlags.NTLMSSP_NEGOTIATE_ALWAYS_SIGN |

            NtlmFlags.NTLMSSP_REQUEST_TARGET;
	
    public String generateType1Msg(final String domain, final String workstation)	
            throws NTLMEngineException {	
        final Type1Message type1Message = new Type1Message(TYPE_1_FLAGS, domain, workstation);
        return Base64.encode(type1Message.toByteArray());
    }	
    public String generateType3Msg(final String username, final String password,	
            final String domain, final String workstation, final String challenge)	
            throws NTLMEngineException {
        Type2Message type2Message;	
        try {	
            type2Message = new Type2Message(Base64.decode(challenge));	
        } catch (final IOException exception) {
            throw new NTLMEngineException("Invalid NTLM type 2 message", exception);
        }
        final int type2Flags = type2Message.getFlags();
        final int type3Flags = type2Flags	
                & (0xffffffff ^ (NtlmFlags.NTLMSSP_TARGET_TYPE_DOMAIN | NtlmFlags.NTLMSSP_TARGET_TYPE_SERVER));
        final Type3Message type3Message = new Type3Message(type2Message, password, domain,
                username, workstation, type3Flags);	
        return Base64.encode(type3Message.toByteArray());	
    }
}

　　

3， NTLM中的Cookie问题

由于NTLM的几个过程中，我们无法插一脚，所以实际的NTLM认证过程中，对于哪些服务器产生产生Cookie，并要求客户端携Cookie请求以让服务器绑定Session的情况，如果不利用tips 1里面的自动携带Cookie，可能就不能做什么了。这也是前一段时间卡住最主要的内容。

4，下一阶段准备尝试使用HttpClient编写一个库来爬Baidu或者douban的音乐...已经有Python的了，哈哈。。。