这里有一条解决在SharePoint 2010搜索爬网时遇到的“拒绝访问错误”的小技巧。
首先要检查默认内容访问帐户是否具有相应的访问权限，或者添加一条相应的爬网规则。如果目标资源库是一个SharePoint库，验证一下该帐号是否具有对该SharePoint web应用程序具有至少“完全读取”的权限。
当我在升级上来的SharePoint环境中对我新建的博客URL进行爬网时遇到了这个错误。
这个错误发生在当你运行Windows 2008 R2和SharePoint 2010并且爬网进程试图访问一个本地的sharepoint站点时，会因为“环回请求（LoopbackRequest）”的原因被拒绝。这是在IIS 7和7.5中的一项安全设置。
解决办法是运行“regedit”，在注册表中“HKEY_LOCAL_MACHINESYSTEMCurrentControlSetControlLsa” 下添加一个DWORD值 “DisableLoopBackCheck”=1。
参考资料
Access Denied Crawling content source in SharePoint 2010
禁用环回请求的两种方式
第一种：新建IIS_DisableLoopbackCheck.reg注册表文件，内容如下：
Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINESYSTEMCurrentControlSetControlLsa]
"DisableLoopbackCheck"=dword:00000001
第二种：使用Powershell来注册：
New-ItemProperty HKLM:SystemCurrentControlSetControlLsa -Name "DisableLoopbackCheck" -value "1" -PropertyType dword