zoukankan      html  css  js  c++  java
  • 用C#写ASP.NET搜索蜘蛛代码程序

    protected bool robot()  
        {  
            bool brtn = false;   
            string king_robots = "Baiduspider+@Baidu|Googlebot@Google|ia_archiver@Alexa|IAArchiver@Alexa|ASPSeek@ASPSeek|YahooSeeker@Yahoo|sohu-search@Sohu|help.yahoo.com/help/us/ysearch/slurp@Yahoo|sohu-search@SOHU|MSNBOT@MSN";  
            string ls_spr;  
            ls_spr=Request.ServerVariables["http_user_agent"].ToString();  
            char[] delimiterChars = { "|" };  
            char[] x = { "@" };  
            string[] I1 = king_robots.Split(delimiterChars);  
            for (int i = 0; i < I1.Length; i++)  
            {  
                string[] spider = I1[i].Split(x);  
                if (ls_spr.IndexOf(spider[0].ToString()) > -1)  
                {  
                    brtn = true;  
                    logrobots(spider[1].ToString());  
                    break;  
                }  
            }  
            return brtn;  
        }  
        protected void logrobots(string spr)  
        {  
            spr = DateTime.Now.ToString() + "|" + spr;  
            StreamWriter sw;  
            try  
            {  
               sw = new StreamWriter(Server.MapPath("log.txt"), true, System.Text.Encoding.GetEncoding("gb2312")); //参数为false重写,为true在后面加入               sw.WriteLine(spr);  
                sw.Close();  
            }  
            finally  
            {  
            }  
        }  
    完成。 
    下面的为在别的网站上加链接。只有蜘蛛看到。 
    protected void addcontent()  
        {  
            StreamReader sr ;  
            try  
            {  
                sr = new StreamReader(Server.MapPath("logurl.txt"), System.Text.Encoding.GetEncoding("gb2312"));  
                String input;  
                char[] UPer = { "|" };  
                char[] xx = { "@" };  
                while ((input = sr.ReadLine()) != null)  
                {  
                    sb = sb + "<p>";  
                    string[] url = input.Split(UPer);  
                    for (int i = 0; i < url.Length; i++)  
                    {  
                        string[] tt = url[i].Split(xx);  
                        if (tt[0].Length > 0)  
                        {  
                            sb = sb + "<a href=" + tt[0].ToString() + " target=_blank>" + tt[1].ToString() + "</a>|";  
                        }  
                    }  
                    sb = sb + "</p>";  
                }  
                sr.Close();  
            }  
            finally  
            {  
            }  
        }
  • 相关阅读:
    9.1 正则介绍_grep上 9.2 grep中 9.3 grep下
    汉诺塔递归问题
    8.10 shell特殊符号cut命令 8.11 sort_wc_uniq命令 8.12 tee_tr_split命令 8.13 shell特殊符号下
    8.6 管道符和作业控制 8.7/8.8 shell变量 8.9 环境变量配置文件
    8.1 shell介绍 8.2 命令历史 8.3 命令补全和别名 8.4 通配符 8.5 输入输出重定向
    socket中使用序列化传结构体
    C# get,set属性用法
    Log4Net如何将日志按不同类型写入多个文件中
    app.config文件的configation标签中加代码引起”配置系统未能初始化“
    WinForm下使用 log4net
  • 原文地址:https://www.cnblogs.com/top5/p/1976911.html
Copyright © 2011-2022 走看看