spark练习---ip匹配以及广播的特性

　　今天，我们还是在介绍spark的小练习，这次的小练习还是基于IP相关的操作，我们可以先看一下今天的需求，我们有两个文件，

　　第一个文件，是IP的字典，也就是我们上一篇介绍过的，就是表明了所有IP字段所属的位置，以及最大值以及最小值(例如)

1.0.1.0|1.0.3.255|16777472|16778239|亚洲|中国|福建|福州||电信|350100|China|CN|119.306239|26.075302
1.0.8.0|1.0.15.255|16779264|16781311|亚洲|中国|广东|广州||电信|440100|China|CN|113.280637|23.125178
1.0.32.0|1.0.63.255|16785408|16793599|亚洲|中国|广东|广州||电信|440100|China|CN|113.280637|23.125178
1.1.0.0|1.1.0.255|16842752|16843007|亚洲|中国|福建|福州||电信|350100|China|CN|119.306239|26.075302

　　例如第一行的数据，
　　1.0.1.0|1.0.3.255|16777472|16778239|亚洲|中国|福建|福州||电信|350100|China|CN|119.306239|26.075302

　　这个里面16777472以及16778239就是当我们把IP转换成Long类型的值之后，如果那个值在这个里面，我们就可以确定这个IP实在中国 的福建

　　第二个文件，是一个日志，这个日志里面的内容大致是这个用户访问的时间，以及IP，以及浏览网址以及浏览器所带的一些信息(例如)

20090121000132095572000|125.213.100.123|show.51.com|/shoplist.php?.....
20090121000132124542000|117.101.215.133|www.jiayuan.com|/19245971|Mozilla/4.0 (compatible; MSIE 6.0;.......
20090121000132406516000|117.101.222.68|gg.xiaonei.com|/view.jsp?p=389|Mozilla/4.0 (compatible; MSIE 7.0; .....
20090121000132581311000|115.120.36.118|tj.tt98.com|/tj.htm|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; TheWorld)|http://www.tt98.com/|

　　则此时我们就可以开始写程序了，

package cn.wj.spark.day04

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by WJ on 2017/1/4.
  */
object IPLocation {

  //将IP转换成为Long类型
  def ip2Long(ip: String): Long = {
    val fragments = ip.split("[.]")
    var ipNum = 0L
    for (i <- 0 until fragments.length){
      ipNum =  fragments(i).toLong | ipNum << 8L
    }
    ipNum
  }

  //使用二分法，对IP进行查找，让ip与start_num以及end_num做对比
  def binarySearch(lines: Array[(String, String, String)], ip: Long) : Int = {
    var low = 0
    var high = lines.length - 1
    while (low <= high) {
      val middle = (low + high) / 2
      if ((ip >= lines(middle)._1.toLong) && (ip <= lines(middle)._2.toLong))
        return middle
      if (ip < lines(middle)._1.toLong)
        high = middle - 1
      else {
        low = middle + 1
      }
    }
    -1
  }

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local[2]").setAppName("IPLocation")
    val sc = new SparkContext(conf)

    val ipRulesRdd = sc.textFile("e://Test/ip.txt").map(lines =>{
      val fields = lines.split("\|")
      val start_num = fields(2)
      val end_num = fields(3)
      val province = fields(6)
      (start_num,end_num,province)
    })
    //全部的IP映射规则
    val ipRulesArrary = ipRulesRdd.collect()

    //广播规则，这个是由Driver向worker中广播规则
    val ipRulesBroadcast = sc.broadcast(ipRulesArrary)

    //加载要处理的数据
    val ipsRDD = sc.textFile("e://Test/access_log").map(line =>{
      val fields = line.split("\|")
      fields(1)
    })

    val result = ipsRDD.map(ip =>{
      val ipNum = ip2Long(ip)
      val index = binarySearch(ipRulesBroadcast.value,ipNum)
      val info = ipRulesBroadcast.value(index)
      info
    })

    println(result.collect().toBuffer)
    sc.stop()
  }
}

则以上的结果会显示为:

　　

　　但是对于大数据来说，我们可能更想知道的是关于IP的一个总的计算，那么这个就会很简单，

　　

val result = ipsRdd.map(ip =>{
      val ipNum = ip2Long(ip)
      val index = binarySearch(ipRulesBroadcast.value,ipNum)
      val info = ipRulesBroadcast.value(index)
      info
    }).map(t => {(t._3,1)}).reduceByKey(_+_)

　　我们只需要在上面的代码中把最后的输出结果在进行一个reduceByKey即可，则效果显示为:

　　

对于这个里面，有一下几点想说

　　1.特殊转义的字符串:xxx.split("\|")

　　2.为什么我们有些时候在写spark的程序的时候，我们要写

　　　　val conf = new sparkConf().setAppName("xxx").setMaster("local[2]")

　　　　val sc = new SparkContext(conf)

　　　这个是由于，我们要在main里面要使用spark的算子进行计算，所以我们需要写，如果不需要使用算子，完全没必要写这个

　　3.一般从RDD中变为Action，我们此时可以println(result.collect().toBuffer)
　　4.如果是要返回一个元祖，我们可以加上一个括号，然后类似于(province,start_num,end_num)

　　5.将IP的值转化为Long类型的数
　　

 //将IP转换成为Long类型
  def ip2Long(ip: String): Long = {
    val fragments = ip.split("[.]")
    var ipNum = 0L
    for (i <- 0 until fragments.length){
      ipNum =  fragments(i).toLong | ipNum << 8L
    }
    ipNum
  }

　　6.上述程序为什么会有广播的概念，因为当我Master接到一个任务的时候，他要把这个任务放到Worker的Excutor中执行，对于匹配的规则，是我们在main中得到，如果要把这个规则让每一个worker都可以得到，所以我们需要 Master把这些信息广播到Worker上