spark常用例子合集

目录

统计时间分布

    val hourDistr = rdd.map { item =>
        val hour = new SimpleDateFormat("HH").format(new DateTime(item.timestamp).toDate)
        (hour, 1)
      }.reduceByKey(_+_, 1).sortBy(_._2, false)

    println(hourDistr.collect().mkString(", "))