redis简介

    Redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

    Redis 是一个高性能的key-value数据库。 redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。它提供了Java,C/C++,C#,PHP,JavaScript,Perl,Object-C,Python,Ruby,Erlang等客户端,使用很方便。

    Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步,从服务器可以是关联其他从服务器的主服务器。这使得redis可执行单层树复制。存盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制,使得从数据库在任何地方同步树时,可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。

    Redis的官网地址,非常好记,是redis.io。(特意查了一下,域名后缀io属于国家域名,是british Indian Ocean territory,即英属印度洋领地)

    目前,Vmware在资助着redis项目的开发和维护。


redis下载

下载地址为:https://redis.io/download


解压缩

tar xzvf redis-4.0.1.tar.gz


安装tcl

tar xvzf tcl8.6.1-src.tar.gz
cd tcl8.6.1/unix/
./configure
make
make test
make install

或者直接使用命令行安装,更方便:

yum install tcl

安装

cd redis-4.0.1 && make


启动server服务

在redis-4.0.1目录下运行以下命令:

src/redis-server


启动redis客户端

在redis-4.0.1目录下运行以下命令:

src/redis-cli


测试

测试代码如下:

redis> set foo bar
OK
redis> get foo
"bar"


spark中调用

在java中一般使用jedis来调用redis接口,调用代码如下:

import redis.clients.jedis.Jedis

sparkContext
    .textFile("*")
    .mapPartitions {
      item => {
        val jedis = new Jedis("127.0.0.1", 6379)
        item.toArray.foreach {
          it =>
            val splits = it.split("\t")
            val app_id = splits(0)
            val app_category1 = splits(1)
            jedis.set(app_id, app_category1)
        }
        item
      }
    }.saveAsTextFile("*")
}



参考资料:

  1. redis官网

    https://redis.io/

  2. Red Hat系统安装Redis

    http://blog.csdn.net/u014419512/article/details/25693425