之前对于redis的使用一直有疑虑:redis既然支持多个db存储,为什么在实际生产中并未使用这个特性呢?

  本人一直从事java研发,java版本的redis客户端通常使用的是jedis。在之前生产开发过程中,redis主要以单机形式或者主备读写分离形式使用,并未涉及到分片等高级功能。最近,由于业务量激增,单机redis的性能出现了瓶颈,主要是redis消耗cpu过高。于是,想采用数据分片的方式,将请求路由到其他redis实例上去,降低单机redis的压力,该方案具体的实现方式是使用客户端的ShardedJedis对象来实现数据分片。

  由于系统之前的缓存设计使用了redis多个db分区存储数据,在使用ShardedJedis分片存取的过程中发现,ShardedJedis不支持动态选择DB,该对象没有select功能。为什么呢?ShardedJedis实际上是一个虚拟连接,一个ShardJedis对应了多个物理连接,通过一致性哈希算法计算key的哈希值,然后获得相应的物理连接,再发送存储命令,实现存储操作。ShardJedis中对应的物理连接必须保持一致,才能保证分片存储数据的一致性,因此,ShardJedis不支持select操作。

  如果一定要实现选择DB,怎么办呢?也不是没有办法的,只要把ShardJedis对应的所有物理连接客户端都设置为同一个db即可,下面是代码示例:

public class RedisShardPoolTest {
    private static ShardedJedisPool shardedJedisPool;
    static {
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        poolConfig.setMaxTotal(100);
        poolConfig.setMaxIdle(50);
        poolConfig.setMinIdle(10);
        poolConfig.setMaxWaitMillis(1000 * 60);
        poolConfig.setTestOnBorrow(true);

        String host = "127.0.0.1";
        int portA = 6379;
        int portB = 6378;

        List<JedisShardInfo> jdsInfoList = new ArrayList<JedisShardInfo>(2);
        JedisShardInfo infoA = new JedisShardInfo(host, portA);
        JedisShardInfo infoB = new JedisShardInfo(host, portB);
        jdsInfoList.add(infoA);
        jdsInfoList.add(infoB);
        shardedJedisPool = new ShardedJedisPool(poolConfig, jdsInfoList);
    }

    public static void main(String[] args) {
        ShardedJedis jds = shardedJedisPool.getResource();
        Collection<Jedis> collection=jds.getAllShards();
        Iterator<Jedis> jedis = collection.iterator();
        while(jedis.hasNext()){
            jedis.next().select(1);
        }

        ShardedJedisPipeline pipeline = jds.pipelined();

        for(int i=0; i<100; i++) {
            String key = generateKey();
            System.out.println(key + ":" + jds.getShard(key).getClient().getPort());
            System.out.println(pipeline.set(key,Math.random() + ""));
        }

        pipeline.sync();
    }

    private static int index = 1;
    public static String generateKey(){
         return String.valueOf(Thread.currentThread().getId())+"_"+(index++);
    }
}
文章作者:xiaohui249
本文链接:https://javatech.wang/index.php/archives/90/
版本所有 ©转载时必须以链接形式注明作者和原始出处