ES多租户方案调研

摘要:
1、 请参阅百度改进的Elasticsearch II。问题描述如上图所示。现有索引的逻辑是:对于每个用户的每种非结构化数据,创建一个对应的索引user1-log-index1。对于每个索引,默认为一个分区。副本数为1。根据现有逻辑,可以计算得出:单个集群中的索引数=++…˂=用户数*数据类型数单个集群中分区数=索引数*2也就是说,假设总共有100个用户,每个用户使用四种数据类型,则集群中分区的数量为800。百度的多租户管理项目设计理念

ES多租户方案调研第1张

一、参考

百度改进的Elasticsearch

二、问题描述

ES多租户方案调研第2张

如上图所示,现有索引的逻辑为:

(1)对于每一个用户的每一种非结构化数据,都创建一个对应的索引user1-log-index1

(2)对于每一个索引, 默认为一个分片,副本数量为1

根据现有的逻辑,可以计算得到:


单个集群中的索引数量 = (用户1 * 用户1使用的数据类型数量) + (用户2 * 用户2使用的数据类型数量)+ ... <= 用户量  * 数据类型数量

单个集群中的分片数量 = 索引数量 * 2

即,假设总共有100个用户,每个用户使用4种数据类型,则集群中分片数量为 800( 100 * 4 * 2 )

三、百度多租户管理

项目设计思路

免责声明:文章转载自《ES多租户方案调研》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇2019 迅雷java面试笔试题 (含面试题解析)Web前端测试要点下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

sphinx使用小记之使用小结

sphinx使用小记之使用小结 摘自:http://www.68idc.cn/help/jiabenmake/qita/20150124187789.html 在使用sphinx的过程中有出现一些问题,也有注意事项,做一个备忘。一.问题及解决方案Q1:采用setFilter过滤的时候出现queryisnon-computable(sing&....

ELK批量删除索引

一、存在问题 用了一段时间elk发现如果索引长时间不删除,elk会越来越慢,重启elasticsearch服务器节点之前同步时间也会很长 二、解决方法(定期删除索引) 1.在elasticsearch节点上使用curl -XGET 'http://192.168.X.XX:9200/_cat/shards'查看索引 [root@192-168-x-x sc...

P2P系统,一致性哈希和DHT

数据网格产品经常会使用P2P进行通信,借此机会系统地学习一下P2P网络和其资源搜索策略。 1 P2P网络架构 谈到P2P就涉及到一个概念:Overlay Network(覆盖网络)。所谓覆盖网络是应用层网络,几乎不考虑网络层和物理层,它具体指的就是建立在另一个网络上的网络。例如P2P网络就是覆盖网络,因为它运行在互联网之前,但允许对未知IP主机的访问。...

MySQL/MariaDB数据库的索引工作原理和优化

MySQL/MariaDB数据库的索引工作原理和优化 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。 实际工作中索引这个技术是影响服务器性能一个非常重要的指标,因此我们得花时间去了解一下索引的相关特性。索引是一把双刃剑用得好可以快速查询数据,用得不好数据库查询速度不仅慢还降低服务器性能,浪费磁盘空间。 一.索引概述 1>.什么是索引...

Faiss流程与原理分析

 1、Faiss简介   Faiss是Facebook AI团队开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集(备注:向量集大小由RAM内存决定)的算法,以及用于算法评估和参数调整的支持代码。Faiss用C++编写,并提供与Numpy完美衔接的Pytho...

python数据处理的常用操作

python数据处理 1.生成数据2.数据表检查3.数据表清洗4.数据预处理5.数据提取6.数据筛选7.数据汇总8.数据统计9.数据输出 1.生成数据 1.导入数据表 df=pd.read_excel('C:/Users/Admin/Desktop/types/output.xlsx')df1=pd.read_csv('C:/Users/Admin/...