对于想了解elasticsearch-按百分比筛选的读者,本文将是一篇不可错过的文章,我们将详细介绍elasticsearchcount,并且为您提供关于docker部署elasticsearch+e
对于想了解elasticsearch-按百分比筛选的读者,本文将是一篇不可错过的文章,我们将详细介绍elasticsearch count,并且为您提供关于docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器、Docker部署ElasticSearch和ElasticSearch-Head、Docker部署ElasticSearch和ElasticSearch-Head的实现、elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题的有价值信息。
本文目录一览:- elasticsearch-按百分比筛选(elasticsearch count)
- docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器
- Docker部署ElasticSearch和ElasticSearch-Head
- Docker部署ElasticSearch和ElasticSearch-Head的实现
- elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题
elasticsearch-按百分比筛选(elasticsearch count)
假设我要按第10到20个百分点内的某个字段过滤文档。我想知道是否可以通过一些简单的查询(例如)进行查询{"fieldName":{"percentile":[0.1, 0.2]}}
。
说我有这些文件:
[{"a":1,"b":101},{"a":2,"b":102},{"a":3,"b":103}, ..., {"a":100,"b":200}]
我需要按a
(升序)a
从前10位到第10位进行过滤b
,然后按降序对结果进行排序,然后进行分页(如第2页,第10页)每页的项目)。
想到的一种解决方案是:
获取文件总数。
将文档按排序
a
,取对应_id
的限制0.1 * total_count
写最终查询,像
id in (...) order by b
但是缺点也很明显:
如果我们谈论的是亚秒级延迟,则似乎效率不高
如果我们
_id
在第一个查询中返回的次数太多(第二个查询默认情况下,ES仅允许1000个,则第二个查询可能不起作用。我当然可以更改配置,但总会有一个限制)。
答案1
小编典典我怀疑如果a
事先不知道的确切值,是否可以在一个查询中执行此操作,尽管我认为一种非常有效的方法是可行的。
我建议做一个percentiles
聚合作为第一查询和第二range
查询。
在我的样本索引中,我只有14个文档,因此出于说明性原因,我将尝试查找那些占字段30%到60%的文档,a
并按b
相反的顺序对它们进行排序(以确保排序有效)。
这是我插入的文档:
{"a":1,"b":101}{"a":5,"b":105}{"a":10,"b":110}{"a":2,"b":102}{"a":6,"b":106}{"a":7,"b":107}{"a":9,"b":109}{"a":4,"b":104}{"a":8,"b":108}{"a":12,"b":256}{"a":13,"b":230}{"a":14,"b":215}{"a":3,"b":103}{"a":11,"b":205}
让我们找出a
介于30%和60%百分位数之间的字段边界:
POST my_percent/doc/_search{ "size": 0, "aggs" : { "percentiles" : { "percentiles" : { "field" : "a", "percents": [ 30, 60, 90 ] } } }}
用我的样本索引看起来像这样:
{... "hits": { "total": 14, "max_score": 0, "hits": [] }, "aggregations": { "percentiles": { "values": { "30.0": 4.9, "60.0": 8.8, "90.0": 12.700000000000001 } } }}
现在我们可以使用边界进行range
查询:
POST my_percent/doc/_search{ "query": { "range": { "a" : { "gte" : 4.9, "lte" : 8.8 } } }, "sort": { "b": "desc" }}
结果是:
{ "took": 5, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": 4, "max_score": null, "hits": [ { "_index": "my_percent", "_type": "doc", "_id": "vkFvYGMB_zM1P5OLcYkS", "_score": null, "_source": { "a": 8, "b": 108 }, "sort": [ 108 ] }, { "_index": "my_percent", "_type": "doc", "_id": "vUFvYGMB_zM1P5OLWYkM", "_score": null, "_source": { "a": 7, "b": 107 }, "sort": [ 107 ] }, { "_index": "my_percent", "_type": "doc", "_id": "vEFvYGMB_zM1P5OLRok1", "_score": null, "_source": { "a": 6, "b": 106 }, "sort": [ 106 ] }, { "_index": "my_percent", "_type": "doc", "_id": "u0FvYGMB_zM1P5OLJImy", "_score": null, "_source": { "a": 5, "b": 105 }, "sort": [ 105 ] } ] }}
注意percentiles
聚合的结果是近似的。
通常,这看起来像是通过熊猫或Spark作业可以更好地解决的任务。
希望有帮助!
docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器
0. docker pull 拉取 elasticsearch + elasticsearch-head 镜像
1. 启动 elasticsearch Docker 镜像
docker run -di --name tensquare_elasticsearch -p 9200:9200 -p 9300:9300 elasticsearch
对应 IP:9200 ---- 反馈下边 json 数据,表示启动成功
2. 启动 elasticsearch-head 镜像
docker run -d -p 9100:9100 elasticsearch-head
对应 IP:9100 ---- 得到下边页面,即启动成功
3. 解决跨域问题
进入 elasticsearch-head 页面,出现灰色未连接状态 , 即出现跨域问题
1. 根据 docker ps 得到 elasticsearch 的 CONTAINER ID
2. docker exec -it elasticsearch 的 CONTAINER ID /bin/bash 进入容器内
3. cd ./config
4. 修改 elasticsearch.yml 文件
echo "
http.cors.enabled: true
http.cors.allow-origin: ''*''" >> elasticsearch.yml
4. 重启 elasticsearch
docker restart elasticsearch的CONTAINER ID
重新进入 IP:9100 进入 elasticsearch-head, 出现绿色标注,配置成功 !
5. ik 分词器的安装
将在 ik 所在的文件夹下,拷贝到 /usr/share/elasticsearch/plugins --- 注意: elasticsearch 的版本号必须与 ik 分词器的版本号一致
docker cp ik elasticsearch的CONTAINER ID:/usr/share/elasticsearch/plugins
重启elasticsearch
docker restart elasticsearch
未添加ik分词器:http://IP:9200/_analyze?analyzer=chinese&pretty=true&text=我爱中国
添加ik分词器后:http://IP:9200/_analyze?analyzer=ik_smart&pretty=true&text=我爱中国
Docker部署ElasticSearch和ElasticSearch-Head
Docker部署ElasticSearch和ElasticSearch-Head
本篇主要讲解使用Docker如何部署ElasticSearch:6.8.4 版本,讲解了从Docker拉取到最终运行ElasticSearch 以及 安装 ElasticSearch-Head 用来管理ElasticSearch相关信息的一个小工具,本博客系统首页的搜索正是使用了ElasticSearch来实现的,由于ElasticSearch 更新太快 以至于SpringData-ElasticSearch都跟不上 Es的更新 我也是一开始下载8.x的版本 导致SpringData-ElasticSearch 报错 最终我选择了6.8.4 在此记录一下
1.Docker部署ElasticSearch:6.8.4版本
1.1 拉取镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:6.8.4
1.2 运行容器
ElasticSearch的默认端口是9200,我们把宿主环境9200端口映射到Docker容器中的9200端口,就可以访问到Docker容器中的ElasticSearch服务了,同时我们把这个容器命名为es。
docker run -d --name es -p 9200:9200 -p 9300:9300
-e "discovery.type=single-node"
-e ES_JAVA_OPTS="-Xms=256m -Xms=256m"
docker.elastic.co/elasticsearch/elasticsearch:6.8.4
说明:
-e discovery.type=single-node :表示单节点启动
-e ES_JAVA_OPTS="-Xms=256m -Xms=256m" :表示设置es启动的内存大小,这个真的要设置,不然后时候会内存不够,比如我自己的辣鸡服务器!
1.3 内存不足问题
centos下载完elasticsearch并修改完配置后运行docker命令:
发现没有启动成功,去除命令的-d后打印错误如下
Java HotSpot(TM) 64-Bit Server VM warning: INFO:
os::commit_memory(0x0000000085330000, 2060255232, 0) failed;
error=’Cannot allocate memory’ (errno=12)
经过一番查找发现这是由于elasticsearch6.0默认分配jvm空间大小为2g,内存不足以分配导致。
解决方法就是修改jvm空间分配
运行命令:
find /var/lib/docker/overlay/ -name jvm.options
查找jvm.options文件,找到后进入使用vi命令打开jvm.options如下:
将
-Xms2g
-Xmx2g
修改为
-Xms512m
-Xmx512m
保存退出即可。再次运行创建运行elasticsearch命令,成功启动。
2.Docker部署ElasticSearch-Heard
2.1 拉取镜像
docker pull mobz/elasticsearch-head:5
2.2 运行容器
docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5
2.3 启动容器
docker start elasticsearch-head
2.4 打开浏览器: http://IP:9100
发现连接不上,是因为有跨域问题,因为前后端分离开发的所以需要设置一下es
2.5 进入刚刚启动的 es 容器,容器name = es
docker exec -it es /bin/bash
2.6 修改elasticsearch.yml文件
vi config/elasticsearch.yml
添加
http.cors.enabled: true
http.cors.allow-origin: "*"
其实就是SpringBoot的yml文件 添加跨域支持
2.7 退出容器 并重启
exit
docker restart es
2.8 访问http://localhost:9100
总结:
本篇只是简单的讲解了如何用Docker安装ElasticSearch 并且会遇到的坑,包括内存不足,或者版本太高等问题,以及ElasticSearch-Heard的安装和跨域的配置 ,下一篇将讲解ElasticSearch如何安装中文分词器
个人博客网站 https://www.askajohnny.com 欢迎来访问!
本文由博客一文多发平台 OpenWrite 发布!
Docker部署ElasticSearch和ElasticSearch-Head的实现
本篇主要讲解使用Docker如何部署ElasticSearch:6.8.4 版本,讲解了从Docker拉取到最终运行ElasticSearch 以及 安装 ElasticSearch-Head 用来管理ElasticSearch相关信息的一个小工具,本博客系统首页的搜索正是使用了ElasticSearch来实现的,由于ElasticSearch 更新太快 以至于SpringData-ElasticSearch都跟不上 Es的更新 我也是一开始下载8.x的版本 导致SpringData-ElasticSearch 报错 最终我选择了6.8.4 在此记录一下
1.Docker部署ElasticSearch:6.8.4版本
1.1 拉取镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:6.8.4
1.2 运行容器
ElasticSearch的默认端口是9200,我们把宿主环境9200端口映射到Docker容器中的9200端口,就可以访问到Docker容器中的ElasticSearch服务了,同时我们把这个容器命名为es。
docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -e ES_JAVA_OPTS="-Xms=256m -Xms=256m" docker.elastic.co/elasticsearch/elasticsearch:6.8.4
说明:
-e discovery.type=single-node :表示单节点启动
-e ES_JAVA_OPTS="-Xms=256m -Xms=256m" :表示设置es启动的内存大小,这个真的要设置,不然后时候会内存不够,比如我自己的辣鸡服务器!
1.3 内存不足问题
centos下载完elasticsearch并修改完配置后运行docker命令:
发现没有启动成功,去除命令的-d后打印错误如下
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error=''Cannot allocate memory'' (errno=12)
经过一番查找发现这是由于elasticsearch6.0默认分配jvm空间大小为2g,内存不足以分配导致。
解决方法就是修改jvm空间分配
运行命令:
find /var/lib/docker/overlay/ -name jvm.options 查找jvm.options文件,找到后进入使用vi命令打开jvm.options如下: 将 -Xms2g -Xmx2g 修改为 -Xms512m -Xmx512m
保存退出即可。再次运行创建运行elasticsearch命令,成功启动。
2.Docker部署ElasticSearch-Heard
2.1 拉取镜像
docker pull mobz/elasticsearch-head:5
2.2 运行容器
docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5
2.3 启动容器
docker start elasticsearch-head
2.4 打开浏览器: http://IP:9100
发现连接不上,是因为有跨域问题,因为前后端分离开发的所以需要设置一下es
2.5 进入刚刚启动的 es 容器,容器name = es
docker exec -it es /bin/bash
2.6 修改elasticsearch.yml文件
vi config/elasticsearch.yml
添加
http.cors.enabled: true http.cors.allow-origin: "*"
其实就是SpringBoot的yml文件 添加跨域支持
2.7 退出容器 并重启
exit docker restart es
2.8 访问http://localhost:9100
总结:
本篇只是简单的讲解了如何用Docker安装ElasticSearch 并且会遇到的坑,包括内存不足,或者版本太高等问题,以及ElasticSearch-Heard的安装和跨域的配置 ,下一篇将讲解ElasticSearch如何安装中文分词器
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
- Docker安装ElasticSearch和Kibana的问题及处理方法
- docker安装Elasticsearch7.6集群并设置密码的方法步骤
- 一文搞定Docker安装ElasticSearch的过程
- 在Docker中安装Elasticsearch7.6.2的教程
- 教你使用docker安装elasticsearch和head插件的方法
elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题
1、安装 searchguard6.5.4 后访问 es https://localhost:9200 / 需要认证即用户名密码,并且是 https 开头
当使用 elasticsearch-head 时无法连接到 es,
解决办法:首先访问 es https://localhost:9200/ 登陆,然后 登陆 elasticsearchhead 注意 auth_user 和 auth_password 两个参数
http://localhost:9100/?auth_user=admin&auth_password=admin123
然后在用 es-head 连接就可以了
今天关于elasticsearch-按百分比筛选和elasticsearch count的讲解已经结束,谢谢您的阅读,如果想了解更多关于docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器、Docker部署ElasticSearch和ElasticSearch-Head、Docker部署ElasticSearch和ElasticSearch-Head的实现、elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题的相关知识,请在本站搜索。
本文标签: