GVKun编程网logo

elasticsearch-按百分比筛选(elasticsearch count)

11

对于想了解elasticsearch-按百分比筛选的读者,本文将是一篇不可错过的文章,我们将详细介绍elasticsearchcount,并且为您提供关于docker部署elasticsearch+e

对于想了解elasticsearch-按百分比筛选的读者,本文将是一篇不可错过的文章,我们将详细介绍elasticsearch count,并且为您提供关于docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器、Docker部署ElasticSearch和ElasticSearch-Head、Docker部署ElasticSearch和ElasticSearch-Head的实现、elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题的有价值信息。

本文目录一览:

elasticsearch-按百分比筛选(elasticsearch count)

elasticsearch-按百分比筛选(elasticsearch count)

假设我要按第10到20个百分点内的某个字段过滤文档。我想知道是否可以通过一些简单的查询(例如)进行查询{"fieldName":{"percentile":[0.1, 0.2]}}

说我有这些文件:

[{"a":1,"b":101},{"a":2,"b":102},{"a":3,"b":103}, ..., {"a":100,"b":200}]

我需要按a(升序)a 从前10位到第10位进行过滤b,然后按降序对结果进行排序,然后进行分页(如第2页,第10页)每页的项目)。

想到的一种解决方案是:

  1. 获取文件总数。

  2. 将文档按排序a,取对应_id的限制0.1 * total_count

  3. 写最终查询,像 id in (...) order by b

但是缺点也很明显:

  1. 如果我们谈论的是亚秒级延迟,则似乎效率不高

  2. 如果我们_id在第一个查询中返回的次数太多(第二个查询默认情况下,ES仅允许1000个,则第二个查询可能不起作用。我当然可以更改配置,但总会有一个限制)。

答案1

小编典典

我怀疑如果a事先不知道的确切值,是否可以在一个查询中执行此操作,尽管我认为一种非常有效的方法是可行的。

我建议做一个percentiles聚合作为第一查询和第二range查询。

在我的样本索引中,我只有14个文档,因此出于说明性原因,我将尝试查找那些占字段30%到60%的文档,a并按b相反的顺序对它们进行排序(以确保排序有效)。

这是我插入的文档:

{"a":1,"b":101}{"a":5,"b":105}{"a":10,"b":110}{"a":2,"b":102}{"a":6,"b":106}{"a":7,"b":107}{"a":9,"b":109}{"a":4,"b":104}{"a":8,"b":108}{"a":12,"b":256}{"a":13,"b":230}{"a":14,"b":215}{"a":3,"b":103}{"a":11,"b":205}

让我们找出a介于30%和60%百分位数之间的字段边界:

POST my_percent/doc/_search{    "size": 0,    "aggs" : {        "percentiles" : {            "percentiles" : {                "field" : "a",                "percents": [ 30, 60, 90 ]            }        }    }}

用我的样本索引看起来像这样:

{...  "hits": {    "total": 14,    "max_score": 0,    "hits": []  },  "aggregations": {    "percentiles": {      "values": {        "30.0": 4.9,        "60.0": 8.8,        "90.0": 12.700000000000001      }    }  }}

现在我们可以使用边界进行range查询:

POST my_percent/doc/_search{    "query": {      "range": {            "a" : {                "gte" : 4.9,                "lte" : 8.8            }        }    },    "sort": {      "b": "desc"    }}

结果是:

{  "took": 5,  "timed_out": false,  "_shards": {    "total": 5,    "successful": 5,    "skipped": 0,    "failed": 0  },  "hits": {    "total": 4,    "max_score": null,    "hits": [      {        "_index": "my_percent",        "_type": "doc",        "_id": "vkFvYGMB_zM1P5OLcYkS",        "_score": null,        "_source": {          "a": 8,          "b": 108        },        "sort": [          108        ]      },      {        "_index": "my_percent",        "_type": "doc",        "_id": "vUFvYGMB_zM1P5OLWYkM",        "_score": null,        "_source": {          "a": 7,          "b": 107        },        "sort": [          107        ]      },      {        "_index": "my_percent",        "_type": "doc",        "_id": "vEFvYGMB_zM1P5OLRok1",        "_score": null,        "_source": {          "a": 6,          "b": 106        },        "sort": [          106        ]      },      {        "_index": "my_percent",        "_type": "doc",        "_id": "u0FvYGMB_zM1P5OLJImy",        "_score": null,        "_source": {          "a": 5,          "b": 105        },        "sort": [          105        ]      }    ]  }}

注意percentiles聚合的结果是近似的。

通常,这看起来像是通过熊猫或Spark作业可以更好地解决的任务。

希望有帮助!

docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器

docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器

0.  docker pull 拉取 elasticsearch + elasticsearch-head 镜像


 

1.  启动 elasticsearch Docker 镜像

docker run -di --name tensquare_elasticsearch -p 9200:9200 -p 9300:9300 elasticsearch

对应 IP:9200 ---- 反馈下边 json 数据,表示启动成功


 

2.  启动 elasticsearch-head 镜像

docker run -d -p 9100:9100 elasticsearch-head

 

对应 IP:9100 ---- 得到下边页面,即启动成功

 


 

3.  解决跨域问题

 

   进入 elasticsearch-head 页面,出现灰色未连接状态 , 即出现跨域问题

 

     1. 根据 docker ps 得到 elasticsearch 的 CONTAINER ID

   2. docker exec -it elasticsearch 的 CONTAINER ID  /bin/bash 进入容器内

     3. cd ./config 

     4. 修改 elasticsearch.yml 文件

echo "
http.cors.enabled: true
http.cors.allow-origin: ''*''" >> elasticsearch.yml

 


 

4.  重启 elasticsearch

docker restart elasticsearch的CONTAINER ID

重新进入 IP:9100 进入 elasticsearch-head, 出现绿色标注,配置成功 !

 

 


 

5.  ik 分词器的安装

  将在 ik 所在的文件夹下,拷贝到 /usr/share/elasticsearch/plugins  ---  注意: elasticsearch 的版本号必须与 ik 分词器的版本号一致

docker cp ik elasticsearch的CONTAINER ID:/usr/share/elasticsearch/plugins
重启elasticsearch
docker restart elasticsearch

未添加ik分词器:http://IP:9200/_analyze?analyzer=chinese&pretty=true&text=我爱中国
添加ik分词器后:http://IP:9200/_analyze?analyzer=ik_smart&pretty=true&text=我爱中国

Docker部署ElasticSearch和ElasticSearch-Head

Docker部署ElasticSearch和ElasticSearch-Head

Docker部署ElasticSearch和ElasticSearch-Head

 本篇主要讲解使用Docker如何部署ElasticSearch:6.8.4 版本,讲解了从Docker拉取到最终运行ElasticSearch 以及 安装 ElasticSearch-Head 用来管理ElasticSearch相关信息的一个小工具,本博客系统首页的搜索正是使用了ElasticSearch来实现的,由于ElasticSearch 更新太快 以至于SpringData-ElasticSearch都跟不上 Es的更新 我也是一开始下载8.x的版本 导致SpringData-ElasticSearch 报错 最终我选择了6.8.4 在此记录一下

 1.Docker部署ElasticSearch:6.8.4版本

  1.1 拉取镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:6.8.4
  1.2 运行容器

  ElasticSearch的默认端口是9200,我们把宿主环境9200端口映射到Docker容器中的9200端口,就可以访问到Docker容器中的ElasticSearch服务了,同时我们把这个容器命名为es。

docker run -d --name es -p 9200:9200 -p 9300:9300 
-e "discovery.type=single-node" 
-e ES_JAVA_OPTS="-Xms=256m -Xms=256m" 
docker.elastic.co/elasticsearch/elasticsearch:6.8.4

  说明:
  -e discovery.type=single-node :表示单节点启动
  -e ES_JAVA_OPTS="-Xms=256m -Xms=256m" :表示设置es启动的内存大小,这个真的要设置,不然后时候会内存不够,比如我自己的辣鸡服务器!

  1.3 内存不足问题

  centos下载完elasticsearch并修改完配置后运行docker命令:

  发现没有启动成功,去除命令的-d后打印错误如下

Java HotSpot(TM) 64-Bit Server VM warning: INFO:
os::commit_memory(0x0000000085330000, 2060255232, 0) failed;
error=’Cannot allocate memory’ (errno=12)

  经过一番查找发现这是由于elasticsearch6.0默认分配jvm空间大小为2g,内存不足以分配导致。

  解决方法就是修改jvm空间分配
  运行命令:

find /var/lib/docker/overlay/ -name jvm.options


查找jvm.options文件,找到后进入使用vi命令打开jvm.options如下:

将

-Xms2g  
-Xmx2g
修改为
-Xms512m  
-Xmx512m 

  保存退出即可。再次运行创建运行elasticsearch命令,成功启动。

 2.Docker部署ElasticSearch-Heard

  2.1 拉取镜像
docker pull  mobz/elasticsearch-head:5
  2.2 运行容器
docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5
  2.3 启动容器
docker start elasticsearch-head
  2.4 打开浏览器: http://IP:9100

  发现连接不上,是因为有跨域问题,因为前后端分离开发的所以需要设置一下es

  2.5 进入刚刚启动的 es 容器,容器name = es
docker exec -it es /bin/bash
  2.6 修改elasticsearch.yml文件
vi config/elasticsearch.yml

添加
http.cors.enabled: true
http.cors.allow-origin: "*"

  其实就是SpringBoot的yml文件 添加跨域支持

  2.7 退出容器 并重启
exit
docker restart es
  2.8 访问http://localhost:9100

es.png

 总结:

  本篇只是简单的讲解了如何用Docker安装ElasticSearch 并且会遇到的坑,包括内存不足,或者版本太高等问题,以及ElasticSearch-Heard的安装和跨域的配置 ,下一篇将讲解ElasticSearch如何安装中文分词器

个人博客网站 https://www.askajohnny.com 欢迎来访问!
本文由博客一文多发平台 OpenWrite 发布!

Docker部署ElasticSearch和ElasticSearch-Head的实现

Docker部署ElasticSearch和ElasticSearch-Head的实现

本篇主要讲解使用Docker如何部署ElasticSearch:6.8.4 版本,讲解了从Docker拉取到最终运行ElasticSearch 以及 安装 ElasticSearch-Head 用来管理ElasticSearch相关信息的一个小工具,本博客系统首页的搜索正是使用了ElasticSearch来实现的,由于ElasticSearch 更新太快 以至于SpringData-ElasticSearch都跟不上 Es的更新 我也是一开始下载8.x的版本 导致SpringData-ElasticSearch 报错 最终我选择了6.8.4 在此记录一下

1.Docker部署ElasticSearch:6.8.4版本

1.1 拉取镜像

docker pull docker.elastic.co/elasticsearch/elasticsearch:6.8.4

1.2 运行容器

ElasticSearch的默认端口是9200,我们把宿主环境9200端口映射到Docker容器中的9200端口,就可以访问到Docker容器中的ElasticSearch服务了,同时我们把这个容器命名为es。

docker run -d --name es -p 9200:9200 -p 9300:9300 
-e "discovery.type=single-node" 
-e ES_JAVA_OPTS="-Xms=256m -Xms=256m" 
docker.elastic.co/elasticsearch/elasticsearch:6.8.4

说明:

-e discovery.type=single-node :表示单节点启动

-e ES_JAVA_OPTS="-Xms=256m -Xms=256m" :表示设置es启动的内存大小,这个真的要设置,不然后时候会内存不够,比如我自己的辣鸡服务器!

1.3 内存不足问题

centos下载完elasticsearch并修改完配置后运行docker命令:

发现没有启动成功,去除命令的-d后打印错误如下

Java HotSpot(TM) 64-Bit Server VM warning: INFO:
os::commit_memory(0x0000000085330000, 2060255232, 0) failed;
error=''Cannot allocate memory'' (errno=12)

经过一番查找发现这是由于elasticsearch6.0默认分配jvm空间大小为2g,内存不足以分配导致。

解决方法就是修改jvm空间分配
运行命令:

find /var/lib/docker/overlay/ -name jvm.options

查找jvm.options文件,找到后进入使用vi命令打开jvm.options如下:

将

-Xms2g 
-Xmx2g
修改为
-Xms512m 
-Xmx512m 

保存退出即可。再次运行创建运行elasticsearch命令,成功启动。

2.Docker部署ElasticSearch-Heard

2.1 拉取镜像

docker pull mobz/elasticsearch-head:5

2.2 运行容器

docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5

2.3 启动容器

docker start elasticsearch-head

2.4 打开浏览器: http://IP:9100

发现连接不上,是因为有跨域问题,因为前后端分离开发的所以需要设置一下es

2.5 进入刚刚启动的 es 容器,容器name = es

docker exec -it es /bin/bash

2.6 修改elasticsearch.yml文件

vi config/elasticsearch.yml

添加

http.cors.enabled: true
http.cors.allow-origin: "*"

其实就是SpringBoot的yml文件 添加跨域支持

2.7 退出容器 并重启

exit
docker restart es

2.8 访问http://localhost:9100

总结:

本篇只是简单的讲解了如何用Docker安装ElasticSearch 并且会遇到的坑,包括内存不足,或者版本太高等问题,以及ElasticSearch-Heard的安装和跨域的配置 ,下一篇将讲解ElasticSearch如何安装中文分词器

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

您可能感兴趣的文章:
  • Docker安装ElasticSearch和Kibana的问题及处理方法
  • docker安装Elasticsearch7.6集群并设置密码的方法步骤
  • 一文搞定Docker安装ElasticSearch的过程
  • 在Docker中安装Elasticsearch7.6.2的教程
  • 教你使用docker安装elasticsearch和head插件的方法

elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题

elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题

1、安装 searchguard6.5.4 后访问 es  https://localhost:9200 / 需要认证即用户名密码,并且是 https 开头

    当使用 elasticsearch-head 时无法连接到 es,

    解决办法:首先访问 es https://localhost:9200/ 登陆,然后 登陆 elasticsearchhead 注意 auth_user 和 auth_password 两个参数

     http://localhost:9100/?auth_user=admin&auth_password=admin123

     然后在用 es-head 连接就可以了

今天关于elasticsearch-按百分比筛选elasticsearch count的讲解已经结束,谢谢您的阅读,如果想了解更多关于docker 部署 elasticsearch + elasticsearch-head + elasticsearch-head 跨域问题 + IK 分词器、Docker部署ElasticSearch和ElasticSearch-Head、Docker部署ElasticSearch和ElasticSearch-Head的实现、elasticsarch6.5.4 安装插件 searchguard 和 elasticsearh-head 插件安全性问题的相关知识,请在本站搜索。

本文标签: