elk学习笔记-es-文档及索引操作-系统运维-互联网-天达云

elk学习笔记-es-文档及索引操作
更新：HHH 时间：2023-1-7

常见术语

文档 Document

用户存储在es中的数据文档，相当于mysql数据表中的一行数据

索引 index

由具有相同字段的文档列表组成，相当于mysql数据库中的表，table

节点 Node

一个elasticsearch 的运行实例，是集群的构成单元。

集群 Cluster

由一个或多个节点组成，对外提供服务

Document

Json Object，有字段（field）组成，常见数据类型如下：

字符串：text，keyword
数值型：long，integer，short，byte，double，float，scaled_float
布尔：Boolean
日期：date
二进制：binary
范围类型：integer_range，float_range，long_range，double_range，date_range

每个文档都有一个唯一的ID标识

自行指定
es 自动生成

元数据(MetaData),用于标注文档相关信息

_index：文档所在索引名
_type：文档所在的类型名
_id：文档唯一id
_uid：组合id，由_type和_id组成（6.x _type不再起作用，同_id一样）
_source：文档的原始Json数据，可以从这里获取每个字段的内容
_all：整合所有字段内容到该字段，默认禁用

正排索引

文档ID到文档内容，单词的关联关系

倒排索引

单词到文档ID的关联关系

倒排索引-查询流程
通过倒排索引获得"搜索引擎"对应的文档Id有1和3
通过正排索引查询1和3的完整内容
返回用户最终结果

倒排索引-单词词典

单词词典（Term Dictionary）是倒排索引的重要组成

记录所有文档的单词，一般都比较大
记录单词倒排列表的关联信息

倒排索引-倒排列表

倒排列表( Posting List )记录了单词对应的文档集合,由倒排索引项( Posting )组成

倒排索引项( Posting )主要包含如下信息:

文档Id ,用于获取原始信息
单词频率( TF, Term Frequency) , 记录该单词在该文档中的出现次数,用于后续相关性算分
位置( Position) ,记录单词在文档中的分词位置(多个) , 用于做词语搜索
偏移（Offset），记录单词在文档的开始和结束位置，用于做高亮显示

Index

索引中存储具有相同结构的文档（Document）

每个索引都有自己的mapping 定义，用于定义字段名和类型

一个集群可以有多个索引，比如：

nginx 日志存储的时候可以按照日期每天生成一个索引来存储
nginx-log-2019-01-01
nginx-log-2019-01-02
nginx-log-2019-01-03

创建索引与写入数据

Rest API ()

Elasticsearch 集群对外提供RESTful API

REST（REpresentational State Transfer）表现层状态转移（对资源进行操作状态会发生变化）
URL指定资源，如Index，Document
Http Method 指定资源操作类型，如GET，POST，PUT，DELETE

两种交互方式

Curl 命令行
Kibana DevTools

索引 API

es有专门的Index API，用于创建，更新，删除索引配置等

创建索引API

PUT /test_index

查看现有索引
```
GET_cat/indices
```
文档 Document API

es有专门的 Document API

创建文档
查询文档
更新文档
删除文档

创建文档：

指定文档ID创建文档：

PUT /test_index/doc/1
{
  "username":"kibana",
  "version":6.1
}

不指定ID创建文档：

POST /test1_index/doc
{
  "username":"kibana",
  "version":6.1
}

查询文档

指定要查询文档的ID
```
GET /test_index/doc/1  
```

搜索所有文档：_search

GET /test_index/doc/_search  //不指定条件查找

GET /test_index/doc/_search
{
"query": {
"term":{
  "_id":"1" //指定条件，查找ID为1的文档
}
}
}

批量创建文档API

es允许一次操作多个文档（增删改查，create创建文档，如果文档已经存在就会报错。index创建文档，如果存在就会覆盖。）

endpoint 为 _bulk，如下：

POST _bulk
{"index":{"_index":"test_index","_type":"doc","_id":"3"}}
{"username":"zabbix","version":4}
{"delete":{"_index":"test_index","_type":"doc","_id":"1"}}
{"update":{"_id":"4","_index":"test_index","_type":"doc"}}
{"doc":{"es":"5.0"}}

输出：

{
"took": 979, //查询耗时，单位ms
"errors": false,    //返回结果，正确或错误
"items": [   //每个操作返回的结果
{
  "index": {
    "_index": "test_index",
    "_type": "doc",
    "_id": "3",
    "_version": 1,
    "result": "created",    //创建
    "_shards": {
      "total": 2,
      "successful": 2,
      "failed": 0
    },
    "_seq_no": 0,
    "_primary_term": 1,
    "status": 201
  }
},
{
  "delete": {
    "_index": "test_index",
    "_type": "doc",
    "_id": "1",
    "_version": 2,
    "result": "deleted",    //删除
    "_shards": {
      "total": 2,
      "successful": 2,
      "failed": 0
    },
    "_seq_no": 1,
    "_primary_term": 1,
    "status": 200
  }
},
{
  "update": {
    "_index": "test_index",
    "_type": "doc",
    "_id": "4",
    "_version": 2,
    "result": "updated",    //更改
    "_shards": {
      "total": 2,
      "successful": 2,
      "failed": 0
    },
    "_seq_no": 3,
    "_primary_term": 1,
    "status": 200
  }
}
]
}

批量查询文档

endpoint 为_mget，如下：(并且可以在一个_mget下获取不同索引的文档)

GET /_mget    //查找在test_index索引，id为4和1的文档.
{
  "docs":[    //指明要查询的文档id
    {
      "_index":"test_index",
      "_type":"doc",
      "_id":"4"
    },
    {
      "_index":"test_index",
      "_type":"doc",
      "_id":"2"
    }
  ]
}
返回
{
  "docs": [
    {
      "_index": "test_index",
      "_type": "doc",
      "_id": "4",
      "_version": 2,
      "found": true,
      "_source": {
        "username": "es",
        "version": 6.1,
        "es": "5.0"
      }
    },
    {
      "_index": "test_index",
      "_type": "doc",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "username": "zabbix",
        "version": 4.2
      }
    }
  ]
}

欢迎加入


返回系统运维教程...