Elasticsearch 提供了非常简单的备份和恢复解决方案。在本教程中，我们将备份存储在 AWS S3。在本教程中，我们将备份快照、恢复快照并创建一个 cron 作业以每天备份快照。

主要分为以下几个方面介绍：

快照
快照存储库
注册快照存储库
拍摄快照
从快照恢复
监控快照和恢复进度
每日备份

快照：

快照是从正在运行的 Elasticsearch 集群中获取的备份。我们可以对单个索引或整个集群进行快照。快照是增量的，这意味着索引的每个快照只存储不属于早期快照的数据。

快照存储库：

快照存储库是存储快照的容器。快照可以存储在本地或远程存储库中。远程存储库可以驻留在AWS S3、HDFS、Azure、谷歌云存储以及存储库插件支持的其他平台上。

要检索有关所有已注册快照存储库的信息：

curl -X GET "localhost:9200/_snapshot/_all?pretty"

注册快照存储库：

我们必须注册一个存储库以拍摄快照并从中恢复。要将 AWS S3 注册为快照存储库，我们将遵循以下步骤：

AWS 设置
S3 Elasticsearch 插件安装
快照存储库注册

AWS 设置 ：

S3 存储桶：在本指南中，我们将创建一个名为S3-BUCKET-NAME的 S3 存储桶。
自定义策略：我们将使用以下策略文档创建自定义策略：

{
  "Statement": [
    {
      "Action": [
        "s3:ListBucket",
        "s3:GetBucketLocation",
        "s3:ListBucketMultipartUploads",
        "s3:ListBucketVersions"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::S3-BUCKET-NAME"
      ]
    },
    {
      "Action": [
        "s3:GetObject",
        "s3:PutObject",
        "s3:DeleteObject",
        "s3:AbortMultipartUpload",
        "s3:ListMultipartUploadParts"
      ],
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::S3-BUCKET-NAME/*"
      ]
    }
  ],
  "Version": "2012-10-17"
}

IAM 用户：然后，我们将创建一个附加自定义策略的 IAM 用户。我们需要收集ACCESS_KEY_ID和SECRET_ACCESS_KEY。

S3 Elasticsearch 插件安装 ：

安装 S3 插件：

  cd /usr/share/elasticsearch
  sudo bin/elasticsearch-plugin install --batch repository-s3

为了方便设置，设置-Des.allow_insecure_settings=true为/etc/elasticsearch/jvm.options。为了更安全的设置，我们可以使用elasticsearch-keystore。

快照存储库注册 ：
要将备份存储在这个 S3 存储桶中，我们必须需要将此存储桶注册为快照存储库。我们可以从命令行将此存储桶注册为快照注册表：

curl -X PUT "localhost:9200/_snapshot/REPOSITORY_NAME?pretty" -H 'Content-Type: application/json' -d'
{
 "type": "s3",
 "settings": {
   "bucket": "S3-BUCKET-NAME",
   "region": "AWS_REGION",
   "access_key": "ACCESS_KEY_ID",
   "secret_key": "SECRET_ACCESS_KEY"
 }
}
'

备份快照：

我们可以通过以下命令从运行 elasticsearch cluser 中获取快照，这里，SNAPSHOT_NAME对于每个REPOSITORY_NAME都是唯一的。

curl -X PUT "localhost:9200/_snapshot/REPOSITORY_NAME/SNAPSHOT_NAME?wait_for_completion=true&pretty" -H 'Content-Type:application/json' -d'
{
  "indices": "index_1,index_2",
  "ignore_unavailable": true,
  "include_global_state": false
 }

可以使用以下命令列出当前存储在存储库中的所有快照：

curl -X GET "localhost:9200/_snapshot/my_backup/_all?pretty"

从快照恢复：

要从 S3 恢复索引，我们可以执行以下操作：

curl -X POST "localhost:9200/_snapshot/REPOSITORY_NAME/SNAPSHOT_NAME/_restore?pretty" -H 'Content-Type: application/json' -d'
{
  "indices": "index_1,index_2",
  "ignore_unavailable": true,
  "include_global_state": false,              
  "rename_pattern": "index_(.+)",
  "rename_replacement": "restored_index_$1",
  "include_aliases": false
}
'

监控快照和恢复进度：

我们可以通过以下命令监控快照的状态：

curl -X GET "localhost:9200/_snapshot/REPOSITORY_NAME/SNAPSHOT_NAME/_status?pretty"

每日备份：

创建一个 bash 脚本：我们将创建一个 bash 脚本，例如daily_elastic_search_backup.sh如下：

#!/bin/bash

TODAY=$(date +'%Y.%m.%d')
echo Today $TODAY indices will be stored in S3.

ELASTIC_SEARCH_HOST="localhost"
ELASTIC_SEARCH_PORT="9200"
REPOSITORY_NAME="REPOSITORY_NAME"
SNAPSHOT_NAME="snapshot-"$TODAY

echo Starting Snapshot $SNAPSHOT_NAME

curl -X PUT "$ELASTIC_SEARCH_HOST:$ELASTIC_SEARCH_PORT/_snapshot/$REPOSITORY_NAME/$SNAPSHOT_NAME?wait_for_completion=true" -H 'Content-Type:application/json' -d'
{
  "indices": "index-1,index-2",
  "ignore_unavailable": true,
  "include_global_state": false
 }
'
echo Successfully completed storing "$SNAPSHOT_NAME" in S3

将脚本添加到 Crontab：我们现在可以在 crontab 中添加以下行，以便每天凌晨 12 点 UTC 进行备份：

0 0 * * * /home/ubuntu/daily_elastic_search_backup.sh > /home/ubuntu/daily_elastic_search_backup.log 2>&1

另外在实际操作的过程中，一定要注意账号的问题，elaticsearch节点都要设置而且必须一致，不然在备份镜像的时候会提示权限问题。

*多学习、多实践、多沉淀*

喜欢的朋友记得给个关注~

顾乔芝士网

持续更新的前后端开发技术栈

Elasticsearch:使用 AWS S3 进行快照和还原

快照：