将自界说 AWS S3 快照存储库毗连到 Elastic Cloud

作者：来自 Elastic  Annie Hansen, Stef Nestor

在本博客中，我们将先容怎样通过 Elasticsearch 的快照将我们已提交的集群数据备份到 AWS S3 存储桶中。在 Elastic Cloud（企业版）中，Elastic 在其 found-snapshots 存储库下提供内置备份服务。Elasticsearch 还支持云（Cloud）和当地设置的自界说存储库，毗连到全部平台范例的数据存储（如 AWS S3、GCP 和 Azure）以及当地文件体系。这些内置和自界说快照存储库为数据备份提供了很好的选择；自界说存储库用于恒久存储和开关备份；找到快照用于一连的、近来的备份。用户常常将这两种方法集成到他们的生产集群中。
   毗连自界说 AWS S3 快照存储库 Elastic Cloud 支持故障清除

创建 AWS S3 存储桶

起首，我们将按照 AWS 指南设置一个 AWS S3 存储桶来存储我们的数据。

在 Create bucket 下，填写 Bucket name，其他选项生存默认设置。然后，单击 Next 创建此存储桶来生存我们的数据。在我们的示例中，存储桶名称将是 s3-custom-repository-bucket-demo。

设置 AWS IAM 战略

接下来，我们将通过创建 AWS IAM 战略（creating an AWS IAM policy）来设置对新创建的存储桶的访问授权。

在 Create policy 的第一步（称为 Specify permissions）下，我们将 Elastic Cloud 保举的 S3 权限复制到 JSON “Policy editor” 中 — 仅生存 AWS 最初为其 “Version” JSON 键设置的值。你大概更喜欢 Elasticsearch 文档中概述的进一步权限限定。我们将用我们的存储桶名称 s3-custom-repository-bucket-demo 更换指南中 Resource 下的 JSON 占位符 bucket-name 。然后，我们将选择 Next 继承实验步调 2：Review and create。

我们将输入 Policy name 和 Description，然后选择 Next。对于我们的示例，战略名称将是 s3-custom-repository-demo-policy。

创建 IAM 用户

接下来，我们将创建一个 AWS IAM 用户（create an AWS IAM user），并通过我们新创建的 IAM 战略授予其授权。在 Create user 流程下，我们将从步调 1 开始：Specify user details。我们将输入s3-custom-repository-demo-user 作为 user name，将页面上的全部其他选项生存为默认值，然后选择 Next 继承实验步调 2：Set permission。

在这里，我们将通过选择 “ Permissions Options” 值及 Attach polices directly 来为用户附加 IAM 战略。接着，在 “Permissions policies” 下，我们将搜索并启用我们的 IAM 战略。完成后，生存其他选项为默认设置，然后单击 “Next” 进入第 3 步：“Review and create”，末了滚动并点击 “Create user”。

设置 IAM 用户访问密钥

Elasticsearch 通过 IAM 用户的 access and secret key（而不是用户名和暗码）毗连到 AWS S3。为了将存储桶毗连到我们的 Elasticsearch 集群，我们将创建一个访问密钥和密钥，以便稍后存储在摆设的 Elasticsearch 密钥库中。在我们的 IAM 用户下，我们将选择 Create access key。

这将引导我们进入步调 1：Access key best practices & alternatives 下的 Create access key 流程。

对于 Use case，我们将选择 Third-party service，然后单击 Next。这将带我们进入第 2 步 - 可选：optional: Set description tag，我们将通过再次单击 Next 跳过该步调，进入第 3 步：Step 3: Retrieve access keys。

我们将安全地存储我们的 IAM 用户的新访问和密钥。

毗连到摆设

我们将把这些 IAM 用户访问权限和密钥添加到我们的 Elastic Cloud 摆设中。

在我们摆设的 security tab 下，我们将导航到 elasticsearch-keystore 并单击 Add settings。假如单独的 S3 存储库毗连有多个访问和密钥对，Elasticsearch S3 存储库 JSON将通过 client 字符串映射我们的访问和密钥。我们的 IAM 用户的访问密钥将是 s3.client.CLIENT_NAME.access_key 的值，而密钥将是 s3.client.CLIENT_NAME.secret_key 的值，此中 CLIENT_NAME 是该 S3 JSON 映射的 client 值的占位符。由于 client 默以为 default，我们将在示例中利用雷同的值，因此我们在 Setting name 下插入的访问和密钥值将分别存储在密钥 s3.client.default.access_key 和 s3.client.default.secret_key 下。

添加后，我们的密钥将表如今 “Security keys”下。出于安全思量，添加后无法查察或编辑我们的密钥库值 — 只能删除以重新创建。

创建存储库毗连

我们如今将通过 Kibana 注册我们的 AWS S3 Elasticsearch 存储库。我们将通过在 Dev Tools 下运行 node reload secure settings 将安全设置加载到集群中。

乐成相应将发出 _nodes.failed: 0。我们的访问和密钥库对现已添加到 Elasticsearch 中，因此我们如今可以注册我们的 AWS S3 存储库。然后，我们将导航到 “Stack Management ” 下的 “Snapshot and Restore”，单击 “Repositories” 选项卡，然后选择 “Register a Repository”。

我们将为存储库界说 Name，并选择 AWS S33 作为 Repository Type。在我们的示例中，我们的存储库名称为 aws_s3。请留意，固然大多数 Elasticsearch 功能（如分配）在最初注册后根据其存储的 uuid 从存储库加载数据，但 ILM 可搜索快照（ILM searchable snapshots）确实利用存储库 name 作为标识符。在迁移可搜索快照（searchable snapshot）数据时，必要在 Elasticsearch 集群之间举行对齐。

在 Register repository 下，添加我们的 Bucket 名称 s3-custom-repository-demo-bucket，生存全部其他选项的默认值，然后选择 Save。在我们的示例中，我们将 Client 留空，以便默以为 default 以匹配我们的 Elasticsearch 密钥库 CLIENT_NAME。请留意，一个 Elasticsearch 集群中一次只能有一个读写毗连对存储库起作用；根据必要，请确保标志为 readonly，以制止不测覆盖或破坏数据。这将带我们进入 aws_s3 存储库概览 UI 抽屉。

在这里，我们可以选择 Verification status 下的 Verify repository，以确认全部节点都可以毗连到我们的 AWS S3 存储桶并通过初始验证查抄。我们还可以利用验证快照存储库从 Dev Tools 运行雷同的测试。

这两个输出都返回乐成毗连到我们的 AWS S3 存储桶的雷同节点列表。

捕获快照

我们如今准备将已提交的 Elasticsearch 集群的快照备份到 AWS S3 存储桶中。请留意，Elastic Cloud 的内置存储库 found-snapshots 也通过 Elasticsearch 的快照生命周期管理 (SLM) 定期实验备份。接下来，我们将运行 create snapshot 下令以创建快照。

我们的示例快照名称是 bats。天生的快照陈诉 state: SUCCESS。我们可以通过导航回我们的 AWS S3 存储桶 s3-custom-repository-demo-bucket 来确认结果，它体现 Elasticsearch 已将文件和子文件夹添加到我们的根目次中。

我们做到了！观看此视频，相识上述步调。
此时，我们可以根据必要设置快照生命周期管理，以拍摄周期快照并管理快照生存。大概，我们可以断开 AWS S3 存储库的毗连，将其毗连到差别的 Elasticsearch 集群，以迁移此新快照数据。

   本文中形貌的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能大概无法按时交付或根本无法交付。
  原文：https://www.elastic.co/blog/custom-aws-s3-snapshot-repository-elastic-cloud

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金