Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Cold-Speicher für Amazon OpenSearch Service

Mit dem Cold-Speicher können Sie beliebig viele selten aufgerufene oder historische Daten in Ihrer OpenSearch Amazon-Service-Domäne speichern und diese bei Bedarf analysieren, zu geringeren Kosten als andere Speicherebenen. Cold-Speicherung ist geeignet, wenn Sie regelmäßige Untersuchungen oder forensische Analysen an Ihren älteren Daten durchführen müssen. Praktische Beispiele für Daten, die für Cold-Speicher geeignet sind, sind selten aufgerufene Protokolle, Daten, die aufbewahrt werden müssen, um Compliance-Anforderungen zu erfüllen, oder Protokolle mit historischem Wert.

Ähnlich wie UltraWarmSpeicher wird der Cold-Speicher von Amazon S3 gesichert. Wenn Sie Cold-Daten abfragen müssen, können Sie diese selektiv an vorhandene UltraWarm Knoten anhängen. Sie können die Migration und den Lebenszyklus Ihrer Cold-Daten manuell oder mit Index-Statusmanagement-Verwaltungsrichtlinien verwalten.

Voraussetzungen

Cold-Speicherung hat die folgenden Voraussetzungen:

So konfigurieren Sie Berechtigungen

Wenn Sie den Cold-Speicher in einer bereits vorhandenen OpenSearch Dienstdomäne aktivieren, ist die cold_manager Rolle möglicherweise nicht in der Domäne definiert. Wenn die Domäne eine differenzierte Zugriffskontrolle verwendet, müssen Benutzer ohne Administratorrechte der Rolle zugeordnet werden, um Cold-Indizes zu verwalten. Führen Sie die folgenden Schritte aus, um die cold_manager-Rolle manuell zu erstellen:

Cold-Speicheranforderungen und Leistungsüberlegungen

Da der Cold-Speicher Amazon S3 verwendet, entsteht kein Hot-Storage-Overhead, z. B. Replikate, reservierter Linux-Speicherplatz und reservierter Speicherplatz von OpenSearch Service. Cold-Speicher hat keine spezifischen Instance-Typen, da ihm keine Rechenkapazität zugeordnet ist. Sie können beliebig viele Daten im Cold-Speicher speichern. Überwachen Sie die ColdStorageSpaceUtilization Metrik in Amazon CloudWatch , um zu sehen, wie viel Speicherplatz Sie verwenden.

Preise für Cold-Speicherung

Ähnlich wie UltraWarm Speicher: mit Cold-Speicher zahlen Sie nur für die Datenspeicherung. Es fallen keine Rechenkosten für Cold-Daten an und Sie werden nicht in Rechnung gestellt, wenn keine Daten im Cold-Speicher vorhanden sind.

Beim Verschieben von Daten zwischen Cold- und Warm-Speicher fallen keine Transfergebühren an. Während Indizes zwischen Warm- und Cold-Speicher migriert werden, zahlen Sie weiterhin nur für eine Kopie des Indexes. Nach Abschluss der Migration wird der Index entsprechend der Speicherstufe in Rechnung gestellt, auf die er migriert wurde. Weitere Informationen zu den Preisen für Cold-Speicher finden Sie unter Preise OpenSearch für Amazon Service.

Aktivieren von Cold-Speicherung

Die Konsole ist die einfachste Möglichkeit, eine Domäne zu erstellen, die Cold-Speicher verwendet. Wählen Sie bei der Erstellung der Domain zunächst die Option Warm Data Nodes aktivieren, da Sie Warmspeicher auf derselben Domain aktivieren müssen. Wählen Sie dann Cold Storage aktivieren aus.

Derselbe Prozess funktioniert auf vorhandenen Domänen, sofern sie die Voraussetzungen erfüllen. Selbst nachdem der Domänenstatus von Processing (Verarbeitung) zu Active (Aktiv) geändert wurde, steht Cold-Speicher möglicherweise mehrere Stunden lang nicht zur Verfügung.

Sie können auch die AWS CLI oder Konfigurations-API verwenden, um die Cold-Speicherung zu aktivieren.

Beispiel für einen CLI-Befehl

Der folgende AWS CLI -Befehl erstellt eine Domäne mit drei Datenknoten, drei dedizierten Hauptknoten, aktiviertem Cold-Speicher und aktivierter feingranularer Zugriffskontrolle:

aws opensearch create-domain \
  --domain-name my-domain \
  --engine-version Opensearch_1.0 \
  --cluster-config ColdStorageOptions={Enabled=true},WarmEnabled=true,WarmCount=4,WarmType=ultrawarm1.medium.search,InstanceType=r6g.large.search,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3,InstanceCount=3 \
  --ebs-options EBSEnabled=true,VolumeType=gp2,VolumeSize=11 \
  --node-to-node-encryption-options Enabled=true \
  --encryption-at-rest-options Enabled=true \
  --domain-endpoint-options EnforceHTTPS=true,TLSSecurityPolicy=Policy-Min-TLS-1-2-2019-07 \
  --advanced-security-options Enabled=true,InternalUserDatabaseEnabled=true,MasterUserOptions='{MasterUserName=master-user,MasterUserPassword=master-password}' \
  --region us-east-2

Weitere Informationen finden Sie in der AWS CLI -Befehlsreferenz.

Beispiel für eine Konfigurations-API-Anforderung

Die folgende Anfrage an die Konfigurations-API erstellt eine Domäne mit drei Datenknoten, drei dedizierten Hauptknoten, aktiviertem Cold-Speicher und aktivierter feingranularer Zugriffskontrolle:

POST https://es.us-east-2.amazonaws.com/2021-01-01/opensearch/domain
{
  "ClusterConfig": {
    "InstanceCount": 3,
    "InstanceType": "r6g.large.search",
    "DedicatedMasterEnabled": true,
    "DedicatedMasterType": "r6g.large.search",
    "DedicatedMasterCount": 3,
    "ZoneAwarenessEnabled": true,
    "ZoneAwarenessConfig": {
      "AvailabilityZoneCount": 3
     },
    "WarmEnabled": true,
    "WarmCount": 4,
    "WarmType": "ultrawarm1.medium.search",
    "ColdStorageOptions": {
       "Enabled": true
     }
  },
  "EBSOptions": {
    "EBSEnabled": true,
    "VolumeType": "gp2",
    "VolumeSize": 11
  },
  "EncryptionAtRestOptions": {
    "Enabled": true
  },
  "NodeToNodeEncryptionOptions": {
    "Enabled": true
  },
  "DomainEndpointOptions": {
    "EnforceHTTPS": true,
    "TLSSecurityPolicy": "Policy-Min-TLS-1-2-2019-07"
  },
   "AdvancedSecurityOptions": {
    "Enabled": true,
    "InternalUserDatabaseEnabled": true,
    "MasterUserOptions": {
      "MasterUserName": "master-user",
      "MasterUserPassword": "master-password"
    }
  },
  "EngineVersion": "Opensearch_1.0",
  "DomainName": "my-domain"
}

Weitere Informationen finden Sie in der OpenSearch Amazon-Service-API-Referenz.

Verwaltung von Cold-Indizes in Dashboards OpenSearch

Sie können Hot-, Warm- und Cold-Indizes mit der vorhandenen Dashboards-Oberfläche in Ihrer OpenSearch Service-Domäne verwalten. Mit Dashboards können Sie Indizes zwischen Warm- und Cold-Speicher migrieren und den Indexmigrationsstatus überwachen, ohne die CLI oder die Konfigurations-API zu verwenden. Weitere Informationen finden Sie unter Verwalten von Indizes in OpenSearch Dashboards.

Migration von Indizes auf Cold-Speicher

Wenn Sie Indizes in den Cold-Speicher migrieren, geben Sie einen Zeitbereich für die Daten an, um die Suche zu erleichtern. Sie können ein Zeitstempelfeld basierend auf den Daten in Ihrem Index auswählen, manuell einen Start- und Endzeitstempel angeben oder gar keinen angeben.

Wenn Sie keinen Zeitstempel angeben möchten, fügen Sie stattdessen ?ignore=timestamp zur Anfrage hinzu.

Die folgende Anforderung migriert einen Warm-Index in den Cold-Speicher und stellt Start- und Endzeiten für die Daten in diesem Index bereit:

POST _ultrawarm/migration/my-index/_cold
  {
    "start_time": "2020-03-09",
    "end_time": "2020-03-09T23:00:00Z"
  }

Überprüfen Sie dann den Status der Migration:

GET _ultrawarm/migration/my-index/_status

{
  "migration_status": {
    "index": "my-index",
    "state": "RUNNING_METADATA_RELOCATION",
    "migration_type": "WARM_TO_COLD"
  }
}

OpenSearch Der Service migriert jeweils einen Index in einen kühlen Speicher. Sie können bis zu 100 Migrationen in der Warteschlange haben. Jede Anfrage, die das Limit überschreitet, wird abgelehnt. Um die aktuelle Anzahl von Migrationen in der Warteschlange zu überprüfen, überwachen Sie die WarmToColdMigrationQueueSize-Metrik. Der Migrationsprozess weist die folgenden Zustände auf:

ACCEPTED_COLD_MIGRATION - Migration request is accepted and queued.
RUNNING_METADATA_MIGRATION - The migration request was selected for execution and metadata is migrating to cold storage.
FAILED_METADATA_MIGRATION - The attempt to add index metadata has failed and all retries are exhausted.
PENDING_INDEX_DETACH - Index metadata migration to cold storage is completed. Preparing to detach the warm index state from the local cluster.
RUNNING_INDEX_DETACH - Local warm index state from the cluster is being removed. Upon success, the migration request will be completed.
FAILED_INDEX_DETACH - The index detach process failed and all retries are exhausted.

Automatisierung von Migrationen zum Cold-Speicher

Sie können Index-Stausmanagement verwenden, um den Migrationsprozess zu automatisieren, nachdem ein Index ein bestimmtes Alter erreicht hat oder andere Bedingungen erfüllt. Sehen Sie sich die Beispielrichtlinie an, die zeigt, wie Indizes automatisch von Hot- UltraWarm zu Cold-Speicher migriert werden.

Abbruch von Migrationen zum Cold-Speicher

Wenn eine Migration zum Cold-Speicher in der Warteschlange oder in einem fehlgeschlagenen Zustand ist, können Sie die Migration mit der folgenden Anforderung abbrechen:

POST _ultrawarm/migration/_cancel/my-index

{
  "acknowledged" : true
}

Wenn Ihre Domäne differenzierte Zugriffskontrolle verwendet, benötigen Sie die indices:admin/ultrawarm/migration/cancel-Berechtigung, um diese Anfrage zu stellen.

Auflisten der Cold-Indizes

Vor dem Abfragen können Sie die Indizes im kühlen Speicher auflisten, um zu entscheiden, zu entscheiden, zu entscheiden, zu welchen UltraWarm für die weitere Analyse migriert werden soll. Die folgende Anforderung listet alle Cold-Indizes auf, sortiert nach Indexnamen:

GET _cold/indices/_search

Beispielantwort

{
  "pagination_id" : "je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY",
  "total_results" : 3,
  "indices" : [
    {
      "index" : "my-index-1",
      "index_cold_uuid" : "hjEoh26mRRCFxRIMdgvLmg",
      "size" : 10339,
      "creation_date" : "2021-06-28T20:23:31.206Z",
      "start_time" : "2020-03-09T00:00Z",
      "end_time" : "2020-03-09T23:00Z"
    },
    {
      "index" : "my-index-2",
      "index_cold_uuid" : "0vIS2n-oROmOWDFmwFIgdw",
      "size" : 6068,
      "creation_date" : "2021-07-15T19:41:18.046Z",
      "start_time" : "2020-03-09T00:00Z",
      "end_time" : "2020-03-09T23:00Z"
    },
    {
      "index" : "my-index-3",
      "index_cold_uuid" : "EaeXOBodTLiDYcivKsXVLQ",
      "size" : 32403,
      "creation_date" : "2021-07-08T00:12:01.523Z",
      "start_time" : "2020-03-09T00:00Z",
      "end_time" : "2020-03-09T23:00Z"
    }
  ]
}

Filtern

Sie können Cold-Indizes basierend auf einem Präfix-basierten Indexmuster und Zeitbereich-Offsets filtern.

Die folgende Anforderung listet Indizes auf, die mit dem Präfixmuster von event-* übereinstimmen:

GET _cold/indices/_search
 {
   "filters":{
      "index_pattern": "event-*"
   }
 }

Beispielantwort

{
  "pagination_id" : "je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY",
  "total_results" : 1,
  "indices" : [
    {
      "index" : "events-index",
      "index_cold_uuid" : "4eFiab7rRfSvp3slrIsIKA",
      "size" : 32263273,
      "creation_date" : "2021-08-18T18:25:31.845Z",
      "start_time" : "2020-03-09T00:00Z",
      "end_time" : "2020-03-09T23:00Z"
    }
  ]
}

Die folgende Anforderung gibt Indizes mit start_time- und end_time-Metadaten-Feldern zwischen 2019-03-01 und 2020-03-01 zurück:

GET _cold/indices/_search
{
  "filters": {
    "time_range": {
      "start_time": "2019-03-01",
      "end_time": "2020-03-01"
    }
  }
}

Beispielantwort

{
  "pagination_id" : "je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY",
  "total_results" : 1,
  "indices" : [
    {
      "index" : "my-index",
      "index_cold_uuid" : "4eFiab7rRfSvp3slrIsIKA",
      "size" : 32263273,
      "creation_date" : "2021-08-18T18:25:31.845Z",
      "start_time" : "2019-05-09T00:00Z",
      "end_time" : "2019-09-09T23:00Z"
    }
  ]
}

Sortieren

Sie können Cold-Indizes nach Metadatenfeldern wie Indexname oder Größe sortieren. Die folgende Abfrage listet alle Indizes nach Größe sortiert in absteigender Reihenfolge auf:

GET _cold/indices/_search
 {
 "sort_key": "size:desc"
 }

Beispielantwort

{
  "pagination_id" : "je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY",
  "total_results" : 5,
  "indices" : [
    {
      "index" : "my-index-6",
      "index_cold_uuid" : "4eFiab7rRfSvp3slrIsIKA",
      "size" : 32263273,
      "creation_date" : "2021-08-18T18:25:31.845Z",
      "start_time" : "2020-03-09T00:00Z",
      "end_time" : "2020-03-09T23:00Z"
    },
    {
      "index" : "my-index-9",
      "index_cold_uuid" : "mbD3ZRVDRI6ONqgEOsJyUA",
      "size" : 57922,
      "creation_date" : "2021-07-07T23:41:35.640Z",
      "start_time" : "2020-03-09T00:00Z",
      "end_time" : "2020-03-09T23:00Z"
    },
    {
      "index" : "my-index-5",
      "index_cold_uuid" : "EaeXOBodTLiDYcivKsXVLQ",
      "size" : 32403,
      "creation_date" : "2021-07-08T00:12:01.523Z",
      "start_time" : "2020-03-09T00:00Z",
      "end_time" : "2020-03-09T23:00Z"
    }
  ]
}

Andere gültige Sortierschlüssel sind start_time:asc/desc, end_time:asc/desc und index_name:asc/desc.

Paginierung

Sie können eine Liste von Cold-Indizes paginieren. Konfigurieren Sie die Anzahl der Indizes, die pro Seite zurückgegeben werden sollen, mit dem page_size-Parameter (der Standardwert ist 10). Jede _search-Anfrage auf Ihre Cold-Indizes gibt eine pagination_id zurück, die Sie für nachfolgende Aufrufe verwenden können.

Die folgende Anforderung paginiert die Ergebnisse einer _search-Anfrage Ihrer Cold-Indizes und zeigt die nächsten 100 Ergebnisse an:

GET _cold/indices/_search?page_size=100
{
"pagination_id": "je7MtGbClwBF/2Zp9Utk/h3yCo8nvbEXAMPLEKEY"
}

Migrieren von Cold-Indizes zum Warm-Speicher

Nachdem Sie die Liste der Cold-Indizes mit den Filterkriterien im vorherigen Abschnitt eingegrenzt haben, migrieren Sie sie zurück zu UltraWarm dem Ort, an dem Sie die Daten abfragen und sie zum Erstellen von Visualisierungen verwenden können.

Die folgende Anfrage migriert zwei Cold-Indizes zurück in den Warm-Speicher:

POST _cold/migration/_warm
 {
 "indices": "my-index1,my-index2"
 }


{
  "acknowledged" : true
}

Um den Status der Migration zu überprüfen und die Migrations-ID abzurufen, senden Sie die folgende Anforderung:

GET _cold/migration/_status

Beispielantwort

{
  "cold_to_warm_migration_status" : [
    {
      "migration_id" : "tyLjXCA-S76zPQbPVHkOKA",
      "indices" : [
        "my-index1,my-index2"
      ],
      "state" : "RUNNING_INDEX_CREATION"
    }
  ]
}

Um indexspezifische Migrationsinformationen abzurufen, geben Sie den Indexnamen ein:

GET _cold/migration/my-index/_status

Anstatt einen Index anzugeben, können Sie die Indizes nach ihrem aktuellen Migrationsstatus auflisten. Gültige Werte sind _failed, _accepted und _all.

Der folgende Befehl ruft den Status aller Indizes in einer einzelnen Migrationsanforderung ab:

GET _cold/migration/_status?migration_id=my-migration-id

Rufen Sie die Migrations-ID mit der Statusanforderung ab. Für detaillierte Migrationsinformationen fügen Sie &verbose=true hinzu.

Sie können Indizes aus dem kalten in den warmen Speicher in Batches von 10 oder weniger migrieren, wobei maximal 100 Indizes gleichzeitig migriert werden können. Jede Anfrage, die das Limit überschreitet, wird abgelehnt. Um die aktuelle Anzahl von Migrationen zu überprüfen, überwachen Sie die ColdToWarmMigrationQueueSize-Metrik. Der Migrationsprozess weist die folgenden Zustände auf:

ACCEPTED_MIGRATION_REQUEST - Migration request is accepted and queued.
RUNNING_INDEX_CREATION - Migration request is picked up for processing and will create warm indexes in the cluster.
PENDING_COLD_METADATA_CLEANUP - Warm index is created and the migration service will attempt to clean up cold metadata.
RUNNING_COLD_METADATA_CLEANUP - Cleaning up cold metadata from the indexes migrated to warm storage.
FAILED_COLD_METADATA_CLEANUP - Failed to clean up metadata in the cold tier.
FAILED_INDEX_CREATION - Failed to create an index in the warm tier.

Wiederherstellen von Cold-Indizes aus Snapshots

Wenn Sie einen gelöschten kalten Index wiederherstellen müssen, können Sie ihn wieder auf die warme Ebene zurücksetzen, indem Sie den Anweisungen unter folgen Wiederherstellen von Warm-Indizes aus Snapshots und den Index dann wieder auf die kalte Ebene migrieren. Sie können einen gelöschten Cold-Index nicht direkt wieder auf die Cold-Ebene zurücksetzen. OpenSearch Der Service bewahrt Cold-Indizes 14 Tage lang nach dem Löschen auf.

Abbruch von Migrationen von Cold- zu Warm-Speicher

Wenn eine Indexmigration von Cold- zu Warm-Speicher in die Warteschlange gestellt wird oder sich in einem fehlgeschlagenen Zustand befindet, können Sie sie mit der folgenden Anforderung abbrechen:

POST _cold/migration/my-index/_cancel

{
  "acknowledged" : true
}

Um die Migration für einen Batch von Indizes abzubrechen (maximal 10 gleichzeitig), geben Sie die Migrations-ID an:

POST _cold/migration/_cancel?migration_id=my-migration-id

{
  "acknowledged" : true
}

Rufen Sie die Migrations-ID mit der Statusanforderung ab.

Cold-Index-Metadaten aktualisieren

Sie können die start_time- und end_time-Felder für einen Cold-Index aktualisieren:

PATCH _cold/my-index
 {
 "start_time": "2020-01-01",
 "end_time": "2020-02-01"
 }

Sie können nicht die timestamp_field eines Indexes im Cold-Speicher aktualiseiren.

Cold-Indizes löschen

Wenn Sie keine ISM-Richtlinie verwenden, können Sie Cold-Indizes manuell löschen. Die folgende Anforderung löscht einen Cold-Index:

DELETE _cold/my-index

{
  "acknowledged" : true
}

Deaktivieren von Cold-Speicherung

Die OpenSearch Service-Konsole ist die einfachste Möglichkeit, Cold-Speicherung zu deaktivieren. Wählen Sie die Domäne aus und wählen Sie Aktionen, Clusterkonfiguration bearbeiten und deaktivieren Sie dann Cold-Speicher aktivieren.

Um die AWS CLI oder die Konfigurations-API zu verwendenColdStorageOptions, setzen Sie unter"Enabled"="false".

Bevor Sie den Cold-Speicher deaktivieren, müssen Sie entweder alle Cold-Indizes löschen oder sie wieder in den Warm-Speicher migrieren. Andernfalls schlägt die Deaktivierungsaktion fehl.