分析模型自定义作业的结果 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

分析模型自定义作业的结果

模型定制任务完成后,您可以分析自定义过程的结果。以下项目将上传到您在创建模型自定义任务时指定的 S3 存储桶:

  • 训练和验证指标 — Amazon Bedrock 为所有模型定制任务提供训练指标。一些模型定制任务中还包含验证指标。

  • 合成数据(仅限模型蒸馏)— Amazon Bedrock 从您的教师模型生成的合成数据集中的示例提示,用于在蒸馏作业中微调您的学生模型。这些信息可以帮助您进一步了解和验证您的自定义模型是如何训练的。

  • 即时见解(仅限模型蒸馏)— 一份关于蒸馏过程中被接受和拒绝的输入提示(以及原因)的报告。如果您需要运行其他蒸馏作业,这些信息可以帮助您修复和完善提示。

Amazon Bedrock 将您的自定义模型存储在您的 AWS 托管存储空间中。 AWS 账户

您还可以运行模型评估作业来评估模型。有关更多信息,请参阅 评估 Amazon Bedrock 资源的性能

以下示例显示了您可以在 S3 存储桶中优化训练和验证指标的位置:

- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv

使用 step_wise_training_metrics.csvvalidation_metrics.csv 文件可分析模型自定义作业,并根据需要借助它们调整模型。

step_wise_training_metrics.csv 文件中的列如下所示。

  • step_number— 培训过程中的步骤。从 0 开始。

  • epoch_number— 训练过程中的时代。

  • training_loss— 表示模型与训练数据的拟合程度。值越低表示拟合度越高。

  • perplexity— 表示模型预测代币序列的效果如何。值越低表示预测能力越大。

validation_metrics.csv 文件中的列与训练文件相同,唯一的不同是,validation_loss(模型与验证数据的拟合程度)代替了training_loss

您可以通过直接打开 https://console.aws.amazon.com/s3 或在模型详细信息中找到输出文件夹的链接来查找输出文件。选择您首选方法的选项卡,然后按照以下步骤操作:

Console
  1. AWS Management Console 使用具有 Amazon Bedrock 权限的 IAM 角色登录,然后通过以下网址打开 Amazon Bedrock 控制台。https://console.aws.amazon.com/bedrock/

  2. 在左侧导航窗格的基础模型下,选择自定义模型

  3. 模型选项卡上,选择模型以查看其详细信息。作业名称可以在模型详细信息部分中找到。

  4. 要查看输出 S3 文件,请在输出数据部分中选择 S3 位置

  5. 在名称与模型作业名称一致的文件夹中找到训练指标文件和验证指标文件。

API

要列出有关您的所有自定义模型的信息,请使用 Amazon Bedrock 控制平面终端节点发送请求 ListCustomModels(查看请求和响应格式以及字段详情链接)。ListCustomModels有关可以使用的过滤器,请参阅。

要列出自定义模型的所有标签,请使用 Amazon Bedrock 控制平面终端节点发送ListTagsForResource请求,并附上该自定义模型的亚马逊资源名称 (ARN)。

要监控模型自定义任务的状态,请使用带有 Amazon Bedrock 控制平面终端节点的请求发送 GetCustomModel(请求和响应格式以及字段详情参见链接)modelIdentifier,即以下任一方式。

  • 您为模型指定的名称。

  • 模型的 ARN。

您可以在GetModelCustomizationJobGetCustomModel响应中查看模型自定义任务的trainingMetricsvalidationMetrics

要下载训练指标文件和验证指标文件,请按照下载对象中的步骤操作。使用您在 outputDataConfig 中提供的 S3 URI。

参阅代码示例

OSZAR »
OSZAR »