本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
分析模型自定义作业的结果
模型定制任务完成后,您可以分析自定义过程的结果。以下项目将上传到您在创建模型自定义任务时指定的 S3 存储桶:
-
训练和验证指标 — Amazon Bedrock 为所有模型定制任务提供训练指标。一些模型定制任务中还包含验证指标。
-
合成数据(仅限模型蒸馏)— Amazon Bedrock 从您的教师模型生成的合成数据集中的示例提示,用于在蒸馏作业中微调您的学生模型。这些信息可以帮助您进一步了解和验证您的自定义模型是如何训练的。
-
即时见解(仅限模型蒸馏)— 一份关于蒸馏过程中被接受和拒绝的输入提示(以及原因)的报告。如果您需要运行其他蒸馏作业,这些信息可以帮助您修复和完善提示。
Amazon Bedrock 将您的自定义模型存储在您的 AWS 托管存储空间中。 AWS 账户
您还可以运行模型评估作业来评估模型。有关更多信息,请参阅 评估 Amazon Bedrock 资源的性能。
以下示例显示了您可以在 S3 存储桶中优化训练和验证指标的位置:
- model-customization-job-
training-job-id
/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv
使用 step_wise_training_metrics.csv
和 validation_metrics.csv
文件可分析模型自定义作业,并根据需要借助它们调整模型。
step_wise_training_metrics.csv
文件中的列如下所示。
-
step_number
— 培训过程中的步骤。从 0 开始。 -
epoch_number
— 训练过程中的时代。 -
training_loss
— 表示模型与训练数据的拟合程度。值越低表示拟合度越高。 -
perplexity
— 表示模型预测代币序列的效果如何。值越低表示预测能力越大。
validation_metrics.csv
文件中的列与训练文件相同,唯一的不同是,validation_loss
(模型与验证数据的拟合程度)代替了training_loss
。
您可以通过直接打开 https://console.aws.amazon.com/s3