针对使用案例自定义模型以提高其性能

蒸馏

使用蒸馏将知识从更大、更智能的模型（称为教师）转移到更小、更快、更具成本效益的模型（称为学生）。Amazon Bedrock 使用最新的数据合成技术从教师模型中生成多样化、高质量的回复，并对学生模型进行微调，从而实现蒸馏过程的自动化。

要使用提炼，您需要选择一个教师模型，该模型要在用例中达到准确性，然后选择一个要微调的学生模型。然后，提供特定于用例的提示作为输入数据。Amazon Bedrock 根据给定提示从教师模型生成响应，然后使用这些响应来微调学生模型。您可以选择以提示-响应对的形式提供带标签的输入数据。

有关使用蒸馏的更多信息，请参阅在 Amazon Bedrock 中使用蒸馏功能自定义模型。

微调

提供带标签的数据来训练模型，以提高模型在特定任务中的性能。通过提供带标签的训练数据集样本，模型可以学会将某些类型的输入应产生哪些类型的输出关联起来。在此过程中，模型参数会得到调整，模型性能也会针对训练数据集所代表的任务得到提高。

继续进行预训练

提供无标记数据，通过让基础模型熟悉某些类型的输入来对其进行预训练。您可以提供特定主题的数据，以便让模型接触这些领域。持续预训练过程将调整模型参数，以适应输入数据并提高其领域知识。

例如，您可以使用私有数据（例如业务文档）来训练模型，这些数据不会公开用于训练大型语言模型。此外，您还可以使用更多可用的未标记数据重新训练模型，从而不断改进模型。