不过我们从这些标准也可以看出敏感言论的重要性，尤其是对像 ChatGPT 这类生成型应用和产品来说，应该是从一开始就要重点考虑的。这块有个相关的领域：可控文本生成，不过这里的控制更多是反向的——不想生成某类结果。常用的方案是用一个属性判别模型将属性相关信息注入到生成过程中，比如 PPLM【相关文献5】、Gedi【相关文献6】。RLHF（Reinforcement Learning from Huamn Feedback）流行之后，除了 InstructGPT【核心文献1】外，还有一篇出自 Allen AI 的 Quark【相关文献7】可以关注。

回到标注人员，InstructGPT 对标注人员进行了基本的统计，包括：性别、种族、国家、年龄、最高学历等。数据来自标注人员自愿的匿名调查，共收集到 19 份。整体男女比例相当，东南亚占了一半以上，大部分在 35 岁以下，本科占了一半以上。我们这里仅列出国家分布情况：

排在前两位的分别是菲律宾和孟加拉国。这些基本统计可以从侧面提供一些辅助佐证信息，比如国家分布范围越广泛，标注结果的可适用性也越广。

此外，还有一份对标注人员满意度的调查，也出自上面那 19 份。调查的内容包括：说明清晰、任务有趣、任务重复、报酬合理等。总体来看，标注人员满意度较高。

最后，还需要给标注人员一个统一的用户界面，可以方便地进行各种标注任务。比如 InstructGPT 提供的下面这个页面，标注人员需要对整体质量给一个 Likert 分数（1-7 分），还需要提供各种元标签。

需要说明的是，研究人员也使用这一套工具。关于这些元信息，我们在下一节介绍。

标注规范

标注规范是整个标注工作的行为指南，其中最关键的是制定标注标准，即明确告诉标注人员，对每个任务期望给出什么结果。对此，InstructGPT 给出了三个考量指标：有帮助（helpful）、真实性（truthfulness）和无害性（harmlessness）。标注人员的工作是评估模型输出，确保它们有帮助、真实和无害。需要说明的是，在训练时，优先考虑有帮助作为最重要的标准，但在最终评估时，优先考虑真实性和无害性。

关键指标

「有帮助」的意思是，输出应该遵循用户的意图，并帮助用户解决他们的任务。一些有帮助的行为示例（输出满足这些的可以认为有帮助）：

用清晰的语言写作。回答他们想问的问题，即使问错了。对国际性敏感（比如 “football” 不应该指美式足球，“总统” 不一定指美国总统）。如果指令（Instruction）太困惑，要求澄清并解释指令为什么困惑。不给出过长或冗长的答案，或重复问题中的信息。不要在给定的内容之外假设无关的额外上下文（除非是关于世界的事实），除非这是任务的隐含部分。比如，要求 “礼貌地回复这封电子邮件：{email body}”，输出不应该假设 “我这次不能来，但下周末有空”。但如果被要求 “给苏格拉底写一封电子邮件”，那么可以放心地使用该假设。

「真实性」的意思是，输出包含准确的信息，不会误导用户。一些真实性行为的实例：