根据斯坦福大学的一项研究，ChatGPT的性能在某个时间段内曾出现下降趋势。研究指出，尽管ChatGPT在发布初期表现出色，能够生成高质量的文本并完成复杂的任务，但在后续的更新中，其性能在某些方面有所下降。具体表现为，模型在处理数学问题、生成代码以及回答复杂问题时，准确性和一致性有所降低。研究人员推测，性能下降可能与模型的参数调整、训练数据的变更或优化策略的调整有关。尽管存在这种波动，ChatGPT仍然是一个强大的自然语言处理工具，广泛应用于多个领域。研究团队建议进一步优化模型的训练和评估机制，以确保其性能的稳定性和持续提升。
近年来，大语言模型（LLM）在人工智能领域的应用日益广泛，成为推动技术创新的核心力量，作为生成式人工智能（AIGC）的重要组成部分，GPT系列模型的表现备受关注，斯坦福大学与加州大学伯克利分校的研究团队在《哈佛数据科学评论》上发表了一项重要研究，题为《ChatGPT行为随时间变化》，该研究通过对GPT-3.5和GPT-4在多项任务中的表现进行深度分析，揭示了模型性能随时间的动态变化趋势。
研究背景与方法
研究团队以多样性和代表性为原则，选取了7项核心任务对GPT-3.5和GPT-4（2023年3月和6月版本）进行系统性评估，这些任务包括数学问题、代码生成、多跳知识密集型问答、美国医学执照考试（USMLE）等，旨在全面考察模型在不同领域的表现。
为了深入理解模型的行为变化，研究人员还设计了一套新的基准测试，专注于评估模型对指令的遵循能力，测试内容包括答案提取、停止道歉、避免特定词汇和内容过滤四大类指令，以衡量模型在特定任务中的灵活性和可靠性。
关键发现：模型性能的显著波动
1、数学任务表现的变化
研究显示，GPT-4在2023年3月能够以84%的准确率区分质数与合数，但到6月，这一能力大幅下降至51%，这种变化可能与模型在“思维链”提示（Chain-of-Thought Prompting）上的能力减弱有关，而有趣的是，GPT-3.5在同一时期内的表现却有所提升，显示出两个模型在性能上的差异化趋势。
2、指令遵循能力的退化
在指令遵循方面，GPT-4的表现也出现了显著下滑，在答案提取任务中，3月版本的遵循率高达99.5%，而6月版本几乎不再遵循此类指令，类似地，内容过滤指令的遵循率从74.0%下降至19.0%，表明模型在处理特定约束时的能力有所减退。
3、代码生成与推理任务的差异
在代码生成任务中，GPT-4和GPT-3.5的输出格式错误率均有所增加，GPT-4在多步推理任务上的表现有所提升，而GPT-3.5则表现下滑，这种差异可能与模型架构和训练策略的调整有关。
4、敏感问题处理的谨慎性
研究还发现，GPT-4在6月版本中对敏感问题和意见调查的回应意愿降低，显示出模型在内容安全性和合规性方面的调整。
评估指标与结果分析
数学任务与USMLE：以准确性为主要指标，衡量模型给出正确答案的比例。
代码生成：以代码可执行性为核心指标，评估生成代码能否直接运行并通过单元测试。
指令遵循能力：通过4类指令测试，衡量模型对用户需求的响应能力和灵活性。
研究结果显示，GPT-4在指令遵循能力上的退化最为显著，在“停止道歉”指令测试中，6月版本的GPT-4频繁违背用户要求，即使在明确指示下仍会生成包含“抱歉”或自我标识为AI的回应，这种变化表明，模型在处理用户个性化需求时的能力有所下降。
指令评估的四大发现
1、答案提取指令
3月版本的GPT-4能够以99.5%的准确率提取答案，而6月版本几乎不再遵循此类指令，显示出模型在处理明确格式要求上的退化。
2、停止道歉指令
6月版本的GPT-4频繁违背用户要求，生成包含“抱歉”或自我标识为AI的回应，表明其在处理个性化需求方面的退步。
3、避免特定词汇指令
GPT-4在3月版本中能够较好地避免特定词汇，但在6月版本中表现大幅下滑，表明其对复杂指令的处理能力有所减退。
4、内容过滤指令
6月版本的GPT-4在内容过滤任务中的表现显著下降，仅19%的敏感问题处理得当，凸显了模型在内容安全性和合规性方面的挑战。
研究意义与启示
由于GPT-3.5和GPT-4均为闭源模型，OpenAI并未公开其详细的训练数据和更新流程，用户和开发者往往难以全面了解模型在版本更新中的具体变化，本研究的价值在于，通过系统性的评估方法，揭示了模型性能的动态变化，为开发者和用户提供了重要的参考依据。
这一研究不仅有助于理解大语言模型的行为演变，还为模型的优化和改进提供了方向，特别是在模型安全性、内容真实性和指令遵循能力方面，研究结果具有重要的实践意义。
大语言模型的发展是一个动态的过程，其性能和行为的演变受到多种因素的影响，斯坦福大学与加州大学伯克利分校的研究为我们提供了宝贵的洞察，揭示了GPT-3.5和GPT-4在时间维度上的性能波动，这些发现不仅有助于推动模型技术的进步，也为未来的研究和应用提供了重要的参考。