登陆注册
13008

复旦、人大等发布大五人格+MBTI测试 角色扮演AI特质还原率达82.8%

站长网2023-11-20 12:05:391

要点:

复旦大学和中国人民大学联合Chat凉宫春日团队发布的研究强调,评价AI角色扮演的关键在于良好的人设还原度,其特质还原率达到82.8%。

使用大五人格的NEO-FFI问卷和MBTI的16Personalities测试,研究人员通过LLM进行引导式开放式问答,对AI角色进行全面的人格测试,从心理学的角度研究角色扮演AI的行为模式。

研究者提出了一套面谈式人格测试框架,利用开放式问答,通过LLM预测角色扮演AI的人格特质,实验结果显示在大五人格和MBTI测试上达到了82.8%的还原率。

近期,由复旦大学和中国人民大学合作的Chat凉宫春日团队发布了一项关于AI角色扮演的研究。该研究强调了良好的人设还原度对于评价AI角色扮演的重要性,特质还原率高达82.8%。研究使用了大五人格的NEO-FFI问卷和MBTI的16Personalities测试,并通过LLM进行引导式开放式问答,全面测试了AI角色的人格。这一面谈式人格测试框架的提出,为评估角色扮演AI的人格特质提供了新的方法。

项目地址:https://github.com/LC1332/Chat-Haruhi-Suzumiya/tree/main/research/personality

随着大语言模型的发展,基于这些模型的角色扮演聊天机器人在全球范围内引起了广泛关注。相较于传统聊天机器人的繁琐工程,现今的大语言模型能够轻松构建具备不同身份、人格、记忆和语言习惯的角色扮演AI。然而,对于角色扮演AI的分析性研究仍然相当匮乏,尤其是在对它们的评估上。这项研究通过使用心理学的人格相关理论,从大五人格和MBTI等维度对角色扮演AI进行了人格测试,为这一领域的研究提供了新的视角。

研究者提出的面谈式人格测试框架通过开放式问答,使得角色扮演AI的评估更为全面。与传统的Likert Scale相比,这种框架能够更好地激发角色扮演AI的扮演行为,减少对底座LLM训练数据的影响。实验结果显示,现有的角色扮演AI在大五人格和MBTI测试上的还原率达到了82.8%。

研究者指出,这些结果仍受到底座LLM的先验影响,表现为在某些维度上的平均得分与底座模型较为一致。为了研究这一点,研究者比较了不同底座模型对角色扮演AI的影响,发现在某些维度上存在一致性,但在其他维度上并没有明显的相关关系。

综合而言,这项研究为评估AI角色扮演的人格特质提供了新的方法和视角,同时也揭示了在现有技术中存在的一些挑战和限制。未来,随着技术的不断发展,角色扮演AI的人格还原度和表现可能会得到进一步提升。

0001
评论列表
共(0)条