AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强_每日快讯(日常热点指南)

AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强


AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强

  2024-01-11 19:41:39     简体|繁體
http://news.qghjm.com/1034872.html

原文来源:品玩

作者:吕可

图片来源:由无界 AI生成

Role-Playing Conversational Agents(RPCA)是一类对话代理,它们被设计成能够模仿特定角色或人物进行对话。这些角色通常来自于现有的文学作品、电影、卡通、游戏等,具有特定的知识、行为和回应风格。RPCA的目标是与用户进行沉浸式的互动,提供情感价值而非仅仅是信息或生产力。

与传统的聊天机器人不同,RPCA更注重于角色扮演和情感交流。它们能够根据用户的输入,以特定角色的身份进行回应,从而创造出一种仿佛与真实人物对话的体验。这种类型的对话代理在娱乐、教育、心理辅导等领域有着广泛的应用前景,因为它们能够提供更加个性化和情感化的交互体验。

RPCA的挑战在于如何准确地模拟角色的知识、行为和风格,同时保持对话的连贯性和吸引力。为了评估这些代理的性能,来自中国人民大学高瓴人工智能学院的三位研究者联手北京邮电大学人工智能学院共同推出了一个名为CharacterEval的中文基准测试。并辅以一个量身定制的高质量数据集。

该数据集由 1785 个多回合角色扮演对话组成,包含 23020 个例子和 77 个来自中国小说和剧本的角色。比如《武林外传》中的佟湘玉和吕秀才。CharacterEval 可以直接让不同的大模型生成这两个角色进行对话,并根据基准测试的标准来给出相应的能力评分。

作为基准测试,CharacterEval 采用多维度评估方式,包括对话能力、角色一致性、角色扮演模式以及个性测试四个维度,每个维度还有不同的指标,一共十三个具体指标。

对话能力(Conversational Ability)

  • 流畅性(Fluency):衡量响应的语法正确性和可读性。
  • 连贯性(Coherency):评估响应与对话上下文的相关性。
  • 一致性(Consistency):检查RPCA在对话中是否保持一致性,避免自相矛盾。

角色一致性(Character Consistency)

  • 知识曝光(Know-Exposure, KE):评估RPCA在响应中提供的信息量。
  • 知识准确性(Know-Accuracy, KA):衡量RPCA基于角色知识生成响应的准确性。
  • 知识幻觉(Know-Hallucination, KH):评估RPCA在缺乏知识时是否会产生幻觉。
  • 角色行为(Persona-Behavior, PB):评估RPCA的行为描述是否符合角色特征。
  • 角色台词(Persona-Utterance, PU):检查RPCA的说话风格是否与角色相符。

角色扮演吸引力(Role-playing Attractiveness)

  • 人类相似度(Human-Likeness, HL):评估RPCA的响应是否具有人类特征。
  • 沟通技巧(Communication Skills, CS):衡量RPCA在对话中的沟通能力。
  • 表达多样性(Expression Diversity, ED):检查RPCA在对话中是否展现出多样性。
  • 同理心(Empathy, Emp):评估RPCA在对话中表达同理心的能力。

个性测试(Personality Back-Testing)

  • MBTI准确性(MBTI Accuracy):使用Myers-Briggs Type Indicator(MBTI)个性类型作为参考,评估RPCA在个性测试中的准确性。

研究团队还推出了一个名为 CharacterRM 的奖励模型,用于对主观指标的评估。CharacterRM 通过与人类判断的相关性来评估RPCA在主观指标上的表现。而根据实验结果,其性能优于GPT-4,当人这只能说是角色扮演这方面。

研究团队用了几个比较常用的 AI 大模型进行了测试,其中包括常见的 ChatGLM3-6B、GPT-4、minimax、Baichuan2-13B等,并根据他们的表现给出了评分。

CharacterEval 的诞生,填补了角色扮演对话代理(RPCAs)领域缺乏全面评估基准的空白。而他的发布也有助于该领域的发展以及以及用户体验提升。

研究团队先已经放出了CharacterEval 相关数据集、论文等信息,感兴趣的人可以通过GitHub访问。此外,该测试的代码也将会在不久后更新在其 GitHub页面中。

论文地址:GitHub - morecry/CharacterEval: repository for CharacterEval, a benchmark for role-playing conversation

Arxiv地址:https://arxiv.org/abs/2401.01275



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2022年 » « 06月 »
    12345
    6789101112
    13141516171819
    20212223242526
    27282930

    最新资讯

    发现黑科技!长春光博会上的AI教育神器火出圈
  • 2025-06-11 15:51:25

     

    一觉醒来,iOS 19直接变iOS 26!iPhone还将提醒相机镜头脏了
  • 2025-06-11 15:47:19

     

    九门开机!陈伟霆军装再现,赵丽颖缺席新女主曝光引遗憾
  • 2025-06-11 15:43:16

     

    成都世运会竞赛组织工作会议召开
  • 2025-06-11 15:39:12

     

    阳信县中医医院:热忱服务暖患者 精心呵护除病痛
  • 2025-06-11 15:35:09

     

    盐城经开区:风吹麦浪绘“丰”景
  • 2025-06-11 15:31:05

     

    果然财经|他们不远千里自驾游“千里山海”,威海房租被带上去了
  • 2025-06-11 15:27:01

     

    发现黑科技!长春光博会惊现“激光防御卫士”
  • 2025-06-11 15:22:58

     

    信州公安2025年高考圆满交上一份“平安答卷”
  • 2025-06-11 15:18:54

     

    筑牢防溺水安全网 新余市渝水区姚圩中学开展防溺水应急救护培训讲座
  • 2025-06-11 15:14:51

     

    一分钟读懂轮廓美学 北京煤医陶泓旭主任揭秘/
  • 2025-06-11 15:10:47

     

    美团逾期接电话了也会爆通讯录吗?催收怎么办啊?
  • 2025-06-11 15:06:44

     

    [开户代运营]快手股票直播短视频旅游,码字,维权,网店创业,婚恋,骨病,肠胃,黄金回收现户高点!!
  • 2025-06-11 15:02:40

     

    [开户代运营]360(so)、百度(baidu)信息流小病种户包过素材带运营
  • 2025-06-11 14:58:36

     

    [开户代运营]:抖音赛事直播app的投放,日耗欧洲杯最高170万/天,已经跑了好几年,专业运营推广
  • 2025-06-11 14:54:33