AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强_每日快讯(日常热点指南)

AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强


AI佟湘玉 PK AI吕秀才!人大和北邮联合发布的评测基准,能分辨大模型角色扮演哪家强

  2024-01-11 19:41:39     简体|繁體
http://news.qghjm.com/1034872.html

原文来源:品玩

作者:吕可

图片来源:由无界 AI生成

Role-Playing Conversational Agents(RPCA)是一类对话代理,它们被设计成能够模仿特定角色或人物进行对话。这些角色通常来自于现有的文学作品、电影、卡通、游戏等,具有特定的知识、行为和回应风格。RPCA的目标是与用户进行沉浸式的互动,提供情感价值而非仅仅是信息或生产力。

与传统的聊天机器人不同,RPCA更注重于角色扮演和情感交流。它们能够根据用户的输入,以特定角色的身份进行回应,从而创造出一种仿佛与真实人物对话的体验。这种类型的对话代理在娱乐、教育、心理辅导等领域有着广泛的应用前景,因为它们能够提供更加个性化和情感化的交互体验。

RPCA的挑战在于如何准确地模拟角色的知识、行为和风格,同时保持对话的连贯性和吸引力。为了评估这些代理的性能,来自中国人民大学高瓴人工智能学院的三位研究者联手北京邮电大学人工智能学院共同推出了一个名为CharacterEval的中文基准测试。并辅以一个量身定制的高质量数据集。

该数据集由 1785 个多回合角色扮演对话组成,包含 23020 个例子和 77 个来自中国小说和剧本的角色。比如《武林外传》中的佟湘玉和吕秀才。CharacterEval 可以直接让不同的大模型生成这两个角色进行对话,并根据基准测试的标准来给出相应的能力评分。

作为基准测试,CharacterEval 采用多维度评估方式,包括对话能力、角色一致性、角色扮演模式以及个性测试四个维度,每个维度还有不同的指标,一共十三个具体指标。

对话能力(Conversational Ability)

  • 流畅性(Fluency):衡量响应的语法正确性和可读性。
  • 连贯性(Coherency):评估响应与对话上下文的相关性。
  • 一致性(Consistency):检查RPCA在对话中是否保持一致性,避免自相矛盾。

角色一致性(Character Consistency)

  • 知识曝光(Know-Exposure, KE):评估RPCA在响应中提供的信息量。
  • 知识准确性(Know-Accuracy, KA):衡量RPCA基于角色知识生成响应的准确性。
  • 知识幻觉(Know-Hallucination, KH):评估RPCA在缺乏知识时是否会产生幻觉。
  • 角色行为(Persona-Behavior, PB):评估RPCA的行为描述是否符合角色特征。
  • 角色台词(Persona-Utterance, PU):检查RPCA的说话风格是否与角色相符。

角色扮演吸引力(Role-playing Attractiveness)

  • 人类相似度(Human-Likeness, HL):评估RPCA的响应是否具有人类特征。
  • 沟通技巧(Communication Skills, CS):衡量RPCA在对话中的沟通能力。
  • 表达多样性(Expression Diversity, ED):检查RPCA在对话中是否展现出多样性。
  • 同理心(Empathy, Emp):评估RPCA在对话中表达同理心的能力。

个性测试(Personality Back-Testing)

  • MBTI准确性(MBTI Accuracy):使用Myers-Briggs Type Indicator(MBTI)个性类型作为参考,评估RPCA在个性测试中的准确性。

研究团队还推出了一个名为 CharacterRM 的奖励模型,用于对主观指标的评估。CharacterRM 通过与人类判断的相关性来评估RPCA在主观指标上的表现。而根据实验结果,其性能优于GPT-4,当人这只能说是角色扮演这方面。

研究团队用了几个比较常用的 AI 大模型进行了测试,其中包括常见的 ChatGLM3-6B、GPT-4、minimax、Baichuan2-13B等,并根据他们的表现给出了评分。

CharacterEval 的诞生,填补了角色扮演对话代理(RPCAs)领域缺乏全面评估基准的空白。而他的发布也有助于该领域的发展以及以及用户体验提升。

研究团队先已经放出了CharacterEval 相关数据集、论文等信息,感兴趣的人可以通过GitHub访问。此外,该测试的代码也将会在不久后更新在其 GitHub页面中。

论文地址:GitHub - morecry/CharacterEval: repository for CharacterEval, a benchmark for role-playing conversation

Arxiv地址:https://arxiv.org/abs/2401.01275



编辑:web3528btc 来源:加密钱包代币

免责声明:以上文章内容信息均搜集自互联网或用户发布,并不代表本站观点或立场,本站不对其真实合法性负责。如有信息侵犯了您的权益,请联系本站将立即删除。
分享到:

  • 上一篇
    下一篇

  • 今日要闻|实事关注

    每日快讯(日常热点指南)
    手机查看(二维码扫一扫)

    每日快讯网为您提供最新的行业简讯、新闻报道,以及今日热点内容,重大事件等实时资讯,24小时不间断播报,让您获得最新行业信息。
    « 2025年 » « 07月 »
    123456
    78910111213
    14151617181920
    21222324252627
    28293031

    最新资讯

    [开户代运营]抖音,百度(baidu),快手企业贷,需要联系
  • 2025-07-28 10:25:37

     

    [开户代运营]我需要侦探调查运营
  • 2025-07-28 10:17:31

     

    [开户代运营]作为11年老牌抖音一代的代运营服务!!!
  • 2025-07-28 10:09:25

     

    [开户代运营]千川品牌收二代,品牌对公2-2.5稳全年秒充值,消耗大返点可谈
  • 2025-07-28 10:01:19

     

    [开户代运营]巨量AD,腾讯,凤凰等, 珠宝手串,茶叶海参,AI短视频剪辑培训等可跑加粉,下单直购
  • 2025-07-28 09:53:12

     

    人寿保险理赔案例分析,理赔多久到账?
  • 2025-07-28 09:45:07

     

    保险年金险的优势和特点有哪些?这三类人非常合适!
  • 2025-07-28 09:37:00

     

    [开户代运营]百度(baidu)ada全病种户、流量卡、游戏、旅游、教育、口腔信息流等 都有户,欢迎咨询
  • 2025-07-28 09:28:54

     

    [开户代运营]抖音食品cid,表单接代运营,不包素材,欢迎咨询代运营案例
  • 2025-07-28 09:20:48

     

    徐志胜回应“一家人共用一张脸”,爆料父亲被说长得好像徐志胜
  • 2025-07-28 09:12:42

     

    王菲谢霆锋祈福照引热议,感情波折令人唏嘘
  • 2025-07-28 09:04:36

     

    北京卫视上星!41集谍战剧来袭,沙溢、曹炳琨、韩童生领衔主演
  • 2025-07-28 08:56:29

     

    短国陈添祥“小眼睛贵公子”才华出众,合作7女主部部热各个靓!
  • 2025-07-28 08:48:23

     

    “林允写真炸裂!立方娱乐发的这一张图太绝了!”
  • 2025-07-28 08:40:17

     

    李雪琴:那个在娱乐圈里替普通人说话的女孩
  • 2025-07-28 08:32:11