没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
2023/6/28 10:54
斯坦福| ChatGPT用于生成式搜索引擎的可行性
https://mp.weixin.qq.com/s/83PQsumqjecY7B0Rh2brag
1/11
斯坦福| ChatGPT用于生成式搜索引擎的可行性
文 | 智 商 掉 了 一 地
随着 ChatGPT 在文本生成领域迈出了重要一步,Bing 浏览器也接入了聊天机器人功能,因此
如何保证 Bing Chat 等搜索引擎结果的精确率和真实性也成为了搜索领域的热门话题之一。
当我们使用搜索引擎时,往往希望搜索结果能够真实准确地反映我们的需求。然而,由于搜索
引擎的信息庞杂和繁复架构,可能会存在一些错误和欺骗性的信息。这不仅影响到我们获取信
息的质量,也会影响到我们对搜索引擎的信任和使用。
值得信赖的生成式搜索引擎的一个先决条件是可验证性,即系统应该引 用 全 面 且 准 确 。
近日斯坦福大学的一项新研究提供了方法,即评 估 生 成 式 搜 索 引 擎 的 可 验 证 性 。这意味着评
估搜索引擎算法和模型的质量,能检验搜索结果的真实性和精确率,并且也能进一步推动搜索
引擎的透明度和可信度。咱们一起来看看这项研究,希望可以让打开这篇文章的你了解一些关
于生成式搜索引擎评估的细节,并激发对这一方向未来发展的思考与探索。
论 文 题 目 :
Evaluating Verifiabilityin Generative SearchEngines
论 文 链 接 :
https://arxiv.org/abs/2304.09848
代 码 地 址 :
https://github.com/nelson-liu/evaluating-verifiability-in-generative-search-engines
智商碎了一地 2023-04-24 12:05 发表于北京
原创
夕小瑶科技说
2023/6/28 10:54
斯坦福| ChatGPT用于生成式搜索引擎的可行性
https://mp.weixin.qq.com/s/83PQsumqjecY7B0Rh2brag
2/11
生成式搜索的可验证性探索
一个可信赖的生成式搜索引擎所必须具备的先决条件就是可验证性。也就是说,有关外部世界
的每个生成回复都应该得到一组在线引用的充分支持,同时每个提供的引用都应支持其相关的
回复。通过可验证性,读者能够轻易检查任何生成的回复能否得到其所引用的来源的支持。
作者使用人工评估,对四个流行的商业化生成式搜索引擎针对不同类型查询进行了比较。对于
每个查询-回复对,利用人工评估来衡量各种方面的维度:
流畅性(生成的文本是否流畅和连贯);
感知效用(经济学术语,用户主观感受到的满意程度,即回复是否对问题有帮助和信息量
丰富的答案,在后文中为了便于理解,将用实用性来替代该词汇);
引用召回率(关于外部世界的生成的回复中,被其引用完全支持的比例);
引用精确率(生成的引用支持其关联回复的比例)。
对 于 来 自 NaturalQuestions( 自 然 问 题 ) 的 各 种 历 史 谷 歌 用 户 查 询 , 以 及 来 自 Reddit 的 动
态、开放式问题,回复详情如表 1 中的示例,其中查询来自不同来源,需要从不同答案类型中
获取知识。
▲表1 每个评估查询分布的示例查询
2023/6/28 10:54
斯坦福| ChatGPT用于生成式搜索引擎的可行性
https://mp.weixin.qq.com/s/83PQsumqjecY7B0Rh2brag
3/11
由此,一个可信赖的生成式搜索引擎应该实现高 引 用 召 回 率 和 精 确 率 ,表明其所生成的引用
是全面(每个生成的回复都由引用完全支持)和正确的(每个引用都支持其关联的回复)。
而针对前面所述的四个评估维度,现有的生成式搜索引擎回复通常具有高流畅性和实用性,但
经常包含不支持的回复或不准确的引用(不满足召回率和精确率要求),甚至与高流畅性和实
用性呈负相关。例如在图 1 中,对 James Webb 太空望远镜知之甚少的用户可能很难辨别生成
的回答中哪些陈述没有得到外部可信来源的支持,也表明了并 非 所 有 生 成 的 回 复 都 得 到 引 用
的 完 全 支 持 ( 引 用 召 回 率 ) , 也 不 是 每 个 引 用 都 支 持 其 相 关 回 复 ( 引 用 精 确 率 ) 。
▲图1 生成式搜索引擎通过生成定制化的回复和在线引用来回答用户的查询
由此,为了便于进一步开发可信生成式搜索引擎的工作,作者发布了人工评估注释。
剩余10页未读,继续阅读
资源评论
地理探险家
- 粉丝: 1046
- 资源: 5416
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于Javascript的诊所管理系统设计源码
- 人工智能在电子信息管理系统中的应用与效率优化研究
- 详解protobuf-c之在C语言中如何使用repeated生成数组和字符串(包含配置pb-callback-t)
- Python 程序语言设计模式思路-并发模式:消费者模式:协调生产者和消费者之间的数据交换
- pythonA*算法(A-star algorithm),寻路算法
- guitest.zip
- udp_echo.v
- udp_echo_server.v
- python双向广度优先搜索算法(Bidirectional Breadth-First Search, BBFS),寻路算法
- python迭代加深算法(Iterative Deepening Depth-First Search, IDDFS),寻路算法
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功