集束搜索(Beam Search)

摘要:
结果表明,经典的波束搜索算法以最大后验概率为优化目标函数,每个时间步长只保留B个最优状态,这是一种典型的贪婪算法。

简介

部分参考简书文章【Beam Search原理及应用】【Beam_search集束搜索】.
一种启发式图搜索算法,通常用在图的解空间比较大的情况下,为了减少搜索所占用的空间和时间,在每一步深度扩展的时候,剪掉一些质量比较差的结点,保留下一些质量较高的结点。
这样减少了空间消耗,并提高了时间效率,但缺点就是有可能存在潜在的最佳方案被丢弃,因此,Beam Search算法是不完全的,一般用于解空间较大的系统中。

步骤

Beam Search的一般步骤为:
1、初始化beam_size个序列,序列均为空,这些序列称之为beam paths;
2、取下一个Frame的前N个候选值(N一般为beam size或者更大,Frame内部侯选值已按照概率倒序排列),与已存在的beam paths组合形成N * beam_size条路径,称之为prob_paths;
3、对prob_paths进行打分,取前beam_size个prob_path作为新的beam paths;
4、若解码结束则完成算法,否则回到步骤2。

总结

经典的beam search算法以最大后验概率作为优化目标函数,每一个time step只保留B个最优的状态(B表示集束宽度),是一种典型的贪心算法。
beam search可以看做是做了约束优化的广度优先搜索,首先使用广度优先策略建立搜索树,树的每层,按照启发代价对节点进行排序,然后仅留下预先确定的个数(Beam width,集束宽度)的节点,仅这些节点在下一层次继续扩展,其他节点被剪切掉。
BS尝试在广度优先基础上进行进行搜索空间的优化(类似于剪枝)达到减少内存消耗的目的。
其中,集束宽度B可以是预先定好的,也可以是变动的,可以先按照一个最小的集束宽度进行搜索,如果没有找到合适的解,再扩大集束宽度再找一遍。
当集束宽度B=1时,该算法退化为传统的贪心算法。
当集束宽度B无穷大,该算法就是广度优先搜索。

应用

这个算法常常被用于解码可选状态数量多的情形,比如生成对话、生成图片描述、机器翻译等,每一步都有词表大小的可选状态集。
多适用于机器翻译,语音识别,当系统的数据集比较大,计算资源受限,而且没有唯一最优解时,该算法能够较快的找到接近最正确的解。
在sequence2sequence模型中,beam search的方法只用在测试的情况,因为在训练过程中,每一个decoder的输出是有正确答案的,也就不需要beam search去加大输出的准确率。

免责声明:文章转载自《集束搜索(Beam Search)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Sqlite—触发器(Trigger)蜘蛛池刷百度指数和第三方贴下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

人脸识别评价算法指标

首先了解相关指标名称 误识率FAR false acceptance rate FAR=NFA/NIRA NIRA是类间测试次数(假冒者尝试的总次数),NFA是错误接收次数 FAR越低,假冒者被接受的可能性越低,系统安全性越高 误拒绿FRR false rejection rate FRR=NFR/NGRA NGRA是类内测试次数(合法用户尝试的总次数),...

算法概念、大O记号

算法定义:基于特定的计算类型,旨在解决某一信息处理问题而设计的一个指令序列算法需具备以下要素 输入与输出输入(input):对所求解问题特定实例的描述 输出(output):经计算和处理之后得到的信息,即针对输入问题实例的答案 确定性和可行性:算法应可描述为由若干语义明确的基本操作组成的指令序列,且每一基本操作在对应的计算模型中均可兑现。 有穷性...

sws_getContext函数参数介绍

原型: SwsContext *sws_getContext(int srcW, int srcH, enum AVPixelFormat srcFormat, int dstW, int dstH, enum AVPixelFormat dstFormat,...

字符串匹配算法

一、简介 文本信息可以说是迄今为止最主要的一种信息交换手段,而作为文本处理中的一个重要领域——字符串匹配,就是我们今天要说的话题。(原文还特意提及文本数据数量每18个月翻一番,以此论证算法必须要是高效的。不过我注意到摩尔定律也是18个月翻番,这正说明数据的增长是紧紧跟随处理速度的,因此越是使用高效的算法,将来待处理的数据就会越多。这也提示屏幕前的各位,代码...

基于opencv的手写数字字符识别

  摘要 本程序主要参照论文,《基于OpenCV的脱机手写字符识别技术》实现了,对于手写阿拉伯数字的识别工作。识别工作分为三大步骤:预处理,特征提取,分类识别。预处理过程主要找到图像的ROI部分子图像并进行大小的归一化处理,特征提取将图像转化为特征向量,分类识别采用k-近邻分类方法进行分类处理,最后根据分类结果完成识别工作。 程序采用Microsoft V...

Java高级之虚拟机垃圾回收机制

博客出自:http://blog.csdn.net/liuxian13183,转载注明出处! All Rights Reserved ! 区别于C语言手动回收,Java自动执行垃圾回收,但为了执行高效,需要了解其策略,更好的去应用。 以下用HotSpot虚拟机为例,选取几个有意思的参数讲一下 1、默认GC时间为总时间的1%。也就是说GC线程设置有超时...