转自:http://www.cnblogs.com/hxsyl/p/4910218.html 一、第一种理解 相对熵(relative entropy)又称为KL散度(Kullback–Leibler divergence,简称KLD),信息散度(information divergence),信息增益(information gain)。 K...