KL散度全称Kullback_Leibler散度，相对熵，是用来衡量两个概率分布之间差异的一种指标。
通俗来说衡量的是——用分布Q去近似分布P时，Q造成的信息损失有多大。
所以KL散度通常用来比较真实分布P和近似分布Q。
适合用来正则化