我们都接触过频谱图(spectrogram),频谱图的生成一般都针对的都是非周期或者被假定成周期无限长的数据,比如音频,这种情况下获取有效信息的方式不是针对整个数据进行分析,而是切成一段一段的,对其中每一段进行频率分析(假设这一小段儿内是周期变化的)正所谓短时傅里叶变换(Short-time Fourier Transform)。
频谱图内从低到高的频率分布是一小段一小段的组合,每一段内将横着排的频率分布旋转成纵向的(逆时针90度)拼到一起、不同频率用不同颜色或者灰度,就成了频谱图。参考下图:
类似地把图像作为输入数据,切成很多小段(一般是横着切)然后把每一段中纵向变化的颜色信息作为频率,把每一段频率分布合成声音,再把很多段声音组合起来,就得到了这幅图的独特“配乐”。参考这个视频
当然要得到比较好的听感还需要附加一些音效处理。
非常经典的一个作品是当代电子乐艺人Aphex Twinv把自己的画像藏在了频谱图了,见这个文章 以及 这里(https://twistedsifter.com/2013/01/hidden-images-embedded-into-songs-spectrographs/)
参考
Audio And Speech Processing With MATLAB by Paul R. Hill