[发明专利]一种图像转声音的方法

说明书

本发明公开一种图像转声音的方法，包括：步骤1、对图像颜色的空间分布根据显著性特征进行提取；步骤2、对图像的颜色进行总体和局部上情感语义的提取；步骤3、音乐情感基调的确定；步骤4、对图像提取的空间信息进行具体的音乐片段的生成；步骤5、对初始音乐的加工。本发明将任意图像转化为独一无二的音乐，实现给定图像与生成音乐情感意境的统一，模拟人声色联觉的过程。

技术领域

本发明属于图像处理与音频处理技术领域，尤其涉及一种图像转声音的方法，可以通过任意给定的图片转换出音乐。

背景技术

自古以来书画和音乐就是一对孪生姐妹，当人们陶醉于世界大师笔下的美术与摄影作品的水墨丹青之时，一首基于该作品的美妙音乐似乎就萦绕在耳旁。例如，在欣赏“奔腾黄河”的画卷时，人们似乎能听到黄河的咆哮声；在欣赏“山林晨曲”的画卷时，人们又好像听到了山间小溪的潺潺流水声、林中小鸟委婉动听的歌唱声。这种声色联觉存在于每个人身上，并且这种机制不仅仅停留在哲学和心理学层面上，可以被大量的视听实验所追踪。受以上启发，根据一定的科学与艺术规则，探索图像与音乐之间的映射关系和映射规律，可以将图像信息转化为声音，并可以在实际中得到应用。

早在十七世纪物理学家牛顿就曾以赤、橙、黄、绿、青、蓝、紫对应于C、D、bE、F、G、A、bB七个音名。音乐的高低指音响有规律的排序，即由低到高再由高到低形成一种和谐的阶梯式音列；音乐的旋律是指一条条由音符串缀起来的线条，它是根据人的情感的高低起伏将音符或级进或跳跃组合形成的；而图像中多彩缤纷的景色也是根据人的情感用丹青层层递进绘出的。音乐中音调的变化快慢，即音的长短，形成了节奏。节奏在音乐作品中总是与节拍结合在一起的。音无论长短，在一个小节的单位范围内，其奏鸣总有循环往复的轻拍与重拍的交替。一般而言，节奏由于有了强弱节拍的内在韵律，又由于有音的长短内外对比的交错，往往显示一种力度。这种力度正是支持旋律流动的支架。由于节奏支撑着音调，在时间过程中展开，因此，它就与音进行的快慢息息相关。而速度快慢可以使音高与长短，即旋律与节奏产生不同的表现效果；对于图像而言，它本身也有色彩、亮度等变化剧烈或平缓的表现，人们形容图像作品时也常用诸如明快、暗淡、柔和、粗犷之类的音乐术语进行描述。

音乐是在时间中展开、以诉诸听觉的声音为基本材料的艺术。在人的体验中，听觉的高频音和视觉中明亮的色调具有一种潜在的联系，这种联系给人以“上升的感觉”；反之，听觉中的低频音与视觉中黑暗的色调由于与“下沉的感觉”相类似而被联系在一起。音调越‘低沉’，体验到的颜色越‘深’；反之，较‘高’的音调会引起‘浅’亮的感觉。因此可以看出，音乐与颜色有着明显的直觉类比关系。

图像映射为声音的方法归纳起来大致有以下五种：

第一种方法是Peter B.L.Meijer提出的图像映射为声音(image-to-sound)的方法，这种方法是将图像转化为一种时分复用的听觉表现形式。具体步骤是当听到滴答声响后，即新一帧图像开始，上一帧图像结束之际，对新的图像进行采样、数字化，并存入一个M行×N列的像素矩阵中，每一个像素点被16级灰度化。映射关系是将垂直位置转化成频率，水平位置转化成时间延迟，像素点亮度转化为振幅。从映射关系上看，这种方法实现起来简单，我们可以想象出简单的声音片段对应的图像。但是当面对现实的图像时，我们需要分辨更为复杂的声音形式，这时就需要使用者具备一定的声音知识，还要在实际应用前进行大量培训，避免当两种声音极为相似时，出现混淆的现象。

Drd.Alexandru Cazan等人设计了一组实验用来验证Meijer方法的效果。该实验先让使用者学习8种颜色(红、橙、黄、蓝、绿、紫、白、黑)转化后的声音。这样做的目的是想用颜色标注图片上重要的信息，例如街道、隔离墩、交通灯，使盲人能在无人陪同下，识别出道路和障碍物，判别出交通灯的颜色。将声音打乱顺序后，只有45％的声音片段被正确识别出来，效果并不理想。