[发明专利]音频重放装置和方法以及存储介质

说明书

背景技术

传统地，已知存在具有游戏特征的音乐重放装置，其检测目的是与音乐重放合拍地在显示屏上移动图像的用户操作，评估用户操作时刻的合适性(准确性)，以及基于评估的结果，生成音效声音或控制屏幕上显示的内容。例如见日本早期专利公开No.2001-232058。

上述的音乐重放装置(游戏机)预先存储有与音乐同步的事件数据串，以及在重放音乐时根据事件数据在显示屏上显示图像。当用户执行目的在于根据事件数据移动图像的操作时，可以检测到图像的移动位置和屏幕上的用户操作位置之间的差异，并且可以评估用户操作时刻的合适性(准确性)。

为了根据判断的用户操作时刻的合适性来执行预定的控制，例如声音控制或屏幕显示控制，有必要预先执行编写过程，以准备与引起问题的音乐同步的事件数据串。

发明内容

本发明涉及音频重放装置和方法，以及存储介质，并且更具体地，涉及用于根据用户操作/输入是否与音频数据重放同拍地执行而控制音频数据重放的音频重放装置和方法，以及存储用于控制音频重放装置的程序的存储介质。

本发明的一个方面是音频重放装置。该装置包括存储单元、重放单元、操作单元、特征提取单元、比较单元和控制单元。存储单元可存储音频数据。重放单元可以重放音频数据。操作单元可检测输入和沿着时间轴生成检测信息。特征提取单元可沿着重放时间轴从音频数据中提取预定音乐特征，并生成时间信息串，所述时间信息串指出沿着所述重放时间轴的所述预定音乐特征的重放时刻。比较单元可以比较所述检测信息和所述时间信息串。控制单元可基于所述比较单元执行的比较的结果，在所述音频数据的重放过程中操纵所述音频数据。

该装置可进一步包括音乐音调发生器单元，其用于根据所述操作单元生成的所述检测信息来生成音乐音调数据。所述特征提取单元从所述音频数据中提取特定频带或特定乐器声音，并且生成特定的时间信息串作为所述时间信息串，所述特定的时间信息串指出发出对应于所述特定频带或特定乐器声音的音乐音调的时刻。所述特征提取单元在从所述音频数据中提取所述特定频带或特定乐器声音之后，可以擦除所述音频数据中对应于所述特定频带或特定乐器声音的特定音频数据部分。所述特征提取单元可以使形成所述时间信息串的多个时间信息段中的每一个的时间宽度增加预定值。

控制单元可以向所述重放单元提供所述音频数据，其中已经从所述音频数据擦除所述特定音频数据部分并且所述音频数据与由所述音乐音调发生器单元生成的音乐音调数据混合。控制单元可以基于比较单元的比较结果来操纵音频数据，已经从该音频数据擦除了特定的音频数据部分。控制单元在音频重放过程中基于所述比较单元的比较结果可以改变音频数据的重放方式。在这个方面，控制单元在音频数据的重放过程中，基于所述比较单元的比较结果，暂时停止所述音频数据的重放，控制声音音量或向所述音频数据增加音效。

该装置进一步包括显示单元。控制单元在音频数据的重放过程中，基于所述比较单元的比较结果，可以改变显示单元上的显示。操作单元可包括可由用户操作的至少一个操作按钮、用于检测施加于其上的加速度的加速度传感器、或磁传感器，该磁传感器用于检测由施加于其上的移动而产生的磁场的变化(或它们的任意组合)。当操作按钮被操作时，操作单元可以检测用户操作。

本发明的另一方面是音频重放方法。该方法可以包括存储音频数据的存储步骤；重放所述音频数据的重放步骤；检测输入和沿着时间轴生成检测信息的检测步骤；特征提取步骤，沿着重放时间轴从所述音频数据中提取预定的音乐特征，并且生成时间信息串，所述时间信息串指出沿着所述重放时间轴的所述预定音乐特征的重放时刻；比较所述检测信息和所述时间信息串的比较步骤；以及基于所述比较步骤中执行的比较的结果，在重放所述音频数据过程中操纵所述音频数据的控制步骤。

该方法可以进一步包括音乐音调发生步骤，根据在所述检测步骤中生成的所述检测信息，利用音乐音调发生器单元生成音乐音调数据。特征提取步骤可从所述音频数据中提取特定频带或特定乐器声音，并且生成特定的时间信息串作为所述时间信息串，该时间信息串指出发出对应于所述特定频带或特定乐器声音的音乐音调的时刻。该方法可以进一步包括擦除步骤，在从所述音频数据中提取所述特定频带或特定乐器声音之后，擦除所述音频数据中对应于所述特定频带或特定乐器声音的特定音频数据部分。