描いた波形の音をならしてみよう

開発背景

研究室配属後、工学基礎研究の課題として作成。
信号処理の本の輪読を行い、ゼミを行った。

• 信号処理のための数学-高橋 信(2007)

この本では、ディジタル信号処理を音と結びつけて説明されていて、読み進める上で音に興味を持ち始めた。
そして、この方針に乗っかり、信号(波)を「音」の視点で見たときにどんな違いがあるのかを体験できるモノを作ろうと考えた。
見本は「Nintendo Laboのピアノ」。これに近いものを作ってみようと考えた。

仕様

見本に近いけど別の方法で実装

Nintendo Labo

• IRカメラで波形を読み込む
• ダンボールで作った鍵盤で音を鳴らす
• 本体を揺らすとビブラートエフェクトをかけて音を鳴らせる。
• 波形をディスプレイ右上に表示

本アプリ

• WEBカメラを用いて波形を読み込む。
• キーボードに音階を割り当てて音を鳴らす
• 特定のキーを押すことでビブラートエフェクトがかけられる (未実装)
• 波形は撮影したものと、それを用いて再生するために作成した波形の2つを表示(確認用)
• FFTしたものをグラフを表示し、波形に含まれる周波数成分から音の違いを視覚的に見れる。

対象

対象は高専1年生とする。

• 2年生の実験でオシロスコープを触る
• 3年生の授業でアナログ信号処理を学習する
  以上のことから、「1年生向けに信号に触れるものを作ろう」という先生からの課題

操作方法

全般

カーソル移動 : 矢印キー
決定 : Enterキー
終了 : Qキー, ESCキー

波形撮影モード

撮影 : Sキー
保存して終了 : Enterキー
保存せずに終了 : Qキー
撮影しただけでは保存されないので、Enterキーを押して保存して終了する

再生モード

再生 : S,D,F,G,H,J,K,Lキー

• それぞれにドレミファソラシドが割り当てられている

エフェクト : (未実装)
再生モード時、グラフウィンドウを移動させようとするとエラーが発生し終了するので注意

波形描き込み用シート

波形を描くためのシートを用意した。
それに波形を描いて波形撮影モードで撮影する。
シートはここ

フォント

レトロゲームの雰囲気を出すために「Nu きなこもち」フォントを利用した。
そのため、本アプリを利用する前にフォントをダウンロードしてフォントフォルダに入れる必要がある。
サイトより、きなこ全角 + もち組込濁点フォントをダウンロード、「NuKinakoMochiFwCt-Reg.otf」をフォルダに入れる。
入れる場所

実行ファイル

Windows用にexeファイルをpyinstallerを用いて、出力したけど動かない。動いたらアップロードする予定。

Python環境から実行

requirements.txtを用いて必要なモジュールをインストール
Basic_Experiment > nlabo/src/sample1/title.pyで実行
読み込むファイルのディレクトリは実行時のカレントディレクトリ依存なのでこの通りじゃないと動かない

Python 3.6.7

スクリーンショット

タイトル画面

波形撮影モード

波形選択画面

再生モード