如何在Java中使用PortAudio繪製波形（jpab with Processing）？

我需要訪問Java中的多個音頻輸入，因此首先諮詢了SO，並找到了this answer，並設法使用PortAudio Java綁定（）。不幸的是，我發現很少和過時documentation。如何在Java中使用PortAudio繪製波形（jpab with Processing）？

用什麼我發現我試圖用這個在Processing日食：

import java.nio.ByteBuffer; 

import org.jpab.Callback; 
import org.jpab.Device; 
import org.jpab.PortAudio; 
import org.jpab.PortAudioException; 
import org.jpab.Stream; 
import org.jpab.StreamConfiguration; 
import org.jpab.StreamConfiguration.Mode; 
import org.jpab.StreamConfiguration.SampleFormat; 


import processing.core.PApplet; 


public class PortAudioPlot extends PApplet implements Callback { 

    float min = 1000000,max = 0; 

    public void setup(){ 
     try { 
      PortAudio.initialize(); 
      for(Device d : PortAudio.getDevices()) println(d); 

      Device d = PortAudio.getDevices().get(1);// Microphone (Realtek High Definition Audio) 
      if(d.getMaxInputChannels() > 0){ 
       println(d.getName()); 
       StreamConfiguration sc = new StreamConfiguration(); 
       sc.setInputDevice(d); 
       sc.setInputFormat(SampleFormat.SIGNED_INTEGER_16); 
       sc.setMode(Mode.INPUT_ONLY); 
       sc.setSampleRate(44100); 
       sc.setInputChannels(d.getMaxInputChannels()); 
       PortAudio.createStream(sc, this, new Runnable() { 
        public void run() { 
         try { 
          PortAudio.terminate(); 
         } catch (PortAudioException ignore) { ignore.printStackTrace(); } 
        } 
       }).start(); 
      } 
     } catch (PortAudioException e) { 
      e.printStackTrace(); 
     } 
    } 
    public void draw(){ 
     if(keyPressed && key == 's') saveFrame(dataPath("frame-####.jpg")); 
    } 
    public void stop(){ 
     try { 
      PortAudio.terminate(); 
     } catch (PortAudioException e) { 
      e.printStackTrace(); 
     } 
     super.stop(); 
    } 

    public static void main(String[] args) { 
     PApplet.main(PortAudioPlot.class.getSimpleName()); 
    } 
    @Override 
    public State callback(ByteBuffer in, ByteBuffer out) { 
     int size = in.capacity(); 
     println("in size: " + size + " min: " + min + " max: " + max); 
     background(255); 
     beginShape(LINES); 
     for (int i = 0; i < size; i++) { 
      float v = in.getFloat(i); 
      if(!Float.isNaN(v) && v != Float.POSITIVE_INFINITY && v != Float.NEGATIVE_INFINITY){ 
       float x = (float)i/size * width; 
       float y = (height * .5f) + (v * .5f); 
       if(v < min) min = v; 
       if(v > max) max = v; 
       vertex(x,y); 
      } 
     } 
     endShape(); 
     return State.ABORTED; 
    } 

}

我開始用麥克風1，我覺得我越來越近，我似乎有些價值，但我不是100％確定我正確地遍歷輸入的ByteBuffer。

使用jpab從音頻輸入訪問值並繪製波形的正確方法是什麼？

我已經更新了代碼，並設法讓某些東西更接近情節，但我仍然處於黑暗中。從輸入ByteBuffer讀取的浮點數的正確最小/最大範圍是多少？我是否正確地使用它？

這裏是我的本錢快速預覽：

wave plot

我還上傳了Eclipse項目here。它使用prebuilt Windows x86 PortAudio binaries。

另一個更新：我被告知值應該從-1.0到1.0，並調整我的代碼來映射/鉗位，但我不知道這是真的。下面是一個更新的例子：

import java.nio.ByteBuffer; 
import java.util.Arrays; 

import org.jpab.Callback; 
import org.jpab.Device; 
import org.jpab.PortAudio; 
import org.jpab.PortAudioException; 
import org.jpab.Stream; 
import org.jpab.StreamConfiguration; 
import org.jpab.StreamConfiguration.Mode; 
import org.jpab.StreamConfiguration.SampleFormat; 


import processing.core.PApplet; 


public class PortAudioPlot extends PApplet implements Callback { 

    int[] pix; 
    int hh;//half height 
    int py;//y for each channel plot 
    int numChannels; 
    int pad = 5; 

    public void setup(){ 
     try { 
      colorMode(HSB,360,100,100); 
      hh = height/2; 
      pix = new int[width*height]; 
      PortAudio.initialize(); 
      for(Device d : PortAudio.getDevices()) println(d); 

      Device d = PortAudio.getDevices().get(1);// Microphone (Realtek High Definition Audio) 
      numChannels = d.getMaxInputChannels(); 
      py = height/numChannels; 
      if(numChannels > 0){ 
       println(d.getName()+" sr:" + d.getDefaultSampleRate()); 
       StreamConfiguration sc = new StreamConfiguration(); 
       sc.setInputLatency(d.getDefaultLowInputLatency()); 
       sc.setInputDevice(d); 
       sc.setInputFormat(SampleFormat.SIGNED_INTEGER_16); 
       sc.setMode(Mode.INPUT_ONLY); 
       sc.setSampleRate(d.getDefaultSampleRate()); 
       sc.setInputChannels(numChannels); 
       PortAudio.createStream(sc, this, new Runnable() { 
        public void run() { 
         try { 
          PortAudio.terminate(); 
         } catch (PortAudioException ignore) { ignore.printStackTrace(); } 
        } 
       }).start(); 
      } 
     } catch (PortAudioException e) { 
      e.printStackTrace(); 
     } 
    } 
    public void draw(){ 
     loadPixels(); 
     arrayCopy(pix, pixels); 
     updatePixels(); 
     if(keyPressed && key == 's') saveFrame(dataPath("frame-####.jpg")); 
    } 
    public void stop(){ 
     try { 
      PortAudio.terminate(); 
     } catch (PortAudioException e) { 
      e.printStackTrace(); 
     } 
     super.stop(); 
    } 

    public static void main(String[] args) { 
     PApplet.main(PortAudioPlot.class.getSimpleName()); 
    } 
    @Override 
    public State callback(ByteBuffer in, ByteBuffer out) { 
     int size = in.capacity(); 
     println("in size: " + size); 
     Arrays.fill(pix, color(0,0,100)); 
     for (int i = 0; i < width; i++) { 
      int ch = i%numChannels;//channel id 
      int sy = py * ch;//channel plot y starting position 
      int minY = sy+pad;//min y for min input value 
      int maxY = (sy*2)-pad;//min y for min input value 
      int buffIndex = i * size/width;//map i(x pixel index) to buffer index 
      float v = in.getFloat(buffIndex); 
      if(!Float.isNaN(v) && v != Float.POSITIVE_INFINITY && v != Float.NEGATIVE_INFINITY){ 
       int vOffset = constrain((int)map(v,-1.0f,1.0f,minY,maxY),minY,maxY); 
       pix[vOffset * height + i] = color(map(ch,0,numChannels,0,360),100,50); 
      } 
     } 
     return State.RUNNING; 
    } 

}

我也注意到，在輸入字節緩衝區計數的變化，當我設置等待時間。我注意到JPAB是而不是與jportaudio相同，但是除了createStream（jpab）/ openStream（jportaudio）之外，大部分API都是類似的。我還沒有找到jportaudio的編譯版本，並且迄今尚未在Windows上自己編譯它。

任何關於如何繼續的線索？

來源

2013-03-19 George Profenza

我有點困惑，在這一點上，爲什麼你甚至仍然會使用Processing？爲什麼不使用普通的舊Java呢？你真的需要做什麼？（即「訪問多個音頻輸入」是什麼意思？） – 2013-03-20 01:52:40

沒有理由被困擾，普通的java會這樣做。我只是簡單地說明了繪圖的想法，利用了Processing的功能。任何關於PortAudio的想法？ – 2013-03-20 02:05:13

啊。不幸的是沒有玩過（上次我做音頻，Java仍然有一個圖像處理和音頻項目綁定到它）。評論是因爲我在Processing.js上工作，並編寫了大量Processing代碼=） – 2013-03-20 02:15:06

最終目標是訪問多個音頻輸入，此時這條路線似乎不會導致任何地方。

我在Windows和OSX上測試過的最簡單的解決方案很容易設置和使用普通Java，但在處理中也很好，它使用Beads，它可以連接到JACK。有關更多詳細信息，請參閱此thread，尤其是關於JNAJack的後面部分（JJack不再維護）。我已經使用這個版本的Beads（下載鏈接）和JNA（下載鏈接）。

這是我用來測試一個基本的代碼示例：

import java.util.Arrays; 

import org.jaudiolibs.beads.AudioServerIO; 

import net.beadsproject.beads.core.AudioContext; 
import net.beadsproject.beads.core.AudioIO; 
import net.beadsproject.beads.core.UGen; 
import net.beadsproject.beads.ugens.Gain; 
import processing.core.PApplet; 


public class BeadsJNA extends PApplet { 

    AudioContext ac; 

    public void setup(){ 
     ac = new AudioContext(new AudioServerIO.Jack(),512,AudioContext.defaultAudioFormat(4,2));//control number of ins(4) and outs(2) 

     UGen microphoneIn = ac.getAudioInput(); 
     Gain g = new Gain(ac, 1, 0.5f); 
     g.addInput(microphoneIn); 
     ac.out.addInput(g); 

     println("no. of inputs: " + ac.getAudioInput().getOuts()); 

     ac.start(); 
    } 
    public void draw(){ 
     loadPixels(); 
     Arrays.fill(pixels, color(0)); 

     for(int i = 0; i < width; i++) 
     { 
     int buffIndex = i * ac.getBufferSize()/width; 
     int vOffset = (int)((1 + ac.out.getValue(0, buffIndex)) * height/2); 
     pixels[vOffset * height + i] = color(255); 
     } 
     updatePixels(); 
    } 

    public static void main(String[] args) { 
     PApplet.main(BeadsJNA.class.getSimpleName()); 
    } 

}

這將在該時間階段的工作對我來說是一個有效的答案，直到有人將分享使用jpab在Windows/jportaudio一個簡單的方法來繪製輸入波形。

來源

2013-03-28 12:01:51

如何在Java中使用PortAudio繪製波形（jpab with Processing）？

回答

相關問題