Versione delle 19:26, 17 gen 2024

E' possibile intercettare i dati Midi grezzi inviati da un dispositivo Midi esterno (ad esempio una tastiera Midi) usando le risorse delle Classi "MediaPipeline" e "MediaControl" del Componente gb.media, ^{[Nota 1]} e successivamente generare con essi un file audio.

Va detto preliminarmente che si è riscontrato che il tempo metronomico del brano registrato nel file audio risulta essere - incomprensibilmente - più lento rispetto all'esecuzione originale fatta con il dispositivo Midi esterno.

Sarà necessario assegnare alla proprietà "ports" dell'elemento "fluiddec" il numero identificativo (quale Client di ALSA) e il numero della porta del dispotivo Midi esterno che invia i dati Midi grezzi. Non v'è bisogno ovviamente di effettuare alcuna connessione mediante il comando "aconnect" di AlSA fra i Client ALSA interessati.

Per garantire la sincronicità fra quanto eseguito e dati salvati, evitando così ogni eventuale ritardo di memorizzazione/riproduzione audio nel file finale, è necessario impostare a "true", cioè al valore intero 1, la proprietà "sync" dell'elemento "filesink".

Generare un file audio WAV dai dati Midi grezzi registrati

Mostriamo un semplice esempio pratico, nel quale si genererà un file audio WAV dai dati Midi grezzi intercettati da un dispositivo Midi esterno:

Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim src, flu, con, enc, snk As MediaControl 
 Dim flt As MediaFilter
 Dim porta, s As String

' Imposta il numero identificativo, come Client ALSA, e della porta del dispositivo Midi esterno (ad esempio 24:0) :
 porta = "24:0"
  
 pl = New MediaPipeline
 
 src = New MediaControl(pl, "alsamidisrc")
 src["ports"] = porta 
 flu = New MediaControl(pl, "fluiddec")
 flu["synth-gain"] = 0.5
 con = New MediaControl(pl, "audioconvert")
 flt = New MediaFilter(pl, "audio/x-raw,channels=2,format=S16LE")
 enc = New MediaControl(pl, "wavenc")
 snk = New MediaControl(pl, "filesink")
 snk["location"] = "/tmp/audio.wav"
 snk["sync"] = True
  
 src.LinkTo(flu)
 flu.LinkTo(con)
 con.LinkTo(flt)
 flt.LinkTo(enc)
 enc.LinkTo(snk)
 
 pl.play()
 
' Consente di tenere funzionante il programma. Basterà premere "Invio" per terminare.
 Input s
  
 pl.Stop
 pl.Close
 Print "Termine programma !"
  
End

Generare un file audio MP3 dai dati Midi grezzi registrati

Mostriamo un semplice esempio pratico, nel quale si genererà un file audio MP3 dai dati Midi grezzi intercettati da un dispositivo Midi esterno:

Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim src, flu, con, enc, snk As MediaControl 
 Dim flt As MediaFilter
 Dim porta, s As String
  
' Imposta il numero identificativo, come Client ALSA, e della porta del dispositivo Midi esterno (ad esempio 24:0) :
 porta = "24:0"
 
 pl = New MediaPipeline
 
 src = New MediaControl(pl, "alsamidisrc")
 src["ports"] = porta 
 flu = New MediaControl(pl, "fluiddec")
 flu["synth-gain"] = 0.5
 res = New MediaControl(pl, "audioresample")
 con = New MediaControl(pl, "audioconvert")
 flt = New MediaFilter(pl, "audio/x-raw,channels=2,format=S16LE")
 enc = New MediaControl(pl, "lamemp3enc")
 snk = New MediaControl(pl, "filesink")
 snk["location"] = "/tmp/audio.mp3"
 snk["sync"] = True
 
 src.LinkTo(flu)
 flu.LinkTo(con)
 con.LinkTo(flt)
 flt.LinkTo(enc)
 enc.LinkTo(snk)
 
 pl.play()
 
' Consente di tenere funzionante il programma. Basterà premere "Invio" per terminare.
 Input s

 pl.Stop
 pl.Close
 Print "Termine programma !"

End

Generare un file audio OGG-Vorbis dai dati Midi grezzi registrati

Mostriamo un semplice esempio pratico, nel quale si genererà un file audio OGG-Vorbis dai dati Midi grezzi intercettati da un dispositivo Midi esterno:

Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim src, flu, con, enc, mux, snk As MediaControl 
 Dim flt As MediaFilter
 Dim porta, s As String

' Imposta il numero identificativo, come Client ALSA, e della porta del dispositivo Midi esterno (ad esempio 24:0) :
 porta = "24:0"
  
 pl = New MediaPipeline
 
 src = New MediaControl(pl, "alsamidisrc")
 src["ports"] = porta 
 flu = New MediaControl(pl, "fluiddec")
 flu["synth-gain"] = 0.5
 con = New MediaControl(pl, "audioconvert")
 flt = New MediaFilter(pl, "audio/x-raw,channels=2")
 enc = New MediaControl(pl, "vorbisenc")
 mux = New MediaControl(pl, "oggmux")
 snk = New MediaControl(pl, "filesink")
 snk["location"] = "/tmp/audio.ogg"
 snk["sync"] = True

 src.LinkTo(flu)
 flu.LinkTo(con)
 con.LinkTo(flt)
 flt.LinkTo(enc)
 enc.LinkTo(mux)
 mux.LinkTo(snk)

 pl.play()

' Consente di tenere funzionante il programma. Basterà premere "Invio" per terminare.
 Input s

 pl.Stop
 pl.Close
 Print "Termine programma !"

End

Ascoltare quanto eseguito con il dispositivo Midi esterno e generare in fine un file audio

Negli esempi visti in precedenza l'invio dei dati Midi attraverso il dispositivo Midi esterno non consente via risorse del Componente gb.media di ascoltare contestualmente i suoni.

Per ottenere questo risultato si potrà adottare un codice come il seguente:

Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim src, tee, que, flu, con1, snk1 As MediaControl 
 Dim con2, enc2, snk2 As MediaControl
 Dim flt2 As MediaFilter
 Dim porta, s As String

' Imposta il numero identificativo, come Client ALSA, e della porta del dispositivo Midi esterno (ad esempio 24:0):
 porta = "24:0"

 pl = New MediaPipeline
 
' Parte comune:
 src = New MediaControl(pl, "alsamidisrc")
 src["ports"] = porta
 flu = New MediaControl(pl, "fluiddec")
 flu["synth-gain"] = 1.0

' Parte relativa alla duplicazione dei dati:
 tee = New MediaControl(pl, "tee")
 que = New MediaControl(pl, "queue")
  
' Parte ascolto in tempo reale dell'esecuzione Midi:
 con1 = New MediaControl(pl, "audioconvert")
 snk1 = New MediaControl(pl, "autoaudiosink")
 src.LinkTo(flu)
 flu.LinkTo(tee)
 tee.LinkTo(que)
 que.LinkTo(con1)
 con1.LinkTo(snk1)

' Parte memorizzazione dei dati su file audio wav:
 con2 = New MediaControl(pl, "audioconvert")
 flt2 = New MediaFilter(pl, "audio/x-raw,channels=2,format=S16LE")
 enc2 = New MediaControl(pl, "wavenc")
 snk2 = New MediaControl(pl, "filesink")
 snk2["location"] = "/tmp/audio.wav"
 snk2["sync"] = True
 tee.LinkTo(con2)
 con2.LinkTo(flt2)
 flt2.LinkTo(enc2)
 enc2.LinkTo(snk2)

 pl.play()

' Consente di tenere funzionante il programma. Basterà premere "Invio" per terminare.
 Input s

 pl.Stop
 pl.Close
 Print "Termine programma !"
 
End

Ascoltare quanto eseguito con il dispositivo Midi esterno, mostrare un Monoscopio e generare in fine un file audio

Riprendendo il precednete codice, vi aggiungeremo l'effetto video del plug-in Monoscope di Gstreamer, che mostra appunto in una finestra un Monoscopio:

Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim src, tee, que, flu, con1, snk1 As MediaControl 
 Dim con2, sco2, vid2, snk2 As MediaControl
 Dim que3, con3, enc3, snk3 As MediaControl
 Dim flt3 As MediaFilter
 Dim porta, s As String

' Imposta il numero identificativo, come Client ALSA, e della porta del dispositivo Midi esterno (ad esempio 24:0):
 porta = "24:0"
 
 pl = New MediaPipeline
  
' Parte comune:
 src = New MediaControl(pl, "alsamidisrc")
 src["ports"] = porta
 flu = New MediaControl(pl, "fluiddec")
 flu["synth-gain"] = 0.5

' Parte relativa alla duplicazione dei dati:
 tee = New MediaControl(pl, "tee")
 que = New MediaControl(pl, "queue")
  
' Parte ascolto in tempo reale dell'esecuzione Midi:
 con1 = New MediaControl(pl, "audioconvert")
 snk1 = New MediaControl(pl, "autoaudiosink")
 src.LinkTo(flu)
 flu.LinkTo(tee)
 tee.LinkTo(que)
 que.LinkTo(con1)
 con1.LinkTo(snk1)
 
' Parte per mostrare il "Monoscopio":
 con2 = New MediaControl(pl, "audioconvert")
 sco2 = New MediaControl(pl, "monoscope")
 vid2 = New MediaControl(pl, "videoconvert")
 snk2 = New MediaControl(pl, "autovideosink")
 tee.LinkTo(con2)
 con2.LinkTo(sco2)
 sco2.LinkTo(vid2)
 vid2.LinkTo(snk2)
 
' Parte memorizzazione dei dati su file audio wav:
 que3 = New MediaControl(pl, "queue")
 con3 = New MediaControl(pl, "audioconvert")
 flt3 = New MediaFilter(pl, "audio/x-raw,channels=2,format=S16LE")
 enc3 = New MediaControl(pl, "wavenc")
 snk3 = New MediaControl(pl, "filesink")
 snk3["location"] = "/tmp/audio.wav"
 snk2["sync"] = True
 tee.LinkTo(que3)
 que3.LinkTo(con3)
 con3.LinkTo(flt3)
 flt3.LinkTo(enc3)
 enc3.LinkTo(snk3)
 
 pl.play()
 
' Consente di tenere funzionante il programma. Basterà premere "Invio" per terminare.
 Input s

 pl.Stop
 pl.Close
 Print "Termine programma !"
 
End

Generare un file audio AAC dai dati Midi grezzi registrati

Mostriamo un semplice esempio pratico, nel quale si genererà un file audio AAC dai dati Midi grezzi intercettati da un dispositivo Midi esterno:

Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim src, flu, con, faa, snk As MediaControl 
 Dim flt1, flt2 As MediaFilter
 Dim porta, s As String

' Imposta il numero identificativo, come Client ALSA, e della porta del dispositivo Midi esterno (ad esempio 24:0) :
 porta = "24:0"
  
 pl = New MediaPipeline
 
 src = New MediaControl(pl, "alsamidisrc")
 src["ports"] = porta 
 flu = New MediaControl(pl, "fluiddec")
 flu["synth-gain"] = 0.5
 con = New MediaControl(pl, "audioconvert")
 flt1 = New MediaFilter(pl, "audio/x-raw,rate=44100,channels=2,format=S16LE,depth=16")
 faa = New MediaControl(pl, "faac")
 flt2 = New MediaFilter(pl, "audio/mpeg,stream-format=adts,channels=2,rate=44100")
 snk = New MediaControl(pl, "filesink")
 snk["location"] = "/tmp/audio.aac"
 snk["sync"] = True
  
 src.LinkTo(flu)
 flu.LinkTo(con)
 con.LinkTo(flt)
 flt1.LinkTo(faa)
 faa.LinkTo(flt2)
 flt2.LinkTo(snk)
 
 pl.play()
 
' Consente di tenere funzionante il programma. Basterà premere "Invio" per terminare.
 Input s
  
 pl.Stop
 pl.Close
 Print "Termine programma !"
  
End

Note

[1] Vedi anche la pagina: Intercettare dati Midi grezzi da un dispositivo Midi esterno mediante il Componente gb.media

Riferimenti

• https://gstreamer.freedesktop.org/data/doc/gstreamer/head/gst-plugins-base-plugins/html/gst-plugins-base-plugins-alsamidisrc.html
• https://thiblahute.github.io/GStreamer-doc/gst-plugins-bad-plugins-1.0/element-fluiddec.html
• https://github.com/GStreamer/gst-plugins-bad/tree/master/ext/fluidsynth