Eseguire i file audio mediante la Classe ''MediaPipeline'' del componente gb.media

Da Gambas-it.org - Wikipedia.

La classe MediaPipeline del Componente gb.media consente di gestire i file audio previa concatenazione dei plugin e degli elementi forniti dalla risorsa GStreamer.
In particolare la Classe MediaPipeline è uno speciale contenitore di Elementi GStreamer (ossia i MediaControl del Componente gb.media), ai quali fornisce un clock globale per la sincronizzazione ed un bus per l'inoltro di messaggi provenienti dai thread dello streaming. [nota 1]

Usare la Classe "MediaPipeline" con il decoder "playbin" di GStreamer

La Classe MediaPipeline implementa un funzionale media-player; pertanto è possibile anche mediante tale Classe eseguire in modo semplice un file audio impostando nei suoi argomenti il plugin Playbin.

Mostriamo un esempio pratico in un'applicazione a riga di comando: 

Private bo As Boolean


Public Sub Main()
 
 Dim pl As MediaPipeline
 
 pl = New MediaPipeline(Null, "playbin") As "PLine"
 pl["uri"] = Media.URL("/percorso/del/file/audio")

 pl.Play()

 Print "\rDurata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close

 Print "\n\e[0mEsecuzione terminata !"

End


Public Sub PLine_End()  ' Questo Evento viene sollevato, quando l'operazione è terminata

 bo = True

End

Il plugin "playbin" può anche essere inserito all'interno di un oggetto della Classe MediaControl, la quale rappresenta un Elemento ordinario di GStreamer.
In quest'altro esempio mediante apposito ciclo sarà mostrato anche il tempo trascorso dall'esecuzione del file audio. Il ciclo si arresterà al termine dell'esecuzione del file. 

Private bo As Boolean


Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim mc As MediaControl

 pl = New MediaPipeline As "PLine"
  
 mc = New MediaControl(pl, "playbin")
 mc["uri"] = Media.URL("/percorso/del/file/audio")
  
 pl.Play()

 Print "Durata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close

 Print "\n\e[0mEsecuzione terminata !"

End


Public Sub PLine_End()  ' Questo Evento viene sollevato, quando l'operazione è terminata

 bo = True

End

Usare la Classe "MediaPipeline" con il decoder "decodebin" di GStreamer

E' possibile eseguire i file audio utilizzando il plugin di "decodebin" oppure "decodebin3" di GStreamer.

Mostriamo un esempio pratico a "riga di comando": 

Private bo As Boolean


Public Sub Main()

 Dim pl As MediaPipeline
 Dim src, dcb, con, vol, snk As MediaControl

 pl = New MediaPipeline As "PLine"

 src = New MediaControl(pl, "filesrc")
 src["location"] = "/percorso/del/file/audio"

 dcb = New MediaControl(pl, "decodebin")
 con = New MediaControl(pl, "audioconvert")
 vol = New MediaControl(pl, "volume")         ' <1.0 = volume <100% | 1.0 = volume 100% | >1.0 = volume >100%
 vol["volume"] = 0.5
 snk = New MediaControl(pl, "autoaudiosink")

 src.LinkTo(dcb)
 dcb.LinkTo(con)
 con.LinkTo(vol)
 vol.LinkTo(snk)

 pl.Play()

 Repeat 
   Write "\rTempo Trascorso: " & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close()

End


Public Sub PLine_End()

 bo = True

End

Utilizzare i plugin di GStreamer con le Classi MediaControl e MediaPipeline per eseguire file di specifici formati audio

E' possibile eseguire i file audio utilizzando specifici plugin di GStreamer [nota 2] con le Classi MediaControl e MediaPipeline.

Mostriamo di seguito alcuni esempi per l'esecuzione di file audio.

Eseguire un file WAV

In questo caso si utilizzeranno i plug-in specifici per eseguire un file di formato WAV. 

Private bo As Boolean


Public Sub Main()

 Dim pl As MediaPipeline
 Dim src, dcd, cnv, vol, snk As MediaControl

 pl = New MediaPipeline As "PLine"

 src = New MediaControl(pl, "filesrc")
 src["location"] = "/percorso/del/file.wav"

 dcd = New MediaControl(pl, "wavparse")
 cnv = New MediaControl(pl, "audioconvert")
 vol = New MediaControl(pl, "volume")         ' <1.0 = volume <100% | 1.0 = volume 100% | >1.0 = volume >100%
 vol["volume"] = 0.5
 snk = New MediaControl(pl, "alsasink")
 src.LinkTo(dcd)
 dcd.LinkTo(cnv)
 cnv.LinkTo(vol)
 vol.LinkTo(snk)

 pl.Play()

 Print "\rDurata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close()

 Print "\n\e[0mEsecuzione terminata !"

End


Public Sub PLine_End()  ' Questo Evento viene sollevato, quando l'operazione è terminata

 bo = True

End

In quest'altro esempio si potranno impostare i valori della frequenza di campionamento (rate) e dei canali, nonché modificare in "tempo reale" mediante tre Slider i valori della tonalità, del tempo di esecuzione e del volume d'uscita. Le due impostazioni relative alla tonalità e al tempo di esecuzione verranno effettuate con il plugin "pitch", considerando che:

  • per impostare la tonalità si userà l'omonima proprietà "pitch": il valore di partenza predefinito è 1.0;
  • per impostare la velocità del tempo metronomico di esecuzione si userà la proprietà "tempo": il valore di partenza predefinito è 1.0;
  • per impostare il volume dell'audio si userà la proprietà "volume": il valore di partenza predefinito è 1.0.
Private pl As MediaPipeline
Private pit As MediaControl
Private vol As MediaControl
Private pitch As Float = 1.00
Private tempo As Float = 1.00
Private volume As Float = 1.00
Private bo As Boolean


Public Sub Form_Open()
 
 Dim src, par, cnv, res, enc, cnv2, snk As MediaControl
 Dim flt As MediaFilter
 
 pl = New MediaPipeline As "PLine"
 
 src = New MediaControl(pl, "filesrc")
 src["location"] = "/percorso/del/file.wav"
 par = New MediaControl(pl, "wavparse")
 cnv = New MediaControl(pl, "audioconvert")
 res = New MediaControl(pl, "audioresample")
 flt = New MediaFilter(pl, "audio/x-raw,rate=44100,channels=2")
 pit = New MediaControl(pl, "pitch")
 vol = New MediaControl(pl, "volume")
 cnv2 = New MediaControl(pl, "audioconvert")
 snk = New MediaControl(pl, "alsasink")
  
 src.LinkTo(par)
 par.LinkTo(cnv)
 cnv.LinkTo(res)
 res.LinkTo(flt)
 flt.LinkTo(pit)
 pit.LinkTo(cnv2)
 cnv2.LinkTo(vol)
 vol.LinkTo(snk)
 
' Imposta alcuni valori dei due "Slider":
 With Slider1
   .MinValue = 0
   .MaxValue = 1000
   .Value = 100
 End With
 
 With Slider2
   .MinValue = 0
   .MaxValue = 1000
   .Value = 100
 End With
  
 With Slider3
  .MinValue = 0
  .MaxValue = 1000
  .Value = 100
 End With
  
End

 
Public Sub Button1_Click()

 pl.Play()
 
 Print "\rDurata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close()

 Print "\n\e[0mEsecuzione terminata !"

End


Public Sub Button2_Click()

 pl.Stop()
 pl.Close()
' Consente di arrestare anche il ciclo del conteggio del tempo trascorso:
 bo = True

End


Public Sub Slider1_Change()  ' Modifica la Tonalità

 pitch = Slider1.Value / 100
 pit["pitch"] = pitch
 ValueBox1.Value = pitch

End


Public Sub Slider2_Change()  ' Modifica il Tempo metronomico

 tempo = Slider2.Value / 100
 pit["tempo"] = tempo
 ValueBox2.Value = tempo

End


Public Sub Slider3_Change()  ' Modifica il Volume

 volume = Slider3.Value / 100
 vol["volume"] = volume          ' "volume" è una proprietà dell'omonimo plugin "volume"
 ValueBox3.Value = volume

End


Public Sub PLine_End()  ' Questo Evento viene sollevato, quando l'operazione è terminata

 bo = True

End


Eseguire un file MP3

Private bo As Boolean


Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim src, map, mad, vol, snk As MediaControl

 pl = New MediaPipeline As "PLine"
 
 src = New MediaControl(pl, "filesrc")
 src["location"] = "/percorso/del/file.mp3"
 
 map = New MediaControl(pl, "mpegaudioparse")
 mad = New MediaControl(pl, "mpg123audiodec")
 vol = New MediaControl(pl, "volume")         ' <1.0 = volume <100% | 1.0 = volume 100% | >1.0 = volume >100%
 vol["volume"] = 0.5
 snk = New MediaControl(pl, "autoaudiosink")
 src.LinkTo(map)
 map.LinkTo(mad)
 mad.LinkTo(vol)
 vol.LinkTo(snk)

 pl.Play()

 Print "\rDurata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close

 Print "\n\e[0mEsecuzione terminata !"

End


Public Sub PLine_End()  ' Questo Evento viene sollevato, quando l'operazione è terminata

 bo = True

End


Eseguire un file OGG

Private bo as Boolean


Public Sub Main()

 Dim pl As MediaPipeline
 Dim src, dem, vor, vol, snk As MediaControl

 pl = New MediaPipeline As "PLine"

 src = New MediaControl(pl, "filesrc")
 src["location"] = "/percorso/del/file.ogg"

 dem = New MediaControl(pl, "oggdemux")
 vor = New MediaControl(pl, "vorbisdec")
 vol = New MediaControl(pl, "volume")         ' <1.0 = volume <100% | 1.0 = volume 100% | >1.0 = volume >100%
 vol["volume"] = 0.5
 snk = New MediaControl(pl, "autoaudiosink")

 src.LinkTo(dem)
 dem.LinkLaterTo(vor)
 vor.LinkTo(vol)
 vol.LinkTo(snk)

 pl.Play()
 
 Print "\rDurata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close
 
 Write "\nEsecuzione terminata !"
   
End


Public Sub PLine_End()

 bo = True

End


Eseguire un file AAC

Private bo As Boolean


Public Sub Main()

 Dim pl As MediaPipeline
 Dim src, dcd, snk As MediaControl

 pl = New MediaPipeline As "PLine"

 src = New MediaControl(pl, "filesrc")
 src["location"] = "/percorso/del/file.aac"

 dcd = New MediaControl(pl, "faad")
 snk = New MediaControl(pl, "alsasink")
 src.LinkTo(dcd)
 dcd.LinkTo(snk)

 pl.Play()

 Print "\rDurata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close

 Write "\nEsecuzione terminata !"

End


Public Sub PLine_End()
 
 bo = True
 
End


Eseguire un file FLAC

Private bo As Boolean


Public Sub Main()

 Dim pl As MediaPipeline
 Dim src, fpa, fde, snk As MediaControl

 pl = New MediaPipeline As "PLine"

 src = New MediaControl(pl, "filesrc")
 src["location"] = "/percorso/del/file.flac"

 fpa = New MediaControl(pl, "flacparse")
 fde = New MediaControl(pp, "flacdec")
 snk = New MediaControl(pl, "alsasink")

 src.LinkTo(fpa)
 fpa.LinkTo(fde)
 fde.LinkTo(snk)

 pl.Play()

 Print "\rDurata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close

 Write "\nEsecuzione terminata !"

End


Public Sub PLine_End()
 
 bo = True
 
End


Estrarre i Tag da un file audio

E' possibile estrarre da un file gli eventuali Metadati mediante l'Evento "_Tag()" della Classe MediaPipeline.

Mostriamo un esempio che prevede l'estrazione dei Tag metadati da un file audio di formato MP3: 

Private pl As MediaPipeline
Private Meta As New Collection
Private ss As New String[]


Public Sub ToggleButton1_Click()

 Dim src, map, mad, snk As MediaControl

 If ToggleButton1.Value Then
   TextArea1.Clear
   pl = New MediaPipeline As "PLine"
   src = New MediaControl(pl, "filesrc")
   src["location"] = "/percorso/del/file/audio"
   map = New MediaControl(pl, "mpegaudioparse")
   mad = New MediaControl(pl, "mpg123audiodec")
   snk = New MediaControl(pl, "autoaudiosink")

   src.LinkTo(map)
   map.LinkTo(mad)
   mad.LinkTo(snk)

   pl.Play

   While pl.Duration < 0.1
     Wait 0.01
   Wend
   While pl.State == Media.Playing
     Me.Title = Str(Time(0, 0, 0, pl.Pos * 1000))
     Wait 0.1
   Wend
   pl.Close
 Else
   pl.Stop
   pl.Close
 Endif

End


Public Sub PLine_Tag(tagList As MediaTagList)

 For Each tag As String In tagList.Tags
   If Not Meta.Exist(tag) Then
     Meta[tag] = tagList[tag]
     ss.Push(tag)
     ss.Push(tagList[tag])
   Else
     ss[ss.Find(tag) + 1] = tagList[tag]
   Endif
 Next

 TextArea1.Clear
 For c As Short = 0 To ss.Max Step 2
   TextArea1.Text &= ss[c] & ":    " & ss[c + 1] & gb.NewLine
 Next

End


Estrarre i Tag da un file sito in una pagina web

Mostriamo un esempio pratico: 

Private pl As MediaPipeline
Private Meta As New Collection
Private ss As New String[]


Public Sub ToggleButton1_Click()

 Dim src, map, mad, snk As MediaControl

 If ToggleButton1.Value Then
   TextArea1.Clear
   pl = New MediaPipeline As "PLine"
   src = New MediaControl(pl, "souphttpsrc")
   src["location"] = "https://samples-files.com/samples/Audio/mp3/sample-file-1.mp3"
   map = New MediaControl(pl, "mpegaudioparse")
   mad = New MediaControl(pl, "mpg123audiodec")
   snk = New MediaControl(pl, "autoaudiosink")

   src.LinkTo(map)
   map.LinkTo(mad)
   mad.LinkTo(snk)

   pl.Play

   While pl.Duration < 0.1
     Wait 0.01
   Wend
   While pl.State == Media.Playing
     Me.Title = Str(Time(0, 0, 0, pl.Pos * 1000))
     Wait 0.1
   Wend
   pl.Close
 Else
   pl.Stop
   pl.Close
 Endif

End


Public Sub PLine_Tag(tagList As MediaTagList)

 For Each tag As String In tagList.Tags
   If Not Meta.Exist(tag) Then
     Meta[tag] = tagList[tag]
     ss.Push(tag)
     ss.Push(tagList[tag])
   Else
     ss[ss.Find(tag) + 1] = tagList[tag]
   Endif
 Next

 TextArea1.Clear
 For c As Short = 0 To ss.Max Step 2
   TextArea1.Text &= ss[c] & ":    " & ss[c + 1] & gb.NewLine
 Next

End

Se si tratta dell'inirizzo web di una radio om-line, allora useremo il decoder decodebin.
Esempio pratico: 

Private pl As MediaPipeline
Private Meta As New Collection
Private ss As New String[]


Public Sub ToggleButton1_Click()

 Dim src, dcb, con, snk As MediaControl

 If ToggleButton1.Value Then
   TextArea1.Clear
   pl = New MediaPipeline As "PLine"
   src = New MediaControl(pl, "souphttpsrc")
   src["location"] = "https://giosa.radioca.st/stream"
   dcb = New MediaControl(pl, "decodebin")
   con = New MediaControl(pl, "audioconvert")
   snk = New MediaControl(pl, "autoaudiosink")

   src.LinkTo(dcb)
   dcb.LinkLaterTo(con)
   con.LinkTo(snk)

   pl.Play

   While pl.Position < 0.1
     Wait 0.01
   Wend
   While pl.State == Media.Playing
     Me.Title = Str(Time(0, 0, 0, pl.Pos * 1000))
     Wait 0.1
   Wend
   pl.Close
 Else
   pl.Stop
   pl.Close
 Endif

End


Public Sub PLine_Tag(tagList As MediaTagList)

 For Each tag As String In tagList.Tags
   If Not Meta.Exist(tag) Then
     Meta[tag] = tagList[tag]
     ss.Push(tag)
     ss.Push(tagList[tag])
   Else
     ss[ss.Find(tag) + 1] = tagList[tag]
   Endif
 Next

 TextArea1.Clear
 For c As Short = 0 To ss.Max Step 2
   TextArea1.Text &= ss[c] & ":    " & ss[c + 1] & gb.NewLine
 Next

End


Mostrare i plug-in dei visualizzatori grafici di Gstreamer

Per consentire l'uso dei plugin dei visualizzatori audio, è necessario avere installati nel sistema i seguenti pacchetti dei plugin:
- gstreamer1.0-plugins-bad
- gstreamer1.0-plugins-base
- gstreamer1.0-plugins-base-apps
- gstreamer1.0-plugins-good
- gstreamer1.0-plugins-ugly 

Private pl As MediaPipeline


Public Sub ToggleButton1_Click()
 
 If ToggleButton1.Value Then 
   Dim DrawingArea1 As DrawingArea
   Dim src, dcb, tee, que1, que2 As MediaControl
   Dim vcon, plug, vsnk As MediaControl
   Dim acon, asnk As MediaControl
   Dim tipoPlug As String[] = ["goom", "goom2k1", "monoscope", "spacescope",
                               "spectrascope", "synaescope", "wavescope"]

   With DrawingArea1 = New DrawingArea(Me)
     .X = 10
     .Y = 10
     .W = 300
     .H = 300
     .Background = Color.Black
   End With 

   pl = New MediaPipeline As "PLine"

   src = New MediaControl(pl, "filesrc")
   src["location"] = "/percorso/del/file/audio"
   dcb = New MediaControl(pl, "decodebin")
   tee = New MediaControl(pl, "tee")
   que1 = New MediaControl(pl, "queue")
   vcon = New MediaControl(pl, "audioconvert")
   plug = New MediaControl(pl, tipoPlug[6])
   plug["style"] = 2    [nota 3]
   vsnk = New MediaControl(pl, "ximagesink")
   que2 = New MediaControl(pl, "queue")
   acon = New MediaControl(pl, "audioconvert")
   asnk = New MediaControl(pl, "autoaudiosink")

   src.LinkTo(dcb)
   dcb.LinkLaterTo(tee)
' Parte video:
   tee.LinkTo(que1)
   que1.LinkTo(vcon)
   vcon.LinkTo(plug)
   plug.LinkTo(vsnk)
' Parte audio:
   tee.LinkTo(que2)
   que2.LinkTo(acon)
   acon.LinkTo(asnk)
' Si dice al MediaControl di mostrare il proprio output (gli effetti video) in uno specifico controllo GUI, solitamente una DrawingArea:
   vsnk.SetWindow(DrawingArea1)

   pl.Play()
   While (pl.Duration < 0.1) Or (pl.Pos < 0.1)
     Wait 0.01
   Wend

   Wait pl.Duration

 Else 
   pl.Stop
   pl.Close
 Endif 
   
End


Public Sub PLine_Position()
 
 Me.Title = Str(Time(0, 0, 0, pl.Pos * 1000))

End


Public Sub PLine_End()

 pl.Close
 ToggleButton1.Value = False

End


Interfacciare le Classi MediaControl e MediaPipeline con il plugin "jackaudiosink" di GStreamer per eseguire i file audio

Per eseguire i file audio con le Classi MediaControl e MediaPipeline è possibile anche effettuare un interfacciamento tra il programma Gambas e il server audio JACK. Per fare ciò, ci si servirà dell'apposito plugin di GStreamer, chiamato "jackaudiosink".

Ovviamente bisognerà avere l'accortezza di avviare il server Jack (per esempio avviando il programma qjackctl) prima di lanciare il programma Gambas.

All'avvio del programma viene creata dal server Jack una connessione tra il programma sorgente Gambas e la destinazione (di default il primo canale audio d'uscita disponibile della propria scheda audio).


Mostriamo un semplice esempio di esecuzione di un file wav in un'applicazione a riga di comando: 

Private bo As Boolean


Public Sub Main()
 
 Dim pl As MediaPipeline
 Dim src, prs, cnv, snk As MediaControl

 pl = New MediaPipeline As "PLine"
  
 src = New MediaControl(pl, "filesrc")
 src["location"] = "/percorso/del/file.wav"
 prs = New MediaControl(pl, "wavparse")
 cnv = New MediaControl(pl, "audioconvert")
 snk = New MediaControl(pl, "jackaudiosink")
 
 src.LinkTo(prs)
 prs.LinkTo(cnv)
 cnv.LinkTo(snk)
  
 pl.Play()

 Print "\rDurata dell'audio: "; Str(Time(0, 0, 0, pl.Duration * 1000))
 Repeat
   Write "\r\e[0mTempo trascorso:   \e[31m" & Str(Time(0, 0, 0, pl.Position * 1000))
   Wait 0.01
 Until bo

 pl.Close()

 Write "\nEsecuzione terminata !"

End


Public Sub PLine_End()
 
 bo = True
 
End


Note

[1] Nel sistema multimediale GStreamer una "Pipeline " è una sequenza di elementi collegati tra loro, e costituisce la struttura su cui si basa GStreamer per processare un flusso multimediale.
Il flusso dati che attraversa la pipeline consiste in una combinazione di buffer ed eventi. Gli eventi contengono informazioni di controllo, come la notifica di ricezione di un metadato, di un comando di seeking (ad esempio permettere in stato di “pause” la pipeline) oppure la fine dello stream (EOS). Il buffer è l’unità base in cui un segnale è suddiviso.
Il segnale viene partizionato in buffer già dal primo elemento che fa da source (sorgente). Dopodiché l’elemento successivo riceve il buffer tramite la sua interfaccia sink-pad, e lo passa all’elemento seguente tramite il suo source-pad, e così via fino all’ultimo elemento che riceverà il buffer.

[2] Per avere contezza di quali siano i plugin ed i filtri da utilizzare, è opportuno vedere sulla rete la documentazione di GStreamer e gli eventuali esempi pratici.

[3] Sullo stile dell'elemento "wavescope" vedere: Stile wavescope

Estratto da "https://www.gambas-it.org/wiki/index.php?title=Eseguire_i_file_audio_mediante_la_Classe_%27%27MediaPipeline%27%27_del_componente_gb.media&oldid=36114"