Non ho idea del perchè uno possa volere un pulsante brutto al posto di uno bello, comunque un modo semplice è dare un bordo a una label e:
Public Sub Label1_MouseDown()
Label1.Background = Color.LightGray
Print "Premuto pulsante"
End
Public Sub Label1_MouseUp()
Label1.Background = Color.White
Print "Rilasciato pulsante"
End
Public Sub Label1_Enter()
Label1.Background = Color.White
End
Public Sub Label1_Leave()
Label1.Background = Color.ButtonBackground
End
Altrimenti usi una picture box e ti prepari delle immagini di fondo più estetiche.
Poi se lo devi usare molto ti crei un componente (http://www.gambas-it.org/wiki/index.php?title=Guide_della_comunit%C3%A0#Componenti).