Da Asterisk auf MIPS/ ARM läuft, wäre es grundsätzlich möglich. Behaupte aber, dass es den Aufwand nicht wert ist da ohne apt die Installation benötigter Pakete wie gcc und git nicht trivial ist. Zwar kenne ich die Zero 4k nicht, aufgrund der Erfahrungen mit meiner Duo2 wage ich aber zu behaupten, dass zeitkritische Netzwerkdienste wie VoIP auf der Box fehl am Platz sind.
Kauf dir einen RasPi.