Yes, this is a set phrase and - no, you are right in your interpretation.
The structure itself is an ellipsis with an omitted quasi-ergative subject in Dative (elliptical topic):
(Всем) (ли) меня слышно?
All-DAT INTERROG me-ACC heard-NEUT
The commentary on the topic is an archaic form of participle, which in modern Russian is formally similar to adverbs (cf. можно, нужно, важно, видно, слышно VS осторожно, возможно, рано, поздно, etc.).
The other samples of similar structures (I am not sure whether they are productive or not):
Можно Вас? / Вам можно / нельзя.
Кого (не) нужно (по)звать)?
Его / Ему (не) видно.
Нас / Нам (не) слышно.
Some structures, however, are possible only in quasi-ergative forms (unless they contain an elliptical verb).
Мне рано.
Тебе поздно.
Каждому понятно.
Всем ясно.
Им обидно.
(Не) каждому дано.
Кому-то завидно.