As Anixx already mentioned, "алло" is a ping-phrase. So it can be used when you are using any other phone-like communication device (e.g. entry phone = домофон) and you are not sure if anyone can hear you.
Алло can also be used when you are not using the phone, but still wish to check if anyone can hear you. However this is informal and sometimes may be considered rude.
For example, you want to buy a ticket to a theatre. You came to the cashdesk, but though the window is open, there is nobody inside. You are waiting for a several minutes, but still nobody came back. Finally you start 'pinging': Есть здесь кто нибудь? Отзовитесь!. Still there is no answer. Алё, меня кто-нибудь слышит?!
Another example. You are visiting some institution with Soviet traditions (post office, bank, etc.). You came to the cashdesk, and though the cashier is there, she is talking to her colleague or a friend (it is very uncommon to see 'he' there). You understand that she is discussing details of her private life (how she spent the weekends etc.) and do not pay attantion to you. You start with 'Девушка...', she still talks to colleague. After other attempts to bring her attantion you start to say 'Алё, меня кто-нибудь слышит?'. But be prepared to hear an aswer like: 'Мужчина, вы что не видите что у нас обед?'.
Also this word can be used when you are trying to say that your opponent is insane, like "У вас все дома? Алё?".
However (I don't remember if I heard it myself, but it is also shown in movies or cartoons) very old people may use 'Алё' (as a synonym to 'can anybody hear me') without any rudeness or insult.
So, as a bottom line, in Russian 'Алло' has no any connection to 'hello'.
Examples of usage from National Russian Corpus. 5 out of first 40 matches are showing usage of 'Алё' when people are not talking by phone. It is interesting that in most cases 'Алё' is used almost identically as 'эй!':
Булат Окуджава. Искусство кроийки и шитья (1985):
― Але, ― сказал Сысоев случайному прохожему, ― тут, кажись, колоночка должна быть?
Вдруг послышались торопливые шаги, и из-за угла вынырнул мужчина. ― Але, ― радостно сказал Сысоев, ― погоди, дорогой… Увидев нас, мужчина отскочил в сторону.
Мужчина выпил и вдруг заплакал. ― Але, ― сказал Сысоев, ― что это ты? ― Письмо ему написать хочу, ― сказал мужчина, ― чтоб разобрался во всем…
Сергей Довлатов. Заповедник (1983):
Затем приоткрыл дверь и скомандовал: ― Алё! Раздолбай Иваныч!
Затем сказал как можно более внушительно: ― Алё, кузен, пожалуйста, без рук! Я давно собираюсь конструктивно обсудить тему брака.
Александр Солженицын. В круге первом (1968):
Алё! ― коротко окликнул прораб, ― и женщина перестала мыть и посторонилась, давая дорогу на одного и не поднимая лица от ведра с тряпкой.
Алексей Слаповский. Синдром Феникса (2006):
Смотри, милиция заинтересуется, в самом деле! Але, гражданин, проснись! Бомж проснулся, сел, протер глаза, увидел Татьяну и обрадовался
Афанасий Мамедов, Исаак Милькин. Самому себе (2003):
Где подобрали и все такое… Але, дед, понял меня? ― обратился бригадир к Семенычу: тот, видимо, показался ему хитрее и несговорчивее меня.
It seems to me that the use of "алё" instead of "эй" goes from phrase "Алё, гараж!" (I found several examples of its usage:
This phrase seems to be a citation from extremely popular movie "Волга-Волга" (released in 1938), where one of the characters, Бывалов, is an authority in small town. Still, he wants to be assigned on a position in Moscow and tries to show it in all posible ways. So, he calls to the so-called 'garage' and says: "Алё, гараж? Заложите кобылу!" (and everyone understands that it is not a 'garage', but in fact stables).
This phrase in it's short form "Алё, гараж!" became an ironic way of addressing a person, and possibly it was later shortened to just "Алё" (at least one of the dictionaries referenced lists both as synonyms).
Interesting information about phone etiquette in Soviet times by Maxim Krongauz on Youtube (5:38 - 7:00).