Long story short: Russian verb's features like aspect, tense, mood and voice cannot be always determined through morphological analysis. It's the feature characteristic of Russian verb.
Most Russian grammatists criticize traditional morphological approach to tense / aspect / mood / voice analysis of Russian verbs.
For instance, all three traditional tenses and infinitive can be used as imperatives, varying the mood nuances:
Да пошёл ты к дьяволу со своими гландами! ― рассердилась Нюра. [Василий Шукшин. Печки-лавочки (1970-1972)]
― Значит, так, сейчас ты встаешь и любой ценой прекращаешь эту кутерьму. [Михаил Козаков. Актерская книга (1978-1995)]
Возьмёшь с собой пару или тройку рабочих с лопатами! [Ю. О. Домбровский. Факультет ненужных вещей, часть 1 (1978)]
― Встать, учитель идёт! ― приказали дети, и Лагарпов послушно встал. [Алексей Слаповский. Жизнь Лагарпова (1999)]
and the (morphological) imperative itself can be used, say, as optative:
- ― Лопни мои глаза, Камилла, если я спал! [Роберт Штильмарк. Наследник из Калькутты (1950-1951)]
or subjunctive:
- Повой она ещё каких-нибудь минут пять, и Серый схватил бы её. [М. М. Пришвин. Кладовая солнца (1945)]
As you noted, contrasting sg. past and the pl. past distinguishes imperative from hortative.
Thus, formal morphology does not unequivocally define the actual verb features. As @shabunc noted, this is called transposition.
Vinogradov in Русский язык writes:
Таким образом, в грамматической традиции чаще всего речь идет не столько о языковых формах глагольного времени и их значениях, сколько о психологических планах времени, об абстрактных линиях и точках времени3 . Система живых форм времени русского глагола в их основных значениях и в их сложном грамматическом взаимоотношении с другими глагольными формами почти никем из русских лингвистов последнего времени (кроме акад. А. А. Шахматова) не осмыслялась. На этой почве складывается убеждение: время русского глагола психологично и субъективно. Оно не вполне "грамматикализовано". Оно определяется больше психологически, чем грамматически.
Учение современной грамматики о формах времени русского глагола является отчасти бледным и искаженным видоизменением старой теории "вневременности" русского глагола, отчасти воспроизведением упрощенных грамматических схем русского глагола, предназначавшихся для иностранцев и возникших еще в XVII в.
Russian verb is subject to develop it much more readily than the other parts of speech. For instnance, Chukovsky in Живой как жизнь writes:
Или эта форма: «я пошел» вместо «я ухожу». Человек еще сидит за столом, он только собирается уйти, но изображает свой будущий поступок уже совершенным.
С этим я долго не мог примириться.
and also Vinogradov, ibid:
Значение 2-го лица в форме повелительного наклонения определяется лишь интонацией и отсутствием указаний на иное действующее лицо. Между тем эта форма может сочетаться и с существительными в качестве субъектов действия, получая значение 3-го лица, и может употребляться в неопределенно-личном значении. Известно, что до 20 — 30-х годов XIX в. в русском литературном языке способность этой формы относиться к 3-му лицу была гораздо активнее и шире. В современном языке употребление этой формы в значении 3-го лица живо, хотя и непродуктивно.
Спи, кто может, я спать не могу. (Некрасов)
Ах! тот скажи любви конец, // Кто на три года вдаль уедет. (Грибоедов, "Горе от ума")
which means that developing and losing verb forms may be a matter of decades in Russian.
Russian has developed a hortative form by adding the pl. imp. ending -те to I. sg. present:
- Пойдёмте и поговорим за бутылкой доброго вина. [А. Н. Толстой. Черная пятница (1924)]
Currently, it's only considered grammatical for verbs derived from -идти, -ехать, -быть, however, this form is developing and most probably will soon make it into literary language.