I find the original wording to be quite natural for commonly spoken Russian language. For example, a complete sentence involving the phrase above could be:
Мы, с нашими четырьмя детьми, еле поместились в такси
If one was to use the wording четверыми детьми, as suggested by Avi Gordon, this would result in
Мы, с нашими четверыми детьми, еле поместились в такси
These two counting words (числительные) are derived, respectively, from:
четыре - четырьмя (тв. падеж); четверо - четверыми (тв. падеж)
The word 'четверо' is used for animate individuals ('нас было четверо'). The word 'четыре' is used for counting inanimate objects ('четыре треугольника') or counting groups of animate/inanimate objects ('четыре дивизии', 'четыре созвездия', 'четыре класса').
Examples:
- в четыре руки (as in playing piano) - Ухватившись четырьмя руками (having grabbed with four hands)
- четверо детей (four children) - с четверыми детьми (with four children)
This write-up on usage of group counting words (собирательных числительных) mentions the use of the word двадцатеро!
In that spirit, let us carry the counting example up to twenty:
- один - одним / одной / одним - not usable for group counting
- два - двумя; двое - двоими
- три - тремя; трое - троими
- четыре - четырьмя; четверо - четверыми
- пять - пятью (пятерьмя); пятеро - пятерыми
- шесть - шестью (шестерьмя); шестеро - шестерыми
- семь - семью (семерьмя); семеро - семерыми
- восемь - восемью (восьмерьмя); восьмеро - восьмерыми
- девять - девятью (девятерьмя); девятеро - девятерыми
- десять - десятью (десятерьмя); десятеро - десятерыми
- одиннадцать - одиннадцатью (одиннадцатерьмя); одиннацатеро - одиннадцатерыми
- двенадцать - двенадцатью (двенадцатерьмя); двенадцатеро - двенадцатерыми
- тринадцать - тринадцатью (тринадцатерьмя); тринадцатеро - тринадцатерыми
- четырнадцать - четырнадцатью (четырнадцатерьмя); четырнадцатеро - четырнадцатерыми
- пятнадцать - пятнадцатью (пятнадцатерьмя); пятнадцатеро - пятнадцатерыми
- шестнадцать - шестнадцатью (шестнадцатерьмя); шестнадцатеро - шестнадцатерыми
- семнадцать - семнадцатью (семнадцатерьмя); семнадцатеро - семнадцатерыми
- восемнадцать - восемнадцатью (восемнадцатерьмя); восемнадцатеро - восемнадцатерыми
- девятнадцать - девятнадцатью (девятнадцатерьмя); девятнадцатеро - девятнадцатерыми
- двадцать - двадцатью (двадцатерьмя); двадцатеро - двадцатерыми
Тhe next counting word would be "двадцать один", and thus the pattern breaks down. Taking the last usable word:
- Мы, с нашими двадцатерьмя детьми, еле поместились в лодке** (неестественно)
- Мы, с нашими двадцатью детьми, еле поместились в лодке** (естественно)
- Мы, с нашими двадцатерыми детьми, еле поместились в лодке** (неестественно)
The form двадцатерыми детьми sounds unnatural. The form двадцатью детьми, however, sounds fine. Note that the form двадцатью is derived from двадцать, which is in the counting lineage of the word четыре (rather than четверо/двадцатеро).
Based on the above, I would argue in favor of the form с четырьмя детьми.