In short, the last one takes precedence:
один или два года
три или пять лет
etc.
UPD. Well, as Russian language has free word order, I'd better put it another way: the closest number decides. For example,
Три года или пять
Три или лет пять
Лет пять или три
etc.etc.