In short, the last one takes precedence:

>один или два года  
три или пять лет  
etc.

**UPD**. Well, as Russian language has free word order, I'd better put it another way: **the closest** number decides. For example,

>Три года или пять  
Три или лет пять  
Лет пять или три  
etc.etc.