Rather es una palabra camaleónica con tres papeles. Como modificador delante de un adjetivo significa bastante (This is rather expensive). Como conector, más bien (It's not cold, rather cool). Y en las expresiones de preferencia aparece como would rather (preferiría) y rather than (en vez de). La clave: would rather va con infinitivo sin "to" — I'd rather stay, no "to stay".
Tres usos
rather + adjetivo = bastante: It's rather cold.
rather (conector) = más bien: not lazy, rather tired.
would rather + infinitivo sin "to" / rather than = en vez de.
El error típico del hispanohablante
Nada de "to" tras would rather: I'd rather go, no "I'd rather to go".
"I'd rather not" para decir no con educación — no "I'd rather don't".