Para expresar preferencias en inglés hay varias fórmulas y cada una pide una forma verbal distinta, que es justo donde se falla. Prefer habla de gustos en general y va con -ing o con to + infinitivo. Would prefer es para un momento concreto y lleva to + infinitivo. Would rather significa lo mismo pero con infinitivo sin "to". Y had better no es preferencia sino consejo fuerte o advertencia, también con infinitivo sin "to".
Las formas
prefer + -ing (general) → I prefer cooking.
would prefer + to (esta vez) → I'd prefer to stay.
would rather + infinitivo sin "to" → I'd rather stay.
would rather have + participio = preferencia sobre el pasado: I'd rather have stayed home last night.
had better + infinitivo sin "to" (aviso) → You'd better hurry.
El error típico del hispanohablante
Para comparar con prefer usa to: I prefer tea to coffee (no "than coffee").
would rather y had better NO llevan "to": I'd rather go, you'd better go.