Das ist eine anwendungsspezifische Frage.
Wenn ich z.B. meine TV-Aufnahmen encodiere, oder VMs laufen habe möchte ich nicht irgendwann ohne Auslagerungsmöglichkeit dastehen. Da sind 2GB Ram sehr schnell verbraucht.
Daher meiner Einschäzung: Niemals entfernen.