גרשון החל את דרכו כבר בגיל צעיר במחלקת הנוער של הפועל ראשון לציון ובעונת 2006 הוא עלה לקבוצה הבוגרת, שיחק שם שלוש שנים ושימש כקפטן.
משם יצא למסע מרשים באירופה, רמי עבר לשחק בסטנדרד ליאז' הבלגית והמשיך משם לקורטרייק, סלטיק הסקוטית, בוורן ובסופו של דבר נרכש על ידי גנט, שם היה חלק משמעותי בזכייה באליפות היסטורית והופיע עם הקבוצה בשלב הבתים של ליגת האלופות.
במקביל להצלחה שלו באירופה, רמי ביסס את מעמדו כשחקן נבחרת ישראל.
רמי רשם 26 הופעות רשמיות במדי הנבחרת הבוגרת, לקח חלק בקמפיינים של מוקדמות אליפות אירופה והמונדיאל וכבש שני שערים, אחד מהם זכור במיוחד, ב-3:3 מול נבחרת פורטוגל של כריסטיאנו רונאלדו באצטדיון רמת גן.
בקיץ 2017 שב לישראל וחתם במכבי חיפה.
למרות הניסיון העשיר מאירופה, זו הייתה הופעת הבכורה שלו בליגת העל.
במדים הירוקים רשם גרשון 133 הופעות בכל המסגרות.
רמי זכה עם הקבוצה בשלוש אליפויות, גביע הטוטו, פעמיים אלוף האלופים והעפיל עם הקבוצה לשלבי הבתים של כל שלושת המפעלים האירופים, ליגת האלופות, הליגה האירופית והקונפרנס ליג.
לאורך שנותיו בכרמל, רמי תמיד חפף את השחקנים הצעירים תוך חניכה אישית ונתן דוגמה אישית, גם בימים שלא זכה להרבה דקות משחק ותמיד כיבד את המועדון ואת כל הסובבים אותו, גם כאשר לא ראה דשא לתקופות ארוכות.
הישארותו במערכת היא דיי מתבקשת וטוב שכך קרה.
אין ספק ששני הצדדים יתרמו האחד לשני.
השבוע ,לפני שריקת הפתיחה של הדרבי, האוהדים הירוקים נפרדו ממנו באופן רשמי והעניקו לו את הכבוד הראוי.
מערכת ספורט NWS מאחלת לרמי גרשון בהצלחה בדרכו החדשה.
רמי גרשון בסרטון הפרידה שפרסם: "כדורגל זה מה שנשמתי וחלמתי מגיל אפס ואני מודה על כל רגע ורגע.אין יום שאני לא מודה לא-לוקים שזכיתי לעבור חיים שכאלה, תחושה של שלמות.אני מרגיש ויודע ושלם עם עצמי שעשיתי תמיד את המקסימום שלי, לא סטיתי מהדרך.הרגע הכי מתוק זה האליפות הראשונה עם מכבי.אחרי שנים מאוד קשות של המועדון וגם שלי באופן אישי, הצלחנו לעשות את זה.זיקוקים ואורות.רגע מדהים שאקח לכל החיים".
