Mathieu comenzó su carrera en el FC Sochaux-Montbéliard. Debutó en la Ligue 1 en la temporada 2002/03 en un partido de liga contra el CS Sedan saliendo desde el banquillo. A pesar de tener sólo 18 años se hizo con el puesto de titular y marcó su primer gol como profesional en un partido contra el Rennes. Jugó 23 partidos en la temporada, marcando 4 goles y fue fundamental para que su equipo se clasificara 5º y jugara la Copa de la UEFA.

Durante las dos siguientes temporadas, Jérémy jugó 63 partidos de liga y marcó 6 goles. También jugó a un buen nivel en Europa, participando en 14 partidos y marcando 2 goles. En 2004 ganó con el Sochaux la Copa de la Liga. Su gran campaña atrajo el interés de equipos como la Juventus, el Newcastle United o el Everton

Después de anunciar su deseo de marcharse a otro club cuando sólo le quedaba un año de contrato, el Sochaux aceptó escuchar ofertas por el jugador. Finalmente firmó con el Toulouse un contrato de cuatro años. Debutó con su nuevo club contra el Sochaux jugando los 90 minutos en la victoria por 1-0. Continuó su buena carrera jugando 36 partidos y marcando 2 goles. Ese año el Toulouse se clasificó para la UEFA Champions League. La temporada 2007/08 fue muy mala para el Toulouse y para Mathieu, que se fracturó un hueso del pie y se perdió la mitad de la temporada. El Toulouse estuvo a punto de descender ese año. Esto le hizo replantearse su situación en el equipo.

Después del gran interés de la Roma y otros clubes italianos, el Toulouse rechazó traspasar al jugador y este a su vez rechazó la renovación con el club. Al quedarle sólo un año de contrato acordaron que al final de esa temporada se marcharía. A pesar de esta sitauación jugó 27 partidos en la 2008/09.

El 10 de junio de 2009 se anunció que Mathieu sería el primer fichaje del Valencia para la próxima temporada, firmando un contrato de 3 años. El traspaso se hizo efectivo el 1 de julio, cuando finzalizó su contrato con el Toulouse.

Jérémy ha sido internacional con la selección de Francia sub-15, sub-21. Jugó un primer partido con la selección de Francia B contra Eslovaquia. [Resumir]