Une maîtrise de sciences économiques en poche, Xavier de la Raitrie intègre l'Institut d’études politiques de Bordeaux. A sa sortie, il commence sa carrière dans l'audiovisuel et les films d'entreprises. En 1982, il se met au service de négociants de matériaux et de marchands de fer. Pour eux, il implante des agences dans le sud-ouest de la France. Il y est notamment chargé de la formation des commerciaux. Cette première expérience de l’enseignement l’amène à créer en 1990 le campus de Bissy, dans l’agglomération bordelaise, un site qui rassemble des formations en informatique, management, tourisme, social, arts appliqués, comptabilité… En 1997, il devient responsable opérationnel du campus de Bissy, à Toulouse, et administrateur du groupe Esarc-Cefire, école supérieure de commerce et de management, pour le sud de la France qui est vendue au groupe Studialis en 2010.

Xavier de la Raitrie est, par ailleurs, passionné par l’équitation, les voyages et la sauvegarde de la planète.