La demande en capacité liée à la transmission de tout type d’information (voix, vidéos, données, etc.) ne cesse de croître. Afin de répondre à cette demande croissante, de nouvelles générations de systèmes de communication multiplexés en longueur d’onde transmettant des débits élevés d’information par canal (100Gbit/s ou plus) doivent être conçues. En plus des fibres ayant de très faibles pertes, des amplificateurs à fibre dopée à l’erbium et du multiplexage en longueur d’onde, des technologies sont mises en place, comme notamment le multiplexage en polarisation, la détection cohérente, les formats de modulation multi-niveaux et plus récemment le multiplexage spatial. Des interrogations résident sur l’impact du multiplexage en polarisation ainsi qu’un développement vers des formats de modulation plus évolués incluant modulation de phase et multiplexage en polarisation. Dans cette thèse, afin de contribuer à l’augmentation du produit capacité × distance dans les systèmes de transmission Nx100 Gbit/s par fibre optique également multiplexés en polarisation et utilisant la détection cohérente, j’ai étudié d’une part, la mise en forme spectrale des signaux à l’émission pour augmenter la densité spectrale d’information (ISD: Information Spectral density).