Już w XVII wieku wygnani z Rzeczypospolitej protestanccy bracia polscy przygotowali odpowiednie plany przekopania malowniczych terenów. Józef Naronowicz-Naroński opracował dokładne mapy jezior i plan połączenia rzeki Pregoły z Niemnem, a kontynuator jego prac Samuel Suchodolec (Suchodolski) opracował projekt kanału mającego połączyć jez. Śniardwy z jez. Niegocin i dalej z rzeką Pregołą.
Pierwsze kanały pomiędzy mazurskimi jeziorami zaczęto kopać w drugiej połowie XVIII wieku Wtedy też powrócono do koncepcji stworzenia szlaku wodnego do Bałtyku. Jako najbardziej wydajne wybrano wówczas połączenie jeziora Mamry z rzeką Łyną. Projekt opracowany w latach 1849-1862 zakładał 50 km długości kanału z 6 stopniami wodnymi pokonującymi wysokość 111 m. Nie otrzymał on jednak formalnej zgody na realizację.
W 1874 r. przygotowano kolejny projekt, tym razem zatwierdzony przez parlament krajowy Prus Wschodnich, jednak również nie został on zrealizowany ze względu na problemy własnościowe gruntów, po których miał przebiegać.
Kolejny projekt z lat 1890-1898 również nie został zrealizowany. Tym razem na przeszkodzie stanęły protesty mieszkańców, którzy obawiali się zwiększenia zagrożenia powodziowego.
Dopiero w 1906 r. zdecydowano się na szerokie konsultacje społeczne z mieszkańcami regionu, podczas których określono wzajemne potrzeby i oczekiwania. Uwzględniający je projekt ukończono już w kolejnym roku, a zatwierdzony do realizacji został w maju 1908 r. Na realizację inwestycji została przydzielona kwota 16 515 000 marek (w tym 1 815 000 marek przeznaczono na budowę zbiorników retencyjnych). Przewidywał on budowę 10 śluz oraz 2 jazów o mechanizmach napędzanych ręcznie. Miały one zlikwidować różnicę poziomów wody wynoszącą w sumie 111,2 m, czyli około 2m/1 km. Szerokość Kanału miała wynosić co najmniej 20 metrów. W pewnych miejscach miały go przecinać 3 mosty kolejowe i 8 drogowych. Budowa Kanału miała więc być naprawdę ambitnym przedsięwzięciem.
Budowę rozpoczęto w 1911 r., ale wybuch I wojny światowej znowu przeszkodził w realizacji. Jednak w ciągu 3 lat prac wykonano 3/4 robót ziemnych. Wznowiono je w 1919 r. jednak z mniejszą werwą ze względu na problemy ze znalezieniem odpowiedniej jakości cementu niezbędnego do murowania śluz. Kryzys gospodarczy lat 20. znowu przerwał budowę. Do tego czasu gotowych było 20 km kanału, trwały prace przy kolejnych 10 km, ukończono wszystkie przepusty, spusty i groble, a także większość mostów.
Ostatnie odrodzenie koncepcji budowy przypadło na lata rządów narodowych socjalistów. Naziści wspierali rozwój gospodarczy Prus Wschodnich, dlatego postawili sobie za cel ukończenie projektu, które przewidziano na 1941 r.
Wybuch wojny po raz kolejny utrudnił realizację. W 1940 roku uczestniczące w budowie kanału oddziały Służby Pracy Rzeszy zostały oddelegowane do innych robót. Prace przy budowie Kanału Mazurskiego wstrzymano ostatecznie w 1942 roku, a w roku 1944 większość mostów na kanale została wysadzona w celu powstrzymania radzieckiej ofensywy.
Koryto kanału zostało wykopane na całej jego długości, choć śluzy nie są połączone. Stan prac szacuje się na 90%, jednak po wojnie nie powrócono do pomysłu jego ukończenia. Obecnie Kanał Mazurski przebiega przez terytorium dwóch państw: Polski i Federacji Rosyjskiej.