O Kartuzach mówi się, że to chyba jedyne miasto w Europie, do którego wszystkie drogi prowadzą przez lasy. Takteż było w XIV wieku, kiedy to powstająca osada lokowała się wokół kościoła Kartuzów, którego charakterystyczny dach w kształcie trumny do dzisiaj jest architektonicznym symbolem miasta. Kościół ufundował w 1381 roku bogaty szlachcic pomorski - Jan z Różęcina, który zaprosił ojca Jana Deterhusa z praskiego domu zakonnego Kartuzów na Kaszuby.

Po kilku latach o. Deterhus został pierwszym przeorem Raju Maryi.Zakon Kartuzów skasowany został w 1823 roku przez władze pruskie. W tym też czasie wybudowano z Kartuz do Gdańska dość wygodną i szeroką drogę. Traktem tym (szosą) do dzisiaj jeżdżą turyści na Kaszuby i do Kartuz. Przed 1850 rokiem istniały już w Kartuzach gmachy sądu i więzienia, apteka (potem hotel Plichty) oraz nowa gospoda.
Wytyczona została główna ulica Kartuz (dzisiejsza 3-go Maja). Prawa miejskie "Kartuzy śliczne" uzyskały dopiero w 1923 roku i w tym też czasie nadano miastu herb.