Sebelum proklamasi kemerdekaan Republik Indonesia, Pematangsiantar merupakan daerah kerajan Siantar. Pematangsiantar yang berkedudukan di pulau Holing dan raja terakhir dari dinasti keturunan marga Damanik yaitu Tuan Sangnawaluh Damanik, yang memegang kekuasan sebagai raja tahun 1906.

Disekitar Pulau Holing kemudian berkembang menjadi perkampungan tempat tinggal penduduk diantaranya Kampung Suhi Haluan, Siantar Kahean, Pantoan,Suhi Bah Bosar,dan Tomuan. Daerah-daerah tersebut kemudian menjadi daerah hukum Kota Pematangsiantar yaitu :

1. Pulau Holing menjadi kampung pematang
2. Siantar Bayu menjadi Kampung Pusat Kota
3. Suhi Kahean menjadi Kampung Sipinggol-pinggol, kampung melayu, Martoba,Sukadame, dan Bane.
4. Suhi Bah Bosar menjadi Kampung Kristen, Karo, Tomuan, Pantoan, Toba dan Martimbang.

Setelah Belanda memamusuki daerah Sumatera Utara, Simalungun menjadi Daerah kekuasaan Belanda sehingga pada tahun 1907 berakhirlah kekuasaan raja-raja. Controleur Belanda yang semula berkedudukan di perdagngngan pada tahun 1907 dipindahkan ke Pematangsiantar. Sejak itu Pematangsiantar berkembang menjadi daerah yang banyak dikunjungi pendatang baru, Bangsa Cina mendiami Kawasan Tiombang Galung dan Kampung melayu.

Pada tahun 1910 didirikan Badan Persiapan Kota Pematangsiantar. Kemudian Pada tanggal 1 Juli 1917 berdasarkan Stad Blad No.285 Pematangsiantar berubah menjadi Geemente yang mempunyai otonomi sendiri. Sejak Januari 1939 berdasarkan Stad Blad No.717 berubah menjadi Geemente yang mempunyai Dewan.

Pada jaman Jepang berubah menjadi Siantar Estate dan Dewan dihapus. Setelah Proklamasi Kemerdekaan Pematangsiantar kembali menjadi daerah Otonomi. Berdasarkan UU No.22/1948 status geemente menjadi kota kabupaten Simalungun dan Walikota di rangkap oleh Bupati Simalungun sampai 1957.

Berdasarkan UU No1/1957 berubah menjadi Kota Praja penuh dan dengan keluarnya UU No.18/1965 berubah menjadi Kotamadya, dan dengan keluarnya UU No.5/1974 Tentang pokok-pokok pemerintah di daerah berubah menjadi daerah tingkat II Pematangsiantar sampai sekarang.