Люди жили здесь еще в период неолита. До наших дней сохранились остатки поселений черняховской культуры, праславянских, а также северянских поселений УШ-Х вв. и времен Киевской Руси. С конца XIV и до середины XVII вв. местность, где расположены современные Сумы, не была заселенна.

С 1652 года сюда начали переселяться украинские крестьяне из Правобережной Украины, находившиеся в то время под властью Речи Посполитой. Город заселялся несколькими волнами переселенцев из-за реки Днепр, но основателем Сум считается полковник Герасим Кондратьев, который пришел сюда в 1655 году с группой казаков-переселенцев из местечка Ставищи Белоцерковского полка. Переселенцы пришли не на пустое место. Есть данные, что люди жили здесь намного раньше. В районе Луки и бывшего села Тополя (там, где теперь ул. Тополянская) найдены остатки более древних поселений — древнеславянские и времен Киевской Руси. Но Сумы, они же «Сумин городок», начались тогда, когда здесь стали жить казаки Герасима Кондратьева, с этого и начинается история города Сумы. Летом 1655 г. в Москву отправлена челобитная: «Бьют челом … бедные и разоренные от ляхов и татар г. Ставища черкасы атаман Герасимка Кондратьев и рядовые казаки, всех 100 человек… пришли мы из-за Днепра… с женишками и детишками и пришед стали на Псле реке подле речки Сум…». Казакам Москва разрешила здесь обосноваться, и они стали строить деревянную крепость.

Этот процесс миграции продолжался до середины XVIII в. В 1656—1658 гг. по царскому распоряжению в устье трех рек — Псла, Сумки и Стрелки — возводится поселение и крепость. Вокруг был выкопан ров и насыпаны валы, фрагменты которых сохранились до наших дней. Крепость не раз осаждали татарские орды, но безуспешно. Сама же она служила сборным пунктом войск при подготовке крымских походов.

Начиная с XVIII ст. Сумы превращаются в значительный торговый центр. По своему размаху сумские ярмарки занимали первое место на Слобожанщине. На ежегодных ярмарках собирались купцы со всей Украины, а также из России и Западной Европы и Азии. Большим спросом пользовались изделия сумских ремесленников: гончаров, кузнецов, ткачей, ювелиров, кожевников.