В документах XIV—XV веков упоминаются местность Ворясьма (название финно-угорского происхождения, означающее «Водой украшенная земля») и река Кишма (название финно-угорского происхождения, означающее «Лесная земля»). С XVI века упоминается населённый пункт — село Ворсма.
После женитьбы Ивана Грозного на кабардинке Марии Темрюковне, её родня получила княжеский титул и стала называться князьями Черкасскими. Для Аптекарского приказа, которым руководил один из князей Черкасских, были выделены земли около Гороховца, а затем вокруг современных Павлова и Ворсмы.
В XVI веке близ города был основан Свято-Троицкий Островоезерский монастырь (в XVII веке отстроен в камне на средства князей Черкасских).
В период двоевластия Василия Шуйского и Лжедмитрия II, в Ворсме нашлось много людей, поддержавших Лжедмитрия II, оказав ему помощь оружием и людьми. В сражении под Ворсмой нижегородское ополчение наголову разбило отряды Лжедмитрия II.
Козьме Минину за гражданский подвиг и личное мужество царём Михаилом Фёдоровичем были пожалованы чин думного дьяка, а также земли и угодья села Ворсмы, после смерти Минина и его сына этот дар отошёл в царскую казну.
Земли вокруг Ворсмы были малоплодородными: сплошная глина и суглинок. Прокормиться на этой земле очень сложно. Это способствовало развитию Ворсмы и Павлова в крупный промысел по обработке железа. Были обнаружены болотные руды, переплавляя которые в маленьких доменных печах, получали сталь. В Ворсме получили развитие кожевенные, мыловаренные и особенно слесарные промыслы: изготовление ножей, ножниц, хирургического инструмента, столовых приборов, оружия. Императрица Екатерина II своим указом от 7 сентября 1761 года ради поощрения развивающейся в Павлове и Ворсме слесарной промышленности освободила эти сёла от постоянной повинности, крестьянам предоставила право торговать по всей Российской империи без особых свидетельств.
По указу графа П. Б. Шереметева в 1766 году была учреждена слесарная фабрика по производству ружей, ножей, щипцов, замков и прочего железного товара. В 1810 году граф Шереметев в виде подарка передал 1200 ружей императору Александру I, а в 1813 году для войны с французами передал в дар ещё 2000 ружей и 1500 сабель.
В 1820 году своё дело открыл крепостной графа Шереметева Иван Гаврилович Завьялов. В 1835 году он был пожалован Николаем I 5000 рублями, кафтаном с золотым позументом, и медалью с надписью «За полезное» для ношения на Анненской ленте. В 1843 году ему в Москве на мануфактурной выставке была вручена большая серебряная медаль, а в 1862 году он получил медаль на всемирной выставке в Лондоне «За отличные образцы стального ножевого товара».
Во время Крымской войны на фабрике в Ворсме начали производство полкового медицинского хирургического набора.
В 1926 году Ворсме был присвоен статус посёлка, а с 1955 года — города. В 1955 году был открыт Казанский храм, который на протяжении советского периода оставался единственным действующим храмом в городе и близлежащих районах.
В советское время получило развитие только два промышленных направления. Медико-инструментальный завод имени В. И. Ленина производил медицинский инструмент, а производственное объединение «Октябрь» производило разнообразные складные ножи, выпуская 95 % такой продукции в СССР. Кроме этого на ПО «Октябрь» производились подарочные ножи для всех руководителей СССР, начиная со Сталина, а также широкий спектр специальных ножей для различных родов войск и флота (боцманский, строповый, сапёрный, нож взрывника, шлюпочный, командирский).
Распоряжением Правительства РФ от 29 июля 2014 года № 1398-р «Об утверждении перечня моногородов» городское поселение город Ворсма включено в категорию «Монопрофильные муниципальные образования Российской Федерации (моногорода), в которых имеются риски ухудшения социально-экономического положения» в Категории 3: «Монопрофильные муниципальные образования Российской Федерации (моногорода) со стабильной социально-экономической ситуацией».