Кемниц был назван по наименованию небольшой речки Кемниц. Само слово chemnitz происходит из языка лужицких сербов и означает «каменистый ручей». В чешском языке город известен как Saská Kamenice, что переводится как «Каменец-Саксонский».
С 1953 по 1990 год город носил имя Карл-Маркс-Штадт (нем. Karl-Marx-Stadt), в честь философа и историка Карла Маркса.