Инструмент вошел в обиход в 20 веке, хотя свою историю начал с эпохи Древнего мира. Дословно его название переводится с тюркского как «чёрный камень». Использование пишущих инструментов на восковой основе упоминается римским учёным Плинием старшим.

В отличие от простого карандаша, где в качестве стержня используется графит, в цветных карандашах стержень формируется из восковой или масляной основы с добавлением пигментов, красителей, клеевых составов и т.д. Существуют также водорастворимые цветные карандаши.

Массовое производство и доступность цветных карандашей превратили их в непременный атрибут детского и подросткового творчества, позволяющий выражать эмоции, настроение и мысли через рисование или раскрашивание. В современной психологии цветные карандаши используются в арт-терапии и ряде реабилитационных процедур.