Первое упоминание о наждачной бумаге относится к 13-му веку, когда в Китае она изготовлялась из размолотых раковин, семян и песка, нанесённых на пергамент с помощью натурального клея. У некоторых народов в качестве наждачной бумаги использовалась кожа акулы.
Считается, что изобретателем современной шлифовальной бумаги является Джон Оукей (John Oakey) (1813 г. — 10 января 1887 г.) — английский изобретатель и основатель компании «Джон Оукей и сыновья», производителя наждачной бумаги и других шлифовальных материалов.
Будучи подмастерьем в мастерской по изготовлению музыкальных инструментов, он начал изготавливать свою первую продукцию, приклеивая песок и размолотое стекло на бумагу. Усовершенствовав технологию для массового производства, он в 1833 г. основал бизнес в Валворте (Лондон), а затем перенес его на Вестминстер Бридж Роуд, где на месте бывшего приюта построил фабрику, здание которой в те годы называлось Веллингтон Миллс (Wellington Mills). До настоящего времени не сохранилось.
Оукей последовательно разработал бумагу для сухого и влажного шлифования и целый ряд шлифовальных материалов, включая средства для полирования обуви, средства для чистки посуды, полироль для мебели, и средство для полирования ножей (запатентованное Wellington Knife Polish).