第一个采用部首作为汉字分类的是《说文解字》。《说文解字》将小篆的汉字分类在540个部首里，并将这些汉字的造字原理归类成“象形、指事、会意、形声、转注、假借”等六书的原理加以说明。
《说文解字》的部首分类最大原则是部首必须对此汉字之结构有所意义，因此，“杀”与“放”等形声字也被订定成部首。
另外，“一”到“十”的数字、“甲”到“癸”的天干、“子”到“亥”的地支都被选择作为部首。
虽然部首排列法强调部首应与文字有所关联，但又受到阴阳五行理念的影响，以“一”部开始，并以地支末尾的“亥”部结束，故作为分类方式，并不容易查询到自己想要查的文字。
之后、许多字书模仿《说文解字》，以部首来分类汉字。如《玉篇》（542部首）、《类篇》（540部首）等，这些字书采用的字体已经是楷书，内容也不是解说文字的来源，而是说明字义为主。但使用的部首几乎与《说文解字》相同，不易检索的缺点仍在。
在中国，长时间由于为了容易检字，相较于采用部首别的方式整理汉字，采用韵目排列汉字的字书更风行。这样分类有助于填诗、检字方便。例如宋代时也有人出版了改以韵目顺序排列的说文解字。
接著，辽代的僧侣行均之《龙龛手鉴》（242部首）、金代的韩孝彦、韩道昭的《五音篇海》（444部首）等字书，开始尝试调整部首数量，追求更高的检字方便性。
尤其《五音篇海》中，首度将同一部首内的汉字（部分）采用笔画数排列。但这些字书的部首本身仍不是采用笔画数排列。