因此，从一开始，人性善的思想就包含着由于怎样认定人性而将人分成不同等级的思想。那些将“四心”看成人的本性、不断地保持和发展它们的人，是君子，是大人，是圣人；那些将人的感官感受看成人的本性而将“四心”抛掉的人，是庶民，是小人，是凡人。孟子对此有许多阐述。对于“四心”，“‘求则得之，舍则失之。’或相倍蓰而无算者，不能尽其才者也。” （《告子上》）由于对于“四心”求或舍的不同，形成了不同社会阶层的人。“人之所以异于禽兽者几希，庶民去之，君子存之。”（《离娄下》）他还说：“体有贵贱，有小大。无以小害大，无以贱害贵。养其小者为小人，养其大者为大人。……饮食之人，则人贱之矣，为其养小以失大也。……从其大体为大人，从其小体为小人。”（《告子上》）

　　有人接着问：同样是人，在把握人的本性上为什么有这样的不同？孟子回答说：“耳目之官不思，而蔽于物。物交物，则引之而已矣。心之官则思，思则得之，不思则不得也。此天之所与我者。先立乎其大者，则其小者不能夺也。此为大人而已矣。”（《告子上》）人的耳目等感官不会思考，很容易为外物所惑，并在这种接触中可能迷失人的本性。而人的心这一器官会思考，思考就会把握住人的本性，不思考就得不到。心这一器官是天给我们的。所以先以心把握住人的本性之大者，那么其小的部分就不会把它给夺走了。能这样做的人就是大人。得其小者而失其大者，为小人，为庶民，极端的，为禽兽。“虽存乎人者，岂无仁义之心哉？其所以放弃良心者，亦犹斧斤之于木也。旦旦而伐之，可以为美乎？……人见其禽兽也，而以为未尝有才焉者，是岂人之情也哉？”（《告子上》）

　　孟子由人人皆有善端，不但没有得出人人平等的结论，反而得出结论说，人与人之间是不平等的，人与人之间应该分等，分为君子与庶民、大人与小人、圣人与凡人，这区分的标准就是看他是留存还是舍去了这些善端。而前者应该治理、教化后者，后者应该被前者所统治和教化。“人之有道也，饱食暖衣，逸居而无教，则近于禽兽。圣人有忧之，使契为司徒，教以人伦：父子有亲，君臣有义，夫妇有别，长幼有叙，朋友有信。”（《滕文公上》）

　　值得注意的是，孟子引用颜渊的话说：“舜，何人也？予，何人也？有为者亦若是”（《滕文公上》），这是他对当时当太子的滕文公说的，是劝勉这位未来的国君。他还说：“舜，人也； 我，亦人也。舜为法于天下，可传于後世，我由未免为乡人也，是则可忧也。 忧之如何？如舜而已矣。”（《离娄下》）他说这话是以那些“异于普通人”的君子口气说的，只有他们才会这样想。仅从字面的语义看，不顾孟子说话的语境，确实有人人皆可为舜尧、为圣人的意思，其实他是特指那些身居高位者或者像他自己一样的士人。他这些话并不是对那些小人、庶民、野人说的。这些貌似平等的话，其中隐含着等级内容。

　　在孟子看来，在对人性的认识上，人天生是不同的。他两次借用伊尹的话说：“天之生此民也，使先知觉后知，使先觉觉后觉也。予，天民之先觉者也；予将以斯道觉斯民也。非予觉之，而谁也？”（《万章上》；《万章下》还有一处话的内容与此大致相同）他以及跟他一样“识大体”的人是先知先觉，天生要去启发那些后知后觉者来认识本性的。这样，根据孟子的人性论，不但不能得出社会上人人平等的结论，反而引申出一种等级思想：一些人必然处于另一些人之上从而统治后者。