没想到，李济虽然也对大量出土甲骨文表示惊喜，同时却非常不客气地批评了第一次发掘殷墟的挖掘方式。
李济在后来的著作中曾做过这样的评价：第一次试挖“仍袭古董商陈法。就地掘坑，直贯而下；唯捡有字甲骨保留，其余皆视为副品。虽绘地图，亦太简略，且地层绪乱，一无记载。”
傅斯年对第一次试挖的过程和结果也不是完全满意，李济后来回忆，傅斯年说：“我等此次工作的目的，求文字（甲骨文）其次，求得地下知识其上也。”
只是寒冬已至，第一次试挖有不尽如人意之处也只能就此终止，静待冬去春来再进行第二次发掘。刚刚起步的中国考古学，只能把这些不尽如人意之处当做学费。
但是，董作宾这次以甲骨为主要目标、带有探宝性质的挖掘，仍然具有重大意义，它不仅结束了古玩爱好者“安乐椅上研究”的博家时代，更为后面的真正意义上的考古挖掘开启了道路。
李济和董作宾的第一次碰面，就产生了一个否定的结论，似乎并不愉快。而实际上，这两位学者都有足够宽阔的胸襟，业务、学术的探讨、争论开诚布公，毫不影响个人关系。
董作宾对李济的批评也虚心接受，两人还达成了一份“君子协定”：旧历新年后到安阳再联手搞一次试掘，董作宾研究其中的甲骨文，李济负责所有其他的出土文物。
一九二八年十二月，李济正式出任历史语言研究所考古组主任，从此殷墟考古发掘迎来了“掌门人”。
与此同时，傅斯年做出调整，把发掘组更名为“国立中央研究院河南殷墟发掘团”。
一九二九年春，李济主持的第二次殷墟发掘开始了。
正如发掘组新的名字一样，这次发掘明确把殷墟作为发掘对象，而不是单纯地挖掘甲骨，考古方式和工作原则发生了质的变化。
发掘之初，李济就提出考古不能有挖宝思想，“一切的原始材料，只要能体现人类的活动，哪怕是残陶碎骨，只要是经过有计划的科学方式采集得来的，就能显现真正的学术价值”。
这次挖掘中，李济提出了“科学”的考古概念：“科学的考古必须具有五个条件——必须有问题、必须有方法、记载必须精确、必须无成见、必须有耐心。”
在工作中，李济聘用了专业的测量员对遗址进行了测绘，以便更准确地描绘出以小屯为中心的详细地图。
他又在遗址内的若干地点以挖深沟的方法进行挖掘，主要的目的是要清楚地了解地层下地表的情况，以便找到甲骨堆积的特征。
此外，他还系统地记录和登记了每件遗物的确切出土地点、时间、周围的堆积情况和层次等等。
每个参加挖掘的工作人员也坚持写关于个人观察以及田野工作中发生情况的“工作日记”。
同时，李济给大家立下规矩，“一切出土物全属国家财产，考古队同人自己决不购买、收藏古物”，这成为所有中国考古人心中最神圣的戒律、底线。“考古不收藏，收藏不考古”至今仍是衡量一名考古人的最基本的标尺。
第二次发掘，从一九二九年三月七日至五月十日日，分村北、村南、村中三个发掘点，共开三米长一点五米宽的探坑四十三个。发掘出甲骨文740片、还有大量陶器、兽器、陶范、铜器及石器。同时对村南、村中和村北的麦地、棉田进行了地下情况调查。