承包合同上的名字是他的，并进行了公正，说明这份合同的承包者是他而不是你，你只能算是他的合伙人。现在他撤出，由你进行独自一个人经营，并对他进行了经济补偿。你两又单独签订了一个由你独自经营的协议。这个协议没有法律效应。

从你描述的情况来看，现在实际上就是他转包给你，根据《最高人民法院关于审理农业承包合同纠纷案件若干问题的规定（试行）》规定：第十四条 承包方未经发包方同意，转让承包合同，转包或者互换承包经营标的物的，人民法院应当认定该转让、转包、互换行为无效。