Los pleitos entre el obispado de Almería y los señores velezanos fueron constantes a lo largo de la época Moderna. Quizás los más encendidos fueron los que enfrentaron a don Diego Villalán, obispo de Almería (1523-1556), con el I marqués, don Pedro Fajardo. El motivo fundamental de los litigios era doble:

- por un lado el desacuerdo por el cobro de los diezmos de los moriscos, cuyo derecho pretendía tener cada uno, a pesar de lo dispuesto en las Bulas Pontificias de 1500 y 1501, a instancias de los Reyes Católicos, en ellas se fijaba el derecho de los señores a percibir dos tercios de los diezmos de los que se convirtiesen a la fe católica.

- por otro la lentitud con que don Pedro desarrollaba la construcción de las iglesias parroquiales velezanas, obligación que tenía como cesión del patronato regio, ni el marqués dejó de procurar intervenir en el nombramiento de clérigos afectos para las parroquias, ni el obispado de impedirlo.

Hasta 1605 no se firmó una concordia que ponía fin a todos los litigios entre el obispo fray Juan de Portocarrero, y don Luis Fajar do de Zúñiga y Requesens, IV marqués de los Vélez: el señor territorial percibiría los dos tercios de los diezmos de las parcelas que habían sido de los cristianos nuevos, a cambio de la  bligación de construir y reparar a sus expensas las iglesias del marquesado.

De esta forma se iniciará un periodo de tranquilidad entre ambas instituciones que se mantuvo, no sin ciertas discrepancias y resquemores, a lo largo de toda su historia.