Hola amigo , como estas? Puedo ayudarte con los mensajes que necesitas en un modal y también ayudarte con la parte del datatable, actualmente para la validación que necesitas se debe o se puede ocupar ajax , cuando usamos ajax podemos obtener la data en tiempo real inclusive actualmente programe un sistema que contiene datatable y las consultas que hace el datatable son vía ajax , cada ves que agrego o actualiza un registro el datatable actualiza la data, en cuanto a los mensajes se puede utilizar para el login igualmente ajax o simplemente retornar una variable para validar dicho error y mostrar un modal o como tu requieras.
Tengo conocimiento en PHP, JS ,JQUERY, AJAX, MYSQL, HTML5, CSS3, LARAVEL, WORDPRESS , BOOTSTRAP
Con estos conocimientos puedo responder y ayudarte en todo lo que necesites por tu sistema, te invito a contactarme para saber mas detalles y asi poder trabajar contigo, espero podamos trabajar juntos , saludos!