Как установить magnific popup и использовать его вместо стандартных модальных окон dle ?

Всё довольно просто:
1. Изучаем документацию по jQueryUI Dialog
2. Изучаем документацию по Magnific Popup
3. Открываем все js, css, php и tpl файлы, где есть упоминания про модальные окна DLE и заменяем api jQueryUI Dialog на API Magnigic Popup. Для этого вам потребуется полное понимании того, что вы хотите сделать ну и конечно же очень много времени и желания.