Задать вопрос
Не нравятся результаты поиска? Попробуйте другой поиск!
DLE FAQ » Стол заказов » Удаление дублей новостей по заголовкам

Удаление дублей новостей по заголовкам

 newage    30.09.2019    Стол заказов    1208    6 комментариев

Нужно написать скрипт для удаления дублей новостей по заголовкам.

Скрипт должен удалять дубли по убыванию (от новых новостей к старым) и оставлять самую старую (первую) новость.

Версия DLE: 13.2

Оплата по договоренности.

6 комментариев

dj-avtosh
PHP-developer

dj-avtosh - 30 сентября 2019 17:13 -

Сделать бэкап, потом сделать:

DELETE t1, dpe FROM dle_post t1 
JOIN dle_post t2 ON (t1.title = t2.title AND t1.id > t2.id)
LEFT JOIN dle_post_extras dpe ON (dpe.news_id = t1.id)
По заказам пишем сюда: @Rud00y

ЯД: 41001679231462
Заказы в telegram (ремонт модулей, оптимизация нагрузок и т.п.):
В телегу писать сразу задачу и бюджет.
dj-avtosh
PHP-developer

dj-avtosh - 30 сентября 2019 17:15 -

Можно еще добавить удаление связей из таблиц:
dle_post_extras_cats
dle_post_log
dle_post_pass

Будет так:

DELETE t1, dpe, dpec, dpl, dpp FROM dle_post t1 
JOIN dle_post t2 ON (t1.title = t2.title AND t1.id > t2.id)
LEFT JOIN dle_post_extras dpe ON (dpe.news_id = t1.id)
LEFT JOIN dle_post_extras_cats dpec ON (dpec.news_id = t1.id)
LEFT JOIN dle_post_log dpl ON (dpl.news_id = t1.id)
LEFT JOIN dle_post_pass dpp ON (dpp.news_id = t1.id)
По заказам пишем сюда: @Rud00y

ЯД: 41001679231462
Заказы в telegram (ремонт модулей, оптимизация нагрузок и т.п.):
В телегу писать сразу задачу и бюджет.
newage
Юзер

newage - 30 сентября 2019 17:55 -

dj-avtosh,
большое Вам спасибо. Доберусь домой, попробую.
dj-avtosh
PHP-developer

dj-avtosh - 30 сентября 2019 17:58 -

Но сперва бэкап БД.
По заказам пишем сюда: @Rud00y

ЯД: 41001679231462
Заказы в telegram (ремонт модулей, оптимизация нагрузок и т.п.):
В телегу писать сразу задачу и бюджет.
newage
Юзер

newage - 30 сентября 2019 22:03 -

dj-avtosh,
Супер! Все получилось. После обработки запроса новостей стало меньше на 700 шт (дублей). Для проверки брал несколько дублей, где было даже по три новости одинаковых. И все четко: после запроса, осталась только первая (самая ранняя), остальные две, более поздние удалились.

Огромное Вам человеческое спасибо!

P.S.: Для тех кто будет также чистить базу, учтите, что если база большая, MySQL может обрабатывать запрос довольно долго. У меня на данный момент 15 тыс. новостей, обработка шла примерно 7 мин.
dj-avtosh
PHP-developer

dj-avtosh - 30 сентября 2019 23:18 -

Долго только из-за связанных таблиц, можно 15к смело на 3 умножать, а то и больше.
По заказам пишем сюда: @Rud00y

ЯД: 41001679231462
Заказы в telegram (ремонт модулей, оптимизация нагрузок и т.п.):
В телегу писать сразу задачу и бюджет.
Чтобы комментировать - войдите или зарегистрируйтесь на сайте
  • mondolfo | Как вывесит в comments.tpl картинку с но ... 7
    Фото mondolfo
    mondolfo
    Как вывесит в comments.tpl картинку с новости?
    23-11-2024, 23:42
    кто-нибудь решил эту?
  • Darkzone | Выбор категории для доп. поля? 4
    Фото Darkzone
    Darkzone
    Выбор категории для доп. поля?
    22-11-2024, 17:08
    Разъясните как вытащить id?
  • lutskboy | Вытащить все данные из определенного доп ... 1
    Фото lutskboy
    lutskboy
    Вытащить все данные из определенного доп поля?
    22-11-2024, 16:17
    в adminer можно.
  • lutskboy | Выбор категории для доп. поля? 4
    Фото lutskboy
    lutskboy
    Выбор категории для доп. поля?
    22-11-2024, 16:14
    выбрать все кроме такого нет. можно с бд достать все ид через запятую и вставить в xfields.txt
    js скрипт можно написать
    
<script>
    window.addEventListener('load', ()=> {
        $('#category').on('change', function() {
            var value = $(this).val();
            if ($.isArray(value)) {
            	ShowOrHideEx("xfield_holder_year", jQuery.inArray('1', value) != -1 || jQuery.inArray('2', value) != -1 );
            } else {
            	ShowOrHideEx("xfield_holder_year", value == 1 || value==2);
            }
        })
    });
</script>
year доп поле . 1 и 2 катег
  • Darkzone | Выбор категории для доп. поля? 4
    Фото Darkzone
    Darkzone
    Выбор категории для доп. поля?
    22-11-2024, 14:39
    Смотрите, Нужно чтоб обязательное к заполнению доп. поле при добавлении новости, выводилось во всех категориях, кроме двух. Так как количество категорий довольно большое, есть ли способ, не тыкать каждую категорию в которой будет отображаться доп.поле. Надеюсь я смог разъяснить.
  • lutskboy | Выбор категории для доп. поля? 4
    Фото lutskboy
    lutskboy
    Выбор категории для доп. поля?
    22-11-2024, 13:52
    где выводить? админка или сайт
  • TeraMoune | Как отключить миниатюры стандартной гале ...
    Фото TeraMoune
    TeraMoune
    Как отключить миниатюры стандартной галереи Fancybox?
    21-11-2024, 06:00
    В файле engine/classes/fancybox/fancybox.js искать нужную инициализацию и добавлять соответствующие параметры, весь список параметров и их описание можно найти на этой странице https://fancyapps.com/fancybox/api/options/

    Например: параметр Thumbs: false отключает миниатюры.
    Fancybox.bind("[data-highslide]", {
	groupAttr: 'data-highslide',
	idle:2000,
	Thumbs: false,
	caption: (fancybox, slide) => {
		if(  slide.thumbEl && slide.thumbEl.alt ) {
			return slide.thumbEl.alt
		}
	}
});
  • derebas | Как реализовать шифрование трафика? 3
    Фото derebas
    derebas
    Как реализовать шифрование трафика?
    18-11-2024, 16:52
    Ну в теории, можно использовать src на site.com разместить прокси на site2.com а выдавать видео с site3.com, при этом прямой доступ на site3.com закрыть, отдача будет только если запрос с site2.com, таким образом палится только site2.com, НО источник потокового видео, все равно можно увидеть если захотеть, а ссылки, ну купить домен dsac-43efew-csdds.uz как пример
  • Gordi | Перенёс сайт - не работают кнопки, не от ... 8
    Фото Gordi
    Gordi
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:46
    я уже делал. Пользователь 1000 (это я так понимаю root) и chmod 777
    Так и было...
  • lutskboy | Перенёс сайт - не работают кнопки, не от ... 8
    Фото lutskboy
    lutskboy
    Перенёс сайт - не работают кнопки, не отображаются новости. Как вылечить?
    18-11-2024, 14:39
    чтоб не удалять выстави права и пользователя какие там идут на файлы. .
наверх