Запрос PostgreSQL чрезвычайно медленный

Question

Запрос PostgreSQL чрезвычайно медленный

0

У меня есть таблица в базе данных PostgreSQL: temp с 4 столбцами

(
    id int, 
    campaign character varying, 
    sender character varying, 
    date_s date
)

с уже около 9 миллионов записей. На данный момент индексов нет.

Проблема в том, когда я пытаюсь сделать:

SELECT COUNT(*) 
FROM temp 
WHERE 
    id = $idmail and 
    campaign = '$variable_campaign' AND 
    date > '$date_c' "

в петле 100K.

Запрос не отвечает. (Я поставил неограниченное set_time_limit в PHP, иначе я получу ошибку 500 за 5 минут)

На самом деле цель всех этих запросов - получить список писем, на которые соответствующая кампания не была отправлена на текущей неделе.

У вас есть идеи, потому что я действительно не знаю, как это сделать!

Я могу делать временные файлы, если запросы не могут быть выполнены, но я предпочитаю иметь дело с базами данных, это чище!

Adeline Mani-Rajan 18 фев. 2015, в 11:29

Источник

2

«Пока нет индексов» и «в цикле 100 КБ», звучат как две основные проблемы, объясняющие проблемы с производительностью. Но почему бы вам не создать один запрос, который выберет все нужные вам записи всего одним ударом? Используйте EXPLAIN ANALYZE, чтобы получить план запроса и время выполнения, вы можете опубликовать его на сайте объяснении.
Frank Heikens 18 фев. 2015, в 09:46
0

Почему бы вам не создать индекс для повышения производительности? CREATE INDEX TEMP_IDX_1 ON TEMP (ID, CAMPAIGN, DATE);
Christian 18 фев. 2015, в 19:16
0

@Christian: индекс может значительно улучшить этот запрос, но если вы выполните его 100000 раз, он все равно будет очень медленным. Индекс является лишь незначительной частью оптимизации производительности.
Frank Heikens 19 фев. 2015, в 09:42

Показать ещё 1 комментарий

Теги:

php

database

postgresql

1 ответ

Ещё вопросы

«Пока нет индексов» и «в цикле 100 КБ», звучат как две основные проблемы, объясняющие проблемы с производительностью. Но почему бы вам не создать один запрос, который выберет все нужные вам записи всего одним ударом? Используйте EXPLAIN ANALYZE, чтобы получить план запроса и время выполнения, вы можете опубликовать его на сайте объяснении.
Почему бы вам не создать индекс для повышения производительности? CREATE INDEX TEMP_IDX_1 ON TEMP (ID, CAMPAIGN, DATE);
@Christian: индекс может значительно улучшить этот запрос, но если вы выполните его 100000 раз, он все равно будет очень медленным. Индекс является лишь незначительной частью оптимизации производительности.

Clodoaldo Neto · Accepted Answer · 2015-02-18T07-42-00.000Z

Предположим, что есть mails таблица с первичным ключом id:

select id    
from
    temp t
    right join
    mails m using(id)
where 
    t.campaign = '$variable_campaign' and
    t.date > '$date_c' and
    t.id is null

Он вернет все не отправленные идентификаторы почты.

Это предположение выглядит уже намного лучше! Только одно последовательное чтение вместо 100k последовательных чтений .... Некоторые индексы могут повысить производительность, но все зависит!
Я собираюсь попробовать этот запрос и сообщить вам, если он медленный или не отвечает