Как загрузить данные из файла без повторения записей

Question

Как загрузить данные из файла без повторения записей

0

У меня есть текстовый файл, который содержит поля, разделенные запятыми. Записи в файле могут быть продублированы. Однако, когда я вставляю их в базу данных, я хочу вставить первое вхождение записи и игнорировать любые повторяющиеся (на основе значения первого поля, которое должно быть уникальным).

Вот мое утверждение, которое вызывает ошибки из-за повторяющихся значений первого поля, которое я отмечаю как уникальное.

LOAD DATA LOCAL INFILE '/var/lib/mysql-files/myfile.txt'
INTO TABLE 'scheme'.'mytable' fields terminated BY ',';

user9371654 02 апр. 2019, в 20:38

Источник

Теги:

mysql

database

mysql-workbench

relational-database

2 ответа

0

Вы можете использовать loaddata для загрузки строки в таблицу 'temp', затем

INSERT INTO targetTable (firstField, ...set of columns...)  
  SELECT DISTINCT firstField, ...set of columns... 
    FROM temp 
    WHERE firstField NOT IN (SELECT firstField FROM target);

Для этого необходимо: firstField → набор столбцов (функциональная зависимость)

Или вы можете использовать INSERT with IGNORE (без ошибок при дублировании):

INSERT IGNORE INTO targetTable (firstField, ...set of columns...)
 SELECT DISTINCT firstField, ...set of columns... 
    FROM temp;

или как схемы таблиц одинаковы:

INSERT IGNORE INTO targetTable 
   SELECT * 
    FROM temp;

Patrick Dezecache 02 апр. 2019, в 16:58

0

Благодарю. Даже не игнорируя. Все будет вставлено правильно и дублировать не будет. По некоторым причинам, я думал, что вся вставка не была сделана из-за ошибок, поскольку я использовал для сброса всех данных, если я обнаружил какую-либо ошибку.
user9371654 03 апр. 2019, в 09:11
0

Таким образом, вы можете получить дубликаты в вашей целевой таблице, INSERT + SELECT DISTINCT удалит только дубликаты (DISTINCT) из временной таблицы.
Patrick Dezecache 03 апр. 2019, в 10:24
0

Я имел в виду, используя LOAD DATA точно так же, как в моем вопросе. Он завершает вставку для отдельных записей. Дублированные не вставляются. Это кажется проще, чем два шага решения.
user9371654 03 апр. 2019, в 10:27

Показать ещё 1 комментарий

Ещё вопросы

Благодарю. Даже не игнорируя. Все будет вставлено правильно и дублировать не будет. По некоторым причинам, я думал, что вся вставка не была сделана из-за ошибок, поскольку я использовал для сброса всех данных, если я обнаружил какую-либо ошибку.
Таким образом, вы можете получить дубликаты в вашей целевой таблице, INSERT + SELECT DISTINCT удалит только дубликаты (DISTINCT) из временной таблицы.
Я имел в виду, используя LOAD DATA точно так же, как в моем вопросе. Он завершает вставку для отдельных записей. Дублированные не вставляются. Это кажется проще, чем два шага решения.

user9371654 · Accepted Answer · 2019-04-15T15-47-00.000Z

Это оказалось легко. Просто используйте IGNORE и MySQL будет игнорировать повторное появление.

LOAD DATA INFILE '/var/lib/mysql-files/myfile.txt'
IGNORE INTO TABLE 'scheme'.'mytable' fields terminated BY ',';

Тем не менее, это будет игнорировать все остальные ошибки. Так что следует использовать с осторожностью.