Массовая вставка SQLite (100–1000 строк одновременно) с использованием db.execSQL или с помощью Statement.bind (у меня есть 20000 записей и 7 столбцов)

Question

Массовая вставка SQLite (100–1000 строк одновременно) с использованием db.execSQL или с помощью Statement.bind (у меня есть 20000 записей и 7 столбцов)

-3

Нужно вставить объемные данные в SQLite (100-500 записей одновременно... по 7 столбцов, в каждой строке будет 7 значений)

Использование statment.bind Plz предлагает, если что-то не так, и hw реализовать с помощью пакетной вставки db.execSQL.

    SQLiteDatabase db = DBHelper.getWritableDatabase();
    String  str = "INSERT INTO DBAdapter.KEY_BD1_DB_NAME(a, b, c, d, e, f,g) VALUES(?, ?, ?, ?, ?, ?,?)";
    SQLiteStatement statement = db.compileStatement(str);


    db.beginTransactionNonExclusive();

    try {


        for (int i=0;i<arraylist.length;i++)
        {

            statement.bindLong(1, id);
            statement.bindLong(2, alist[i]);
            statement.bindLong(3, blist[i]);
            statement.bindString(4, strTStamp[0]);
            statement.bindString(5, strTStamp[1]);
            statement.bindLong(6, j);
            statement.bindLong(7, tstamp);




            if (alist.size>100)
            {
                if(count==100)
                {
                    statement.executeInsert();
                    statement.clearBindings();
                    count=0;
                }
                else
                {
                    count++;
                }


            }



        }
        statement.executeInsert();
        statement.clearBindings();
        db.setTransactionSuccessful();


        Log.d("INSERT","Done");
        return true;
    } catch (SQLException ex) {
        Log.w("SqlErr", "At kkr : " + ex.toString());
        return false;
    }finally {
        db.endTransaction();
        db.close();
    }

android_ar 02 апр. 2019, в 22:08

Источник

0

что-то не так с вашим кодом? Работает? какой вопрос? пожалуйста, уточните, с какой проблемой вы столкнулись, что вы пробовали и т. д.
binnyb 02 апр. 2019, в 19:57
0

Вышеупомянутый код будет выполнять настройку производительности для массовой вставки ?? ... требуется время для вставки данных в db ..... hv для вставки не менее 100 строк одновременно
android_ar 02 апр. 2019, в 20:04
0

сколько времени это займет? сколько времени приемлемо?
binnyb 02 апр. 2019, в 20:11
0

Ваша логика выглядит хорошо (за исключением этого count вещей). Подготовьте оператор вставки, запустите транзакцию, повторно используйте этот подготовленный оператор каждый раз в цикле с новыми привязками значений до завершения, подтвердите. Нет лучшего волшебства, это уже лучший путь. Единственное, что я могу предложить, это, возможно, пропустить clearBindings() и clearBindings() только значения, которые не будут меняться с каждой строкой один раз, вместо того, чтобы повторять это в цикле.
Shawn 02 апр. 2019, в 20:16
0

Около 80-90 секунд
android_ar 02 апр. 2019, в 20:17
0

Да, и посмотрите на PRAGMA synchronous = OFF и решите, перевесят ли вознаграждения риски для вашего случая.
Shawn 02 апр. 2019, в 20:18
0

db.beginTransaction (); Object [] values = new Object [numIterations]; StringBuilder valuesBuilder = new StringBuilder (); for (int i = 0; i <numIterations; i ++) {if (i! = 0) {valuesBuilder.append (","); } values [i] = mRandom.nextInt (); valuesBuilder.append ( "()?"); } db.execSQL («INSERT INTO insertts_1 (val) VALUES» + valuesBuilder.toString (), values); db.setTransactionSuccessful (); db.endTransaction (); Это лучше или тот, который выложен выше ??
android_ar 02 апр. 2019, в 20:22

Показать ещё 5 комментариев

Теги:

sqlite

android

query-performance

bulkinsert

2 ответа

Ещё вопросы

что-то не так с вашим кодом? Работает? какой вопрос? пожалуйста, уточните, с какой проблемой вы столкнулись, что вы пробовали и т. д.
Вышеупомянутый код будет выполнять настройку производительности для массовой вставки ?? ... требуется время для вставки данных в db ..... hv для вставки не менее 100 строк одновременно
сколько времени это займет? сколько времени приемлемо?
Ваша логика выглядит хорошо (за исключением этого count вещей). Подготовьте оператор вставки, запустите транзакцию, повторно используйте этот подготовленный оператор каждый раз в цикле с новыми привязками значений до завершения, подтвердите. Нет лучшего волшебства, это уже лучший путь. Единственное, что я могу предложить, это, возможно, пропустить clearBindings() и clearBindings() только значения, которые не будут меняться с каждой строкой один раз, вместо того, чтобы повторять это в цикле.
Да, и посмотрите на PRAGMA synchronous = OFF и решите, перевесят ли вознаграждения риски для вашего случая.
db.beginTransaction (); Object [] values = new Object [numIterations]; StringBuilder valuesBuilder = new StringBuilder (); for (int i = 0; i <numIterations; i ++) {if (i! = 0) {valuesBuilder.append (","); } values [i] = mRandom.nextInt (); valuesBuilder.append ( "()?"); } db.execSQL («INSERT INTO insertts_1 (val) VALUES» + valuesBuilder.toString (), values); db.setTransactionSuccessful (); db.endTransaction (); Это лучше или тот, который выложен выше ??

Shawn · Answer 1 · 2019-04-02T21-36-00.000Z

Вы можете вставить только одну строку за раз. Итак, вычеркнув странные вещи из вашего кода и включив бит, который я упомянул в комментарии об однократном связывании только константных значений (Отказ от ответственности: это будет работать в C; не на 100% уверен в привязках java/android), стандартный подход к вставить кучу данных должно выглядеть примерно так:

SQLiteDatabase db = DBHelper.getWritableDatabase();

db.beginTransaction();
try {
    String  str = "INSERT INTO DBAdapter.KEY_BD1_DB_NAME(a, b, c, d, e, f,g) VALUES(?, ?, ?, ?, ?, ?,?)";
    SQLiteStatement statement = db.compileStatement(str);

    statement.bindLong(1, id);
    statement.bindString(4, strTStamp[0]);
    statement.bindString(5, strTStamp[1]);
    statement.bindLong(6, j);
    statement.bindLong(7, tstamp);

    for (int i=0;i<arraylist.length;i++) {
            statement.bindLong(2, alist[i]);
            statement.bindLong(3, blist[i]);
            statement.executeInsert();
    }

    db.setTransactionSuccessful();
    Log.d("INSERT","Done");
    return true;
} catch (SQLException ex) {
    Log.w("SqlErr", "At kkr : " + ex.toString());
    return false;
} finally {
    db.endTransaction();
    db.close();
}

Другие вещи:

PRAGMA синхронно = OFF может быть быстрее, но это сопряжено с риском.
Стандартный прием массовой вставки заключается в удалении любых индексов в таблице, вставке данных и последующем повторном создании индексов.
При использовании внешних ключей временное отключение их принудительного применения во время массовой вставки также может ускорить процесс. Только не забудьте искать проблемы позже с PRAGMA foreign_key_check.

Marcin Orlowski · Answer 2 · 2019-04-02T21-16-00.000Z

Похоже, вы пытаетесь заполнить базу данных при первом использовании. Но вместо этого было бы гораздо лучше, быстрее и проще просто поставить ваше приложение с готовым к использованию файлом базы данных в ресурсах вашего приложения assets/ а затем, при первом использовании, просто использовать вместо этого эту БД для "заполнения". Есть несколько вспомогательных библиотек, которые помогают с этим: https://github.com/jgilfelt/android-sqlite-asset-helper