матрица расстояний для матрицы размером 100k * 100k в R

У меня есть вектор A размера 100k+, и я хочу рассчитать расстояние между каждым элементом этого вектора с каждым другим элементом. Я пытаюсь решить эту проблему в R, используя встроенную функцию adist, а также пытаюсь использовать пакет stringdist. Проблема в том, что она является очень сложной и она работает в течение нескольких дней, не заканчивая.

Конечная проблема, которую я пытаюсь решить, заключается в поиске дубликатов или почти дубликатов с использованием меры расстояния, а затем создайте вокруг нее какую-то классификационную модель.

Код, который я использую в настоящее время

 # declare an empty data frame and append data to it
matchedStr_vecA <- data.frame(row_index = integer(),
                              col_index = integer(),
                              vecA_i = character(),
                              vecA_j = character(),
                              dist_diff_vecA = double(),
                              stringsAsFactors=FALSE)


k = 1 # (keeps track of the pointer to the data frame)
# Run 2 different loops to calculate the bottom half of the matrix (below the diagonal - 
# as the diagonal elements will be zero and the upper half is the mirror image of the bottom half)
for (i in 1:length(vecA)) { 
  for (j in 1:length(vecA)) { 
    if (i < j) {
      dist_diff_vecA <- stringdist(vecA[i], vecA[j], method = "lv")
      matchedStr_invId[k,] <- c(i, j, vecA[i], vecA[j], dist_diff_vecA)
      k <- k + 1
    }
  }
}

Пожалуйста, помогите мне привести это вычисление от O (n ^ 2) к O (n). Я в порядке с использованием python. Мне сказали, что это можно решить с помощью программирования динамического программирования, но я не уверен, как его реализовать.

Спасибо всем