Матрица обнаружения столкновений - быстрое удаление и добавление массива

Я создаю пользовательскую матрицу обнаружения столкновений. Когда мои объекты попадают в определенную матрицу, я помещаю их в категорию и проверяю только столкновение внутри этой категории. Это потому, что я создаю сотни тысяч объектов. Сейчас я использую от двух до трех ArrayLists, чтобы добавлять и удалять вещи. Какой будет наиболее эффективный класс для такого поведения

//master object list
//matrix list
//checks all the master object list and if something meets criteria place in the specific matrix list
//remove from matrix list when no longer meets criteria

как вы можете себе представить, я занимаюсь тысячами и тысячами циклов, чтобы тип datatype/class позволял мне быстро добавлять и удалять элементы из массива вроде объекта.