У меня есть программа Node.js Typcript, в которой я пытаюсь разобрать большие файлы CSV по строкам и делать что-то с этими строками асинхронно. В частности, мне нужна функция, которая будет:

1. Откройте CSV файл.
2. Разберите следующую строку с объектом.
3. (В идеале) Соберите заданное количество объектов для пакетной обработки.
4. Передайте объект функции async для обработки (возвращает обещание).
5. Соберите обещания из функции обработки.

Некоторые требования и соображения:

• Мне нужно опросить любые из этих обещаний о прогрессе.
• Предположим, что эти файлы CSV большие; потоковая линия по линии необходима.
• Я не должен блокировать приложение во время выполнения этих операций обработки.
• Возвращение массива обещаний может быть неправильным, особенно если я пытаюсь прочитать файл с миллионом строк.
• Мне нужен крючок, чтобы отменить или повторить неудачную операцию.

Вот несколько тестовых кодов, с которыми я работал. ObjectStream - это настраиваемое преобразование Node.js, которое преобразует CSV-строки в объекты.

function parseFileAsync(filePath: string): Promise<any> {
    var doParseFileAsync = (filePath: string) => {
        var streamDeferred = q.defer<Promise<any>[]>();
        var promises: Promise<any>[] = [];
        var propertyNames: string[] = [];

        var stream = fs.createReadStream(filePath, { encoding: "utf8" })
            .pipe(new LineStream({ objectMode: true }))
            .pipe(new ObjectStream({ objectMode: true }));

        stream.on("readable", () => {
            var obj: Object;
            while ((obj = stream.read()) !== null) {
                console.log('\nRead an object...');

                var operationDeferred = q.defer<any>();
                operationDeferred.resolve(doSomethingAsync(obj));
                promises.push(operationDeferred.promise);
            }
        });
        stream.on("end", () => {
            streamDeferred.resolve(promises);
        });

        return streamDeferred.promise;
    }

    return doParseFileAsync(filePath)
        .then((result: Promise<any>[]) => {
            return q.all(result);
        });
}
parseFileAsync(filePath)
    .done((result: any[]) => {
        console.log('\nFinished reading and processing the file:\n\t${result.toString()}');
    });

Заключительный done вызов выполняется до того, как поток даже начнет работать, потому что parseFileAsync немедленно выполняет пустой массив; поток еще не успел подтолкнуть какие-либо обещания.

После нескольких дней поиска я все еще не уверен, какой правильный способ сделать это. Эксперты узла /JavaScript: помощь?

Обновить

Код был обновлен, и мои обещания теперь играют хорошо. Однако мне нужен способ подключиться к потоку и, при желании, отменить процесс. Мне также нужен способ повторить любые неудачные операции.