Разработчики с C #, VBA и Python хотят отправить данные в базу данных

Question

Разработчики с C #, VBA и Python хотят отправить данные в базу данных

0

У меня есть вопрос, у меня так много путаницы. Я недавно закончил, начал работать в компании, где много старых данных в текстовых файлах, поэтому я организовал все эти данные с помощью Python и создал файл Excel. так что для ситуации хорошо.

Проблема, для новых поступающих данных датчиков от разных разработчиков

Большинство парней, использующих сценарии VB, проверяют данные и сохраняют данные в текстовых файлах, используя разделители (и |).
какой-то другой парень, разрабатывающий проекты на С#, эти люди получили разные текстовые данные с разными разделителями (: и,)

Вопрос, который я должен настроить для базы данных, как я могу автоматически перенести все эти данные разработчиков в базу данных, для этих текстовых данных я создал имена столбцов и структуру для них.

Нужно ли мне разрабатывать индивидуальный интерфейс для всех этих разработчиков или есть какой-то общий интерфейс, на котором я должен сосредоточиться, или с чего начать, мне все еще не хватает.

Я надеюсь, что люди там поняли мою ситуацию.

С наилучшими пожеланиями Винод

Vinod Vinnu 13 дек. 2018, в 16:39

Источник

1

Добро пожаловать, чтобы улучшить свой опыт работы с SO, пожалуйста, прочитайте, как задать вопрос по теме , а также список проверки вопросов и идеальный вопрос, а также как создать минимальный, полный и проверяемый пример и СДЕЛАТЬ ТУР.
RiggsFolly 13 дек. 2018, в 14:57
1

Это действительно не тот вопрос, который относится к SO
RiggsFolly 13 дек. 2018, в 14:57
0

один вы определяете общий разделитель разделения для всех разработчиков или два вы создаете таблицу, для которой каждый разработчик может использовать свой собственный разделитель разделения или три вы используете XML, который вы можете проверить с помощью схемы XML.
Raymond Nijland 13 дек. 2018, в 15:04
0

@RaymondNijland все разработчики, использующие свой собственный разделитель. для каждого случая я разработал структуру данных.
Vinod Vinnu 13 дек. 2018, в 15:06
0

Звучит как работа по настройке для каждого разработчика, я читаю пользовательский API для каждого разработчика. Но трудно что-то предложить без Minimal, Complete и Verifiable, как, например, уже сказал @RiggsFolly.
Raymond Nijland 13 дек. 2018, в 15:08
0

Я хотел бы, чтобы разработчики все согласились с общим стандартом, если вы можете. Если нет, то вам придется немного изменить процедуру импорта для каждого отдельного разделителя. Если разделитель - это единственное, что меняется, то указание разделителя может быть просто переменной, которую вы вводите в идентичный в противном случае процесс импорта каждый раз, когда запускаете его.
ADyson 13 дек. 2018, в 15:10
0

@RaymondNijland, это означает, что мне нужно разрабатывать различные настраиваемые API для разработчиков, на своем собственном языке программирования или любом общем интерфейсе, который может обрабатывать все эти данные разработчиков ??
Vinod Vinnu 13 дек. 2018, в 15:19
0

@ Adyson спасибо за ваш отзыв, так что если все согласились с одним стандартом, то каков возможный путь для этого?
Vinod Vinnu 13 дек. 2018, в 15:22
1

Использование MySQL или использование SQL Server? Вы пометили оба, не ясно, какую систему вы на самом деле используете. В любом случае вы можете легко Google, как импортировать текстовые файлы, используя один из них, это действительно распространено. Вы получите много результатов. Я не вижу особой причины повторять всю эту информацию здесь. Если бы вы попробовали процесс импорта и застряли на какой-то конкретной проблеме, то это было бы другое дело.
ADyson 13 дек. 2018, в 15:25
0

Я не думаю, что вам нужно писать интерфейс для каждого разработчика. Все текстовые файлы, разные разделители и, возможно, разные столбцы. Я написал бы только один общий интерфейс и файл конфигурации для каждого разработчика. Файл конфигурации скажет вам столбцы, разделитель, таблицу назначения и так далее.
Jesús López 13 дек. 2018, в 15:25
0

@ ADyson SQL Server 2017, да .. я сделал импорт старых данных .. я сделал .. но для новых данных я должен сохранить данные непосредственно в базу данных.
Vinod Vinnu 13 дек. 2018, в 15:32
0

Не уверен, что вы имеете в виду ... вы хотите добавить его к существующей таблице вместо создания новой? Я уверен, что вы тоже можете гуглить ... SSIS, вероятно, ваш друг, если это мир SQL Server
ADyson 13 дек. 2018, в 15:32
0

PS Почему вы пометили mysql тогда? Не отмечайте вещи, которые вы не используете. И прочитайте описание тега, прежде чем добавлять что-либо, чтобы убедиться, что вы знаете, на что оно ссылается. SQL Server и MySQL - это совершенно разные продукты с разными способами работы.
ADyson 13 дек. 2018, в 15:33
0

@ JesúsLópez Спасибо за обратную связь, это что-то новое для меня, .. универсальный интерфейс ... могу ли я сделать этот python или java ... дал доступ другим разработчикам ... чтобы они могли отправлять данные в базу данных ... или же?? ... спасибо за информацию .. я расскажу подробности
Vinod Vinnu 13 дек. 2018, в 15:36
0

@ ADyson извините, я не делаю этого, я удалю тег MySQL
Vinod Vinnu 13 дек. 2018, в 15:47

Показать ещё 13 комментариев

Теги:

mysql

database

sql-server

vba

ssis

api

4 ответа

Ещё вопросы

Добро пожаловать, чтобы улучшить свой опыт работы с SO, пожалуйста, прочитайте, как задать вопрос по теме , а также список проверки вопросов и идеальный вопрос, а также как создать минимальный, полный и проверяемый пример и СДЕЛАТЬ ТУР.
Это действительно не тот вопрос, который относится к SO
один вы определяете общий разделитель разделения для всех разработчиков или два вы создаете таблицу, для которой каждый разработчик может использовать свой собственный разделитель разделения или три вы используете XML, который вы можете проверить с помощью схемы XML.
@RaymondNijland все разработчики, использующие свой собственный разделитель. для каждого случая я разработал структуру данных.
Звучит как работа по настройке для каждого разработчика, я читаю пользовательский API для каждого разработчика. Но трудно что-то предложить без Minimal, Complete и Verifiable, как, например, уже сказал @RiggsFolly.
Я хотел бы, чтобы разработчики все согласились с общим стандартом, если вы можете. Если нет, то вам придется немного изменить процедуру импорта для каждого отдельного разделителя. Если разделитель - это единственное, что меняется, то указание разделителя может быть просто переменной, которую вы вводите в идентичный в противном случае процесс импорта каждый раз, когда запускаете его.
@RaymondNijland, это означает, что мне нужно разрабатывать различные настраиваемые API для разработчиков, на своем собственном языке программирования или любом общем интерфейсе, который может обрабатывать все эти данные разработчиков ??
@ Adyson спасибо за ваш отзыв, так что если все согласились с одним стандартом, то каков возможный путь для этого?
Использование MySQL или использование SQL Server? Вы пометили оба, не ясно, какую систему вы на самом деле используете. В любом случае вы можете легко Google, как импортировать текстовые файлы, используя один из них, это действительно распространено. Вы получите много результатов. Я не вижу особой причины повторять всю эту информацию здесь. Если бы вы попробовали процесс импорта и застряли на какой-то конкретной проблеме, то это было бы другое дело.
Я не думаю, что вам нужно писать интерфейс для каждого разработчика. Все текстовые файлы, разные разделители и, возможно, разные столбцы. Я написал бы только один общий интерфейс и файл конфигурации для каждого разработчика. Файл конфигурации скажет вам столбцы, разделитель, таблицу назначения и так далее.
@ ADyson SQL Server 2017, да .. я сделал импорт старых данных .. я сделал .. но для новых данных я должен сохранить данные непосредственно в базу данных.
Не уверен, что вы имеете в виду ... вы хотите добавить его к существующей таблице вместо создания новой? Я уверен, что вы тоже можете гуглить ... SSIS, вероятно, ваш друг, если это мир SQL Server
PS Почему вы пометили mysql тогда? Не отмечайте вещи, которые вы не используете. И прочитайте описание тега, прежде чем добавлять что-либо, чтобы убедиться, что вы знаете, на что оно ссылается. SQL Server и MySQL - это совершенно разные продукты с разными способами работы.
@ JesúsLópez Спасибо за обратную связь, это что-то новое для меня, .. универсальный интерфейс ... могу ли я сделать этот python или java ... дал доступ другим разработчикам ... чтобы они могли отправлять данные в базу данных ... или же?? ... спасибо за информацию .. я расскажу подробности
@ ADyson извините, я не делаю этого, я удалю тег MySQL

Nathan · Answer 1 · 2018-12-13T19-06-00.000Z

Я не знаю ситуацию в вашей компании, но PDI (инструмент интеграции данных Pentaho, хорош для преобразования данных. Community Edition бесплатен!

Однако, если вы сгенерировали их в файл Excel, Power Query может быть лучшим инструментом для этого проекта, если ваши данные относительно невелики.

HardCode · Answer 2 · 2018-12-13T13-53-00.000Z

Поскольку вы пытаетесь получить данные из разных источников и используете SQL Server, вы можете обратиться к службам интеграции SQL Server (SSIS). В основном вы создаете пакеты служб SSIS, по одному для каждого входящего источника данных, и переносите данные в одну однородную базу данных.

TheAccountemist · Answer 3 · 2018-12-13T13-39-00.000Z

Вы должны рассмотреть возможность использования инструмента Excels Power Query. Вы можете получать практически любой тип файла (включая текстовые файлы) из разных мест, легко очищать и преобразовывать данные (вы можете уменьшать их по своему усмотрению), и объем хранилища практически не ограничен по сравнению с обычной электронной таблицей Excel, объем которой составляет около 1,4 млн. строк.

Royzipuff · Answer 4 · 2018-12-13T13-07-00.000Z

Эти типы реализаций и шаблоны проектирования действительно зависят от вашей компании и среды разработки, в которой вы работаете.

Что касается выбора правильной базы данных, это также зависит от типа данных, скорости, объема и общих вопросов, на которые ваша компания хотела бы ответить, используя эти данные.

Некоторые очень общие рекомендации:

Базы данных схем отличаются от баз данных "NoSQL"
Поиск в тексте отличается от поиска простых примитивных типов, и вы должны знать, что вы будете делать!
Если вы можете это сделать, преобразование обоих текстовых файлов сценариев VB и С# в популярные файлы структуры данных (т.е. JSON, CSV (текстовый файл с разделителями-запятыми одинаков)) может помочь вам сохранить данные практически в любой базе данных.
Нет ничего правильного или неправильного в реализации конкретного интерфейса для каждого поставщика данных, это зависит от поставленных на карту альтернатив и вашего стиля кодирования
Проконсультируйтесь с другими и готовые кейсы!

Надеюсь, что это полезно

Ну, не все базы данных Schematic отличаются от баз данных "NoSQL". Например, MySQL 5.7 и 8.0 - это базы данных SQL и NoSQL в одном
Спасибо за ваш ответ. Да, это текстовые файлы с разделителями-запятыми от разных разработчиков, поэтому для каждого разработчика, как мне разработать интерфейс.