Как ускорить агрегацию запросов?

Question

Как ускорить агрегацию запросов?

12

Ниже приведен запрос на агрегацию:

[
  {
    "$match": {
      "UserId": {
        "$in": [
          5
        ]
      },
      "WorkflowStartTime": {
        "$gte": ISODate('2015-04-09T00:00:00.000Z'),
        "$lte": ISODate('2015-04-16T00:00:00.000Z')
      }
    }
  },
  {
    "$group": {
      "_id": {
        "Task": "$TaskId",
        "WorkflowId": "$WorkflowInstanceId"
      },
      "TaskName": {
        "$first": "$Task"
      },
      "StartTime": {
        "$first": "$StartTime"
      },
      "EndTime": {
        "$last": "$EndTime"
      },
      "LastExecutionTime": {
        "$last": "$StartTime"
      },
      "WorkflowName": {
        "$first": "$WorkflowName"
      }
    }
  },
  {
    "$project": {
      "_id": 1,
      "LastExecutionTime": 1,
      "TaskName": 1,
      "AverageExecutionTime": {
        "$subtract": [
          "$EndTime",
          "$StartTime"
        ]
      },
      "WorkflowName": 1
    }
  },
  {
    "$group": {
      "_id": "$_id.Task",
      "LastExecutionTime": {
        "$last": "$LastExecutionTime"
      },
      "AverageExecutionTime": {
        "$avg": "$AverageExecutionTime"
      },
      "TaskName": {
        "$first": "$TaskName"
      },
      "TotalInstanceCount": {
        "$sum": 1
      },
      "WorkflowName": {
        "$first": "$WorkflowName"
      }
    }
  },
  {
    "$project": {
      "Id": "$_id",
      "_id": 0,
      "Name": "$TaskName",
      "LastExecutionDate": {
        "$substr": [
          "$LastExecutionTime",
          0,
          30
        ]
      },
      "AverageExecutionTimeInMilliSeconds": "$AverageExecutionTime",
      "TotalInstanceCount": "$TotalInstanceCount",
      "WorkflowName": 1
    }
  }
]

Мои документы коллекции выглядят следующим образом:

{
        "_id" : ObjectId("550ff07ce4b09bf056df4ac1"),
        "OutputData" : "xyz",
        "InputData" : null,
        "Location" : null,
        "ChannelName" : "XYZ",
        "UserId" : 5,
        "TaskId" : 95,
        "ChannelId" : 5,
        "Status" : "Success",
        "TaskTypeId" : 7,
        "WorkflowId" : 37,
        "Task" : "XYZ",
        "WorkflowStartTime" : ISODate("2015-03-23T05:09:26Z"),
        "EndTime" : ISODate("2015-03-23T05:22:44Z"),
        "StartTime" : ISODate("2015-03-23T05:22:44Z"),
        "TaskType" : "TRIGGER",
        "WorkflowInstanceId" : "23-3-2015-95d17f17-2580-4fe3-b627-12e862af08ce",
        "StackTrace" : null,
        "WorkflowName" : "XYZ data workflow"
}

У меня есть индекс на {WorkflowStartTime: 1, UserId: 1, StartTime: 1}

Их вряд ли стоит 900000 записей в коллекции, и, поскольку я использую подмножество данных во время запроса с использованием диапазона дат, он занимает от 1,5 до 1,7 секунды. Я использовал структуру агрегации с другими коллекциями с огромными данными, и производительность очень хорошая. Не знаю, что не так с этим запросом, поскольку он показывает очень медленный вывод, я ожидаю, что он будет в мельницах в качестве аналитического запроса в реальном времени. Любой указатель на него оценили.

Вывод, когда {explain: true} добавлен в запрос агрегирования

{
  "stages": [


       {
          "$cursor": {
            "query": {
              "UserId": {
                "$in": [
                  5
                ]
              },
              "WorkflowStartTime": {
                "$gte": "ISODate(2015-04-09T00:00:00Z)",
                "$lte": "ISODate(2015-04-16T00:00:00Z)"
              }
            },
            "fields": {
              "EndTime": 1,
              "StartTime": 1,
              "Task": 1,
              "TaskId": 1,
              "WorkflowInstanceId": 1,
              "WorkflowName": 1,
              "_id": 0
            },
            "plan": {
              "cursor": "BtreeCursor ",
              "isMultiKey": false,
              "scanAndOrder": false,
              "indexBounds": {
                "WorkflowStartTime": [
                  [
                    "ISODate(2015-04-16T00:00:00Z)",
                    "ISODate(2015-04-09T00:00:00Z)"
                  ]
                ],
                "UserId": [
                  [
                    5,
                    5
                  ]
                ]
              },
              "allPlans": [
                {
                  "cursor": "BtreeCursor ",
                  "isMultiKey": false,
                  "scanAndOrder": false,
                  "indexBounds": {
                    "WorkflowStartTime": [
                      [
                        "ISODate(2015-04-16T00:00:00Z)",
                        "ISODate(2015-04-09T00:00:00Z)"
                      ]
                    ],
                    "UserId": [
                      [
                        5,
                        5
                      ]
                    ]
                  }
                }
              ]
            }
          }
        },
        {
          "$group": {
            "_id": {
              "Task": "$TaskId",
              "WorkflowId": "$WorkflowInstanceId"
            },
            "TaskName": {
              "$first": "$Task"
            },
            "StartTime": {
              "$first": "$StartTime"
            },
            "EndTime": {
              "$last": "$EndTime"
            },
            "LastExecutionTime": {
              "$last": "$StartTime"
            },
            "WorkflowName": {
              "$first": "$WorkflowName"
            }
          }
        },
        {
          "$project": {
            "_id": true,
            "LastExecutionTime": true,
            "TaskName": true,
            "AverageExecutionTime": {
              "$subtract": [
                "$EndTime",
                "$StartTime"
              ]
            },
            "WorkflowName": true
          }
        },
        {
          "$group": {
            "_id": "$_id.Task",
            "LastExecutionTime": {
              "$last": "$LastExecutionTime"
            },
            "AverageExecutionTime": {
              "$avg": "$AverageExecutionTime"
            },
            "TaskName": {
              "$first": "$TaskName"
            },
            "TotalInstanceCount": {
              "$sum": {
                "$const": 1
              }
            },
            "WorkflowName": {
              "$first": "$WorkflowName"
            }
          }
        },
        {
          "$project": {
            "_id": false,
            "Id": "$_id",
            "Name": "$TaskName",
            "LastExecutionDate": {
              "$substr": [
                "$LastExecutionTime",
                {
                  "$const": 0
                },
                {
                  "$const": 30
                }
              ]
            },
            "AverageExecutionTimeInMilliSeconds": "$AverageExecutionTime",
            "TotalInstanceCount": "$TotalInstanceCount",
            "WorkflowName": true
          }
        }
      ],
      "ok": 1
    }

Ninad 15 апр. 2015, в 08:44

Источник

0

что вывод объясняет о запросе ?
Philipp 15 апр. 2015, в 06:25
1

@Philipp Филипп объяснил вывод, добавленный, это всегда показывает мне это только в выводе объяснений, но в документах это что-то еще, я что-то упустил?
Ninad 15 апр. 2015, в 06:39
0

Он говорит, что использует BtreeCursor , что должно быть хорошо: запрос, использующий индекс, имеет курсор типа BtreeCursor ( openmymind.net/Speedig-Up-Queries-Understanding-Query-Plans ). Не могли бы вы выполнить свой запрос без структуры агрегации и сообщить нам, сколько соответствующих документов он находит? ... может быть, это также может помочь изменить индекс на {UserId:1,WorkflowStartTime:1} , потому что ваш запрос $match имеет сначала UserId а затем WorkflowStartTime . Но также может привести к отсутствию каких-либо преимуществ.
Benjamin M 15 апр. 2015, в 09:22
0

@BenjaminM Вы имеете в виду просто добавить критерии соответствия в поисковом запросе с объяснением?
Ninad 15 апр. 2015, в 09:30
0

нет, просто используйте count() с вашим запросом. просто хочу посмотреть, на скольких документах будет работать агрегация.
Benjamin M 15 апр. 2015, в 11:45
0

@BenjaminM извините, я до сих пор не понимаю, что вы имеете в виду, просто используя count (), если я угадаю правильно, вы имеете в виду использовать db.collection.count ({"UserId": {"$ in": [5]}, " WorkflowStartTime ": {" $ gte ": ISODate ('2015-04-09T00: 00: 00.000Z')," $ lte ": ISODate ('2015-04-16T00: 00: 00.000Z')}}) ??
Ninad 15 апр. 2015, в 13:29
0

Да, верно. я просто хотел узнать, на скольких документах будет работать агрегация. должно быть несколько тысяч, если это займет 2 секунды. или сколько документов это считается?
Benjamin M 15 апр. 2015, в 15:11
0

350000 документов
Ninad 16 апр. 2015, в 04:24

Показать ещё 6 комментариев

Теги:

java

mongodb

aggregation-framework

mongo-java-driver

1 ответ

Ещё вопросы

@Philipp Филипп объяснил вывод, добавленный, это всегда показывает мне это только в выводе объяснений, но в документах это что-то еще, я что-то упустил?
Он говорит, что использует BtreeCursor , что должно быть хорошо: запрос, использующий индекс, имеет курсор типа BtreeCursor ( openmymind.net/Speedig-Up-Queries-Understanding-Query-Plans ). Не могли бы вы выполнить свой запрос без структуры агрегации и сообщить нам, сколько соответствующих документов он находит? ... может быть, это также может помочь изменить индекс на {UserId:1,WorkflowStartTime:1} , потому что ваш запрос $match имеет сначала UserId а затем WorkflowStartTime . Но также может привести к отсутствию каких-либо преимуществ.
@BenjaminM Вы имеете в виду просто добавить критерии соответствия в поисковом запросе с объяснением?
нет, просто используйте count() с вашим запросом. просто хочу посмотреть, на скольких документах будет работать агрегация.
@BenjaminM извините, я до сих пор не понимаю, что вы имеете в виду, просто используя count (), если я угадаю правильно, вы имеете в виду использовать db.collection.count ({"UserId": {"$ in": [5]}, " WorkflowStartTime ": {" $ gte ": ISODate ('2015-04-09T00: 00: 00.000Z')," $ lte ": ISODate ('2015-04-16T00: 00: 00.000Z')}}) ??
Да, верно. я просто хотел узнать, на скольких документах будет работать агрегация. должно быть несколько тысяч, если это займет 2 секунды. или сколько документов это считается?

Alberto J García Gago · Answer 1 · 2015-04-21T05-14-00.000Z

Агрегирование не использует индекс. Вам нужно создать новый индекс:

{UserId:1,WorkflowStartTime:1}

Если все это хорошо, сообщение agregation + explain должно появиться в этой строке:

    "winningPlan" :...

мой запрос уже использует индекс в фазе соответствия и использует workflowstartTime до того, как userId в индексе окажется полезным bcz мы выполняем запрос диапазона на WorkflowStartTime
В другом решении вы можете изменить порядок «match», сначала «WorkflowStartTime», а затем «UserId». Я считаю, что Индекс не используется в агрегации.
В выводе объяснения его показ, значение для курсора в разделе плана - Btree, которое указывает, что индекс используется