Вкладки Md с помощью ng-hide - сохранить активную ранее выбранную вкладку

Ваша проблема в том, что $scope.selectedTab равен 2, что является индексом выбранной вкладки.

Когда вы добавляете новую вкладку, вы должны соответственно обновить $scope.selectedTab.

В принципе, если вы добавите вкладку перед выбранным, вы должны увеличить индекс выбранной вкладки с помощью $scope.selectedTab++. Если новая вкладка появится после этого, вам не обязательно это делать.

$scope.showTab = function() {
  // we add a tab before, so we update the index of the selected one
  $scope.selectedTab++;
  $scope.shouldShow = true;
}

https://jsfiddle.net/v8jL75tf/