Шаблонные операторы C ++ и дополнительные аргументы шаблона

Я создал класс Vector, который принимает количество элементов и тип элемента в качестве аргументов шаблона.

template<int n, class T>
class Vector
{
    public:
        T data[n];

        Vector()
        : data{}
        {
        }

        Vector(T const value)
        {
            std::fill_n(data, n, value);
        }

        template<class ...U, typename std::enable_if<sizeof...(U) == n, int>::type = 0>
        Vector(U &&...u)
        : data{std::forward<U>(u)...}
        {
        }

        T& operator[](int const index)
        {
            return data[index];
        }

        template<class U>
        operator Vector<n, U>()
        {
            Vector<n, U> out;

            std::copy_n(data, n, out.data);

            return out;
        } 
};

Я хочу иметь операторов для класса, но для того, чтобы они могли делать конверсии между векторами с разными типами элементов, они должны быть объявлены и определены внутри тела класса. Но я также хочу иметь 3 специализированных шаблонных класса для Vector 2, 3 и 4. Так как я не хочу писать все операторы 4 раза, один раз внутри каждого класса класса. Могу ли я просто использовать этот оператор с дополнительным аргументом шаблона для типа элемента вектора правой стороны?

template<int n, class T, class U>
inline Vector<n, T>& operator+=(Vector<n, T> &lhs, Vector<n, U> const &rhs)
{
    for(int i = 0; i < n; ++i)
    {
        lhs.data[i] += rhs.data[i];
    }

    return lhs;
}

Вероятно, есть причина, по которой люди используют операторы-друзья внутри класса вместо того, чтобы делать это таким образом, но, похоже, до сих пор я не заметил чего-то?