Невозможно запустить очень простой COM-клиент

Это определенно зависит от того, что внутри элемента управления ActiveX, но вы не указали никакого кода этого.

Например, элемент управления может требовать, чтобы поток STA запускался и размещался надлежащим образом с помощью контейнера, совместимого с ActiveX, что не является вашим тестовым консольным приложением. Попробуйте это из приложения WinForms:

using System;
using System.Windows.Forms;
using AxSimpleActiveXControlLib;

class Program
{
    [STAThread]
    static void Main()
    {
        var c = new AxSimpleActiveXControlLib.AxSimpleActiveXControl();

        var form = new Form
        {
            Controls = { c }
        };

        form.Load += (s, e) => MessageBox.Show(c.GetSomeNumber().ToString());

        Application.Run(form);
    }
}

Это также может помочь:

Как создать HelloWorld COM Interop в Visual Studio 2012

Обновлено, когда вы добавляете ссылку на элемент управления MFC ActiveX, вы должны либо добавить его через панель инструментов Visual Studio WinForms, либо использовать инструмент AxImp.exe:

AxImp.exe SimpleActiveXControl.ocx 

Таким образом, он будет генерировать AxSimpleActiveXControlLib.dll и SimpleActiveXControlLib.dll. Первый будет содержать обертку System.Windows.Forms.Control -derived для вашего элемента управления ActiveX. Добавьте оба в свой проект, затем попробуйте код, который я разместил выше (обновлен на основе исходного кода, который вы опубликовали).