Я использую Visual Studio 2010 для создания надстроек DLL для Excel 2010, которые я включаю через VBA. Я слышал, что ошибки в надстройке могут привести к сбою Excel, например, к доступу к массиву вне диапазона.
Вы можете использовать исключения С++ для улавливания ошибок, и если вы обернете все точки входа ваших DLL в try catch, вы можете не допустить, чтобы ваши ошибки перетекали на более высокий уровень.
Чтобы отлаживать ваши DLL, вы можете подключить VS к процессу excel, который вы сможете отлаживать.