вот тут довольно неплохо изложено blog.atol.ru/archives/1512#more-1512, за исключением 2-х моментов
1. Уже подготовленный(переключенный в режим "только модем") Модем подключать только при запущенной утилите RS232.exe и ждать до обнаружения модема около 2-4 минут, после этого он появляется в списке доступных соединений. Далее по инструкции.
2. после закрытия утилиты RS232.exe нужно обязательно перегрузить систему, иначе модем не появиться в списке доступных девайсов при создании нового соединения.