Стоит ли учится программировать -если плохо владеешь математикой?

В каком смысле "плохо владеешь"? Если математика вообще не даётся (даже при старании), то думаю, что не стоит и пытаться программировать. Скорее всего это связано с неспособностью держать в голове множество абстракций и/или неумением ими оперировать. Другое дело, что не всё программирование математика. Можно заняться этим и даже делать что-то полезное не обладая талантом. Всё зависит от целей.
Я думаю как в математике, так и в программировании, каждый при изучении предмета по своему укладывает материал в голове (вернее материал сам укладывается). Надо просто попробовать начать, а дальше вы сами поймёте, стоит ли продолжать. Чтобы вам не говорили при этом о ваших математических способностях.