大学选专业不仅意味着你会学习什么课程，还意味着你未来四年会有怎么样的老师、同学、人际关系、学术环境、校园生活。我强烈建议哲学专业的本科生应该在本科阶段学习数学、物理、计算机等课程，但我个人并不建议如 @杜云飞 所说，为了一个高远而虚无的哲学学习目标在数学系或者物理系“卧薪尝胆”四年，这个过程的个人体验多半很煎熬。

如果题主有心，我的建议是在本科阶段之间选修其他专业的课程，如同数学系、物理学的学生一样掌握专业课的知识，但日常生活还是和你喜欢专业的同学混在一起比较好。讲难听点，如果真的觉得物理学太难，学不下去，也有现成的撤退余地。