首先题主需要明确：
数理统计，是研究如何有效的收集、整理和分析受随机因素影响的数据（data），并基于此对相关问题作出科学地推断或预测，为采取某种决策和行动提供依据；简单来讲，就是学习怎样科学地、定量地考察和利用数据。
其次这里有冷水一盆（暂时读不懂没关系，有大致方向就好）：
想学到干货，没有捷径可走。
要真正系统性和透彻地学好数理统计，需要微积分、线性代数、概率论（尤其是概率论！）的基本知识。
微积分是高级计算的基本工具；
线性代数是对为了对变量关系进行处理以简化，便于后续理解和计算；
概率论是数理统计分支的基础和来源，关于数据的许多基本概念和几乎所有高等数学中与统计相关的定理，都在概率论中有最本源的讲解，如：方差（D[X]），期望(E[X])，常见的几种数据分布（distribution），中心极限定理（CLT），强/弱大数定律……
为什么要这样：
你可能觉得要学的看起来好多，而且后面提到的几个定理闻所未闻有点缥缈，一时看不懂有什么用，这是很正常的。笔者在此强行剧透，以让你对概率论的重要性和实用性有一定了解——在数据量足够大且并无显著分布特性的情况下（现实中，这种情况反而比书本上标准化的那些分布更多），理论上，所有类型的数据都可以通过适当的处理趋于同一分布，即：标准的正态分布N(0,1)！
如果你只是出于非科研并不严格的工作需要想要了解数理统计，或者实在不想花太多时间在高等数学上，那么建议你简化掉微积分和线性代数的学习，把重点放在：
必备的概念和定理（知其然即可，不需要知其所以然）；
数据处理软件，如R, S等。
以上。祝学习顺利。
推荐陈希孺老师《概率论与数理统计》《高等数理统计学》
在严密的数学逻辑下，统计思想的解读也贯穿其中，
特别是生动的例子和生活化的语言介绍，
这可以让你有更好的理解。
陈老师还编写了很多好书，建议都买来仔细品读。
摘录他的《数理统计学教程》序言中的话：
“由于本书话了较多篇幅在统计思想/观点和概念的阐述上，使书的篇幅略微加大了一些，我们认为这是值得和必要的，不论人们对数理统计学是否是数学的一部分这个问题持什么看法，都承认：把数理统计学，尤其是其基础部分，作为一门纯数学课去讲授是不可取的。
一些同志的经验都表明，此课之所以难教难学，关键不在于数学推导上的困难，而在于初学者不易正确地把握住和深刻地理解有关的统计思想和概念。
一旦这个问题处理好了，困难就会迎刃而解。另外，作者还有这样一个想法：数理统计基础课的目的，不应是纯技术性的，即教给学生一些现成使用的方法，还要起到培养学生树立用正确的统计观点去观察和研究事物的能力和习惯。
要做到这一点，就必须在讲授中做出相应的努力。作者希望本教程对处理这个问题多少有一点帮助。由于要正确地理解和掌握统计的思想和观点，往往需要一个反复的过程，因此在第一次阅读数种的一些理论文字时，如一时不得要领，不妨待学到一定程度后再回过头来仔细揣摩，自可豁然开通。”