大数据建模与数据挖掘培训心得体会

公司在2023年08月24日 — 08月27日组织参加了在北京举办的“大数据建模与分析挖掘”培训班，首先感谢公司给予的这次难得的机会，虽然只有短短的3天时间，但是我觉得在这3天我得到了一个充分的学习。下面我就谈谈这次培训的一些体会。

1、对数据建模和挖掘体系有了更深入的了解。

培训中讲了大数据底层架构hadoop、spark的组成、了解了hdfs、mapreduce、hive、hbase等组建的应用场景，并且也涉及了大数据架构与数据挖掘技术的结合，对整个大数据体系架构及数据挖掘流程更进了一步。

2、了解了挖掘模型的底层的原理。

虽然实际工作中对数据挖掘模型更多的是侧重应用，但是了解了模型原理有利于对模型进行改造升级。培训中学习了一些模型求最优解的方法和策略，了解了最小二乘法、贪心算法、熵值法在求解模型系数时的应用原理，通过培训对模型底层算法有了一定了解。

3、学习了一些最新的建模方法。

在以往的建模中往往采用单一模型或者多个模型权重结合的方式进行模型建立，此次培训中老师讲到了级联模型的应用，通过多个模型的等级级联，使**模型的损失函数值最小且避免过拟合，并引入了xgboost高拟合模型，通过此次培训，对最新的建模方法和模型包有了一些了解。

4、确定了下一步学习的方向和目标。

通过此次培训了解到自己在数据挖掘的道路还很长，对整个体系的全面掌控、建模的高准确性、深度学习等方面都是自己未来发展的方向，后续工作和学习中，根据公司需要确定优先深入学习的方向。

5、规划将学习的知识应用到实际工作中。

在当前工作中也会涉及到**模型，后期当不注重模型的可解释性时，可考虑使用黑盒方式进行数据挖掘，采用级联模型完成高拟合度的模型。在数据挖掘框架方面，虽然当前项目中没有涉及到的大数据体系架构的知识，但后期随着数据挖掘工作的深入，在模型部署阶段，可考虑将关系型数据库升级为大数据生态框架体系。