互联网 频道

数字化转型中大数据分析建模应如何进行?

  在数字经济时代,互联网、智能设备以及其他形式的信息技术呈爆炸性增长,使数据以同样令人深刻的速度增长着。众所周知客户的消费行为和网上行为都会被记录下来,其实企业经营的每个阶段、产品销售的每个环节也被记录着,数据已经成为了一种重要的生产要素。通过对数据的收集、存储、再组织和分析建模,隐藏在数据中的重要价值及规律才会逐渐展现出来,从而成为企业数字化转型升级以及可持续发展的重要推动力量。

  对于想要进行数字化转型的企业,应该对大数据分析建模的步骤重视起来。首先需要开展业务调研和数据调研工作,明确分析需求;其次应开展数据的准备工作,即选择数据源、进行数据抽样选择、数据类型选择、数据标准化、数据簇分类、异常值检测和处理、变量选择等。随后应对数据进行处理工作,即进行数据采集、数据清洗、数据转换等工作,最后开展数据分析建模及展现工作。欣思博建议企业大数据分析建模应从以下5个步骤进行:

  选择模型

  企业应根据平常收集到的一些业务需求、数据需求等信息,研究决定具体的模型,如行为事件分析、点击分析、属性分析、分布信息、用户行为分析、漏斗分析、留存分析等模型,方便更好地切合具体的应用场景和分析需求。

  训练模型

  虽然每个数据分析模型的模式基本是固定的,但其中还是会掺杂一些不确定因素,通过其中的变量或要素适应变化多端的应用需求,这样的模型才会具有通用性。对于企业来说,需要通过训练模型找到最合适的参数或变量要素,并基于真实的业务数据来确定最合适的模型参数。

  评估模型

  具体的数据分析最好是放在特定的业务应用场景(例如生产制造、产品销售等)下,进行数据分析模型评估。当然评估模型质量的常用指标包含平均误差率、判定系数,因此常用指标包括正确率、查全率、查准率、ROC曲线和AUC值等等。

  应用模型

  对数据分析模型评估测量完成后,需要将此模型应用于业务基础的实践中去,从分布式数据仓库中加载主数据、主题数据等,通过数据展现等方式将各类结构化和非结构化数据中隐含的信息显示出来,用来解决工作中遇到的业务问题。

  优化模型

  企业在评估数据分析模型中,如果发现模型欠拟合或过拟合,说明这个模型有待优化。欣思博认为在真实应用场景中可以定期进行优化,或者发现模型在真实的业务场景中效果不好时也需要启动优化,具体优化的措施可以考虑重新选择模型、调整模型参数、增加变量因子等等。

0
相关文章