做合格的工业数据分析师

2022/4/26 2:51:39 人评论 次浏览 分类:过程控制  文章地址://www.e-cumulus.com/tech/4209.html

笔者估计:除了图像处理,从事工业大数据分析时,95%以上的工作都可以用线性回归、决策树、方差分析、频谱分析、最大似然估计、取平均数等基本的统计或数据处理方法完成。但是,人们讲到这些方法时,却往往会把重点放在深度学习、模式识别等。

现实中,这些高级方法往往是“杀鸡用牛刀”,反而不好用。因为这些方法,难以与人的知识和认识结合起来。人们乐于宣传这些方法的原因,除了便于发表文章,就是便于保密。从事相关工作的朋友必须明白;自己要对自己的时间负责。最好用简单的办法分析问题。


但是,做数据分析工作其实很不容易。即便对数学和统计学功底好的人来说,人才的“成才率”恐怕不会高于10%。那么,困难到底在什么地方?要理解这种困难,还是从《黑天鹅》中的那个故事谈起。作者问道:
一个硬币丢了99次,每次都是正面朝上。请问第100次正面朝上的概率是多大?学霸的标准答案是:第100次正面朝上的概率与前面99次的结果没有关系。所以,概率是50%。而老油条的答案则是:前面连续99次都朝上了,你还会认为正面朝上的概率是50%吗?前提不成立了!

现实中,数据分析的难点,在于认清正确的前提。


工业数据分析师

错误使用统计分析方法的现象非常普遍。笔者在宝钢工作时,看到钢铁行业同仁们写的论文,就对办公室的年轻人说:真想把这些论文作为反面案例,告诉大家什么是错误的分析方法。在这些例子中,有的回归分析的前提不成立,有人在选取样本时犯了初级错误。

这种现象并不奇怪。

笔者参与研究生面试时,经常遇到这样的事情:给学生出一道复杂的计算题,基本上都能正确地计算出来。但是,如果问基本的概念,很多人就回答不出来了。更有意思的是:如果把计算题出得特别简单、不再需要采用复杂公式时,多数学生居然回答不出来了!

我们现在的教育,总是考核在“标准前提下,给出标准答案”。学生没有怀疑“前提”的习惯。这样的学生有知识,却不会用知识。
回到前面的问题。用线性回归可以清晰地分析一个变量的作用。但前提是其它变量的干扰较小、且具有随机性。解决这个问题的办法之一,是尽量固定其他变量。科学试验往往就是这么做。

但工业现场往往受各种约束,总会有很多干扰。而且,这些干扰并不是随机的。变量选择有问题时,小的非随机干扰,就会对分析结果产生很大的影响。所以,做数据分析时,必须时刻警惕非随机系统干扰的影响,并设法剔除它。


处理和发现非随机的系统干扰很难。原因是这样的因素太多。比如,任何一个变量的采集过程,都可能存在非随机系统干扰。而识别这些干扰,需要更多的数据项。这样,分析问题时面对的数据项就会越来越多。人的注意力就容易淹没在数据的海洋中。更糟糕的是:受数据条件制约,有些系统干扰可能就是不可见的。


现场中的有些干扰往往难以排除。笔者曾经遇到过这样一件事:
某钢种的性能波动非常大。强度700MPa级的钢种,波动的标准差就高达60MPa。笔者分析后认为:这是某环节的系统干扰导致的。于是,笔者就设计了一个实验室试验、设法避开这种干扰。后来,同事在实验室里做了这个试验。他们做了几十对试样,每对试样的强度差不超过3MPa.

对前提做出判断的时候,往往需要较为全面的专业知识。这是制约数据分析人才“成才率”提高的主要原因。


利用统计软件,做一次回归分析只要几秒钟的时间。数据分析师的绝大多数时间都用来对数据合理性进行分析。如果自己缺乏专业知识,可能几分钟就要去请教别人。别人岂不要烦死了?


合格的数据分析师,不仅要善于与数据打交道,更要善于理解物理对象和物理过程。


作者:郭朝晖(工学博士,教授级高工。企业研发一线工作20年;优也科技信息公司首席科学家;东北大学、上海交大等多所院校兼职教授。国内知名智库、走向智能研究院的发起人之一。原宝钢研究院首席研究员)

共有访客发表了评论 网友评论

  客户姓名:
邮箱或QQ:
验证码: 看不清楚?