智能制作的中心技能之数据获取与处理

发布时间:2022-06-19 16:39:28 来源:ub8登录1.0 作者:ub8登录1.0 ub8登录1.0

  数据是制作业进步中心才能、整合工业链的中心手法,也是完成从要素驱意向立异驱动转型的有力手法。数据所带来的中心价值在于可以实在地反映和描绘出产制作进程,这也就为制作进程的剖析和优化供给了全新的手法与办法。因而,数据驱动也可以说是完成智能制作的要害步骤。

  制作业数据泛指在工业范畴中,环绕典型智能制作办法,从客户需求到出售、订单、方案、研发、规划、工艺、制作、收购、供给、库存、发货和交给、售后服务、运维、作废或收回再制作等整个产品全生命周期各个环节所产生的各类数据及相关技能和运用的总称。

  制作业数据的来历首要包括了3个方面:企业内部信息体系,物联网信息以及企业外部信息。企业内部信息体系是指企业运营办理相关的事务数据,包括企业资源方案(ERP)、产品生命周期办理(PLM)、供给链办理(SCM)、客户联系办理(CRM)和能耗办理体系(EMS)等。这些体系中包括了企业出产、研发、物流、客户服务等数据,存在于企业或许工业链内部。物联网信息包括了制作进程中的数据,首要是指工业出产进程中,配备、物料及产品加工进程的工况状况参数、环境参数等出产状况数据,经过制作履行体系(MES)实时传递。企业外部信息则是指产品售出之后的运用、运营状况的数据,一起还包括很多客户名单、供给商名单、外部的互联网等数据。其间产品运营数据亦可来自物联网体系。

  跟着传感器的遍及,以及数据搜集、存储技能的飞速开展,制作业数据相同呈现出了大数据的根本特性,如图1所示,现已具有了典型的“4V”特征,即规模性(volume)、多样性(variety)、高速性(velocity)和价值密度低(value)。

  规模性是指制作业数据体量比较大,很多机器设备的高频数据和互联网数据继续涌入,大型工业企业的数据集将到达PB级乃至EB等级。以半导体制作为例,单片晶圆质量检测时,每个站点能生成几MB数据。一台快速主动检测设备每年就可以搜集到将近2TB的数据;多样性是指数据类型多样和来历广泛。制作业数据散布广泛,数据来历于机器设备、工业产品、办理体系、互联网等各个环节,而且结构杂乱,既有结构化和半结构化的传感数据,也有非结构化数据。

  制作业数据除了具有传统的大数据“4V”共性特色以外,还兼具了体现制作业特色的“3M”特性,即多来历(multi-source)、多维度(multi-dimension)、多噪声(much noise)。

  多来历是指制作业数据来历广泛。数据掩盖了整个产品全生命周期各个环节。相同以晶圆出产为例,晶圆制作车间的产品订单信息、产品工艺信息、制作进程信息、制作设备信息别离来历于排产与派工体系、产品数据办理体系、制作履行体系和制作数据搜集体系、数据搜集与监控体系和良率办理体系等;多维度是指同一单个具有多个维度的特征特色,不同特色直接存在杂乱的相关或许耦合联系,并一起影响当时单个状况。

  制作业数据可以分为研发数据域(研发规划数据、开发测验数据等)、出产数据域(操控信息、工况状况、工艺参数、体系日志等)、运维数据域(物流数据、产品运转状况数据、产品售后服务数据等)、办理数据域(体系设备财物信息、客户与产品信息、产品供给链数据、事务计算数据等)、外部数据域(与其他主体同享的数据等)。

  制作业数据可以分为结构化数据、半结构化数据和非结构化数据。结构化数据由二维表结构来逻辑表达和完成的数据,严格地遵从数据格局与长度规范,首要经过联系型数据库进行存储和办理,企业的ERP、财政体系都归于典型的结构化数据;半结构化数据并不契合联系型数据库或其他数据表的办法相关起来的数据模型结构,但包括相关符号,用来分隔语义元素以及对记载和字段进行分层。例如,不同工人的个人信息便是典型的半结构化数据;非结构化数据是数据结构不规矩或不完整,没有预界说的数据模型,不便使用数据库二维逻辑表来体现的数据。包括一切格局的作业文档、文本、图片、XML、HTML、各类报表、图画和音频、视频信息等。

  制作业数据可以分为原始数据与衍生数据。原始数据是指来自上游体系的,没有做过任何加工的数据;衍生数据是指经过对原始数据进行加工处理后产生的数据。衍生数据包括各种数据集市、汇总层、数据剖析和发掘成果等等。虽然会从原始数据中产生很多衍生数据,但仍是会保存一份未作任何修正的原始数据,一旦衍生数据产生问题,可以随时从原始数据从头核算。

  数据的搜集是取得有用数据的重要途径,一起也是工业大数据剖析和运用的根底。数据搜集与办理的方针是从企业内部和外部等数据源获取各品种型的数据,并环绕数据的运用,树立数据规范规范和办理机制流程,保证数据质量,进步数据管控水平。在智能制作中,数据剖析往往需求更精细化的数据,因而对数据搜集才能有着较高的要求。例如,高速旋转设备的毛病诊断需求剖析高达每秒千次采样的数据,要求无损全时搜集数据。经过毛病容错和高可用架构,即便在部分网络、机器毛病的状况下,仍保证数据的完整性,根绝数据丢掉。一起还需求在数据搜集进程中主动进行数据实时处理,例如校验数据类型和格局,反常数据分类阻隔、提取和告警等。

  常用的数据获取技能以传感器为主,结合RFID、条码扫描器、出产和监测设备、PDA、人机交互、智能终端等手法完成出产进程中的信息获取。并经过互联网或现场总线等技能完成原始数据的实时精确传输。

  传感器归于一种被迫检测设备,可以将检测到的信息依照必定规矩改变成电信号或许其他办法的信息输出,然后满意信息传输、处理、存储和操控等需求,首要包括了光电、热敏、气敏、力敏、磁敏、声敏、湿敏等不同类别的传感器。

  射频辨认技能(RFID)是一种主动辨认技能,经过无线射频办法进行非触摸双向数据通讯,运用无线射频办法对记载媒体(电子标签或射频卡)进行读写,然后到达辨认方针和数据交换的意图。RFID具有适用性广、稳定性强、安全性高、运用本钱低一级特色,在产品的出产和流转进程中有着广泛的运用。物流仓储是RFID最有潜力的运用范畴之一。

  条形扫描器也被称为条码扫描枪/阅读器,是用于读取条码所包括信息的设备。由光源宣布的光线经过光学体系照射到条码符号上面,并反射到扫码枪等光学仪器上,经过光电转化,经译码器解说为核算机可以直接承受的数字信号。条码技能具有精确性高、速度快、标识制作本钱低一级长处,因而在智能制作中有着广泛的运用远景。

  数据处理是智能制作的要害技能之一,其意图是从很多的、乱七八糟、难以了解的数据中抽取并推导出关于某些特定的人们来说是有价值、有意义的数据。常见的数据处理流程首要包括数据清洗、数据交融、数据剖析以及数据存储,如图2所示。

  数据清洗也称为数据预处理,是指对所搜集数据进行剖析前所做的审阅、选择等必要的处理,并对存在问题的数据进行处理。然后将原始的低质量数据转化为便利剖析的高质量数据,保证数据的完整性、一致性、仅有性和合理性。考虑到制作业数据具有的高噪声特性,原始数据往往难以直接用于剖析,无法为智能制作供给决策依据。因而,数据清洗是完成智能制作、智能剖析的重要环节之一。

  (1)数据整理是指经过人工或许某些特定的规矩对数据中存在的缺失值、噪声、反常值等影响数据质量的要素进行选择,并经过一系列办法对数据进行修补,然后进步数据质量。缺失值是指在数据搜集进程中,因为人为失误、传感器反常等原因构成的某一段数据丢掉或不完整。常用的处理缺失值办法包括人工添补、均值添补、回归添补、热渠道添补、期望最大化添补、聚类添补以及回归添补等办法。近年来跟着人工智能办法的鼓起,依据人工智能算法的缺失值处理办法逐步遭到重视,例如运用人工神经网络、贝叶斯网络对缺失的部分进行猜测等。噪声是指数据在搜集、传输进程中遭到环境、设备等要素的搅扰,产生了某种动摇。常用的去噪办法包括了滑润去噪、回归去噪、滤波去噪等。反常值是指样本中的单个值,其数据显着违背其他的观测值。但是,在数据预处理时,反常值是否需求处理需求视状况而定,因为有一些反常值真的是因为出产进程中呈现了反常导致,这些数据往往包括了更多有用的信息。常用的反常值检测办法包括了人工界定、3原则、箱型图剖析、格拉布斯查验法等。

  (2)数据改换是指经过滑润调集、数据概化、规范化等办法将数据转化成适用于数据发掘的办法。制作业数据品种繁复,来历多样,来自不同体系,不同类别的数据往往具有不同的表达办法,经过数据改换将一切的数据一致成规范化、规范化、合适数据发掘的表达办法。

  (3)数据规约是指在尽或许坚持数据原貌的前提下,最大极限地精简数据量。制作业数据具有海量特性,大大增加了数据剖析和存储的本钱。经过数据规约可以有用地下降数据体量、削减运算和存储本钱,一起进步数据剖析功率。常见的数据规约办法包括特征归约(特征重组或许删去不相关特征)、样本归约(从样本中选择出具有代表性的样本子集)、特征值归约(经过特征值离散化简化数据描绘)等。

  数据交融是指将各种传感器在空间和时刻上的互补与冗余信息依据某种优化原则或算法组合来,产生对观测方针的一致性解说和描绘。其方针是依据各传感器检测信息分化人工观测信息。经过对信息的优化组合来导出更多的有用信息。制作业数据存在多源特性,同一观测方针在不同传感器、不同体系下,存在着多种观测数据。经过数据交融可以有用地构成各个维度之间的互补,然后取得更有价值的信息。常用的数据交融办法可以分为数据层交融、特征层交融以及决策层交融。这儿需求清晰,数据归约是针对单一维度进行的数据约减,而数据交融则是针关于不同维度之间的数据进行。

  数据剖析是指用恰当的计算剖析办法对搜集来的很多数据进行剖析,将它们加以汇总和了解并消化,以求最大化地开发数据的功用,发挥数据的效果。数据剖析是为了提取有用信息和构成定论而对数据加以具体研讨和归纳总结的进程。数据剖析是智能制作中的重要环节之一,与其他范畴的数据剖析不同,制作业数据剖析需求交融出产进程中的机理模型,以“数据驱动+机理驱动”的双驱动办法来进行数据剖析,然后树立高精度、高牢靠性的模型来实在处理实践的工业问题。

  现有的数据剖析技能依据剖析意图可以分为探究性数据剖析和定性数据剖析,依据实时性可以区分为离线数据剖析和在线数据剖析。

  探究性数据剖析是指经过作图、造表、用各种办法的方程拟合,核算某些特征量等手法探究规矩性的或许办法,然后寻觅和提醒隐含在数据中的规矩。定性数据剖析则是在探究性剖析的根底上提出一类或几类或许的模型,然后经过进一步的剖析从中选择必定的模型。

  离线数据剖析用于核算杂乱度较高,时效性要求较低的运用场景,剖析成果具有必定的滞后性。而在线数据剖析则是直接对数据进行在线处理,实时性相对较高,而且可以随时依据数据改变修正剖析成果。

  常见的数据剖析办法包括了列表法、作图法、时刻序列剖析、聚类剖析、回归剖析等。

  (1)列表法将数据按必定规矩用列表办法表达出来,是记载和处理最常用的办法。表格的规划要求对应联系清楚,简略明了,有利于发现相关量之间的相相联系;此外还要求在标题栏中注明各个量的称号、符号、数量级和单位等。依据需求还可以列出除原始数据以外的核算栏目和计算栏目等。

  (2)作图法可以夺目地表达各个数据之间的改变联系。从图线上可以简洁求出需求的某些成果,还可以把某些杂乱的函数联系,经过必定的改换用图形表示出来。

  (3)时刻序列剖析办法可以用来描绘某一方针跟着时刻开展而改变的规矩,并依据有限长度的调查数据,树立可以比较精确地反映序列中所包括的动态依存联系的数学模型,并借以对体系的未来进行预告。例如,经过对数控机床电压的时刻序列数据进行剖析,可以完成机床的运转状况猜测,然后完成防备性维护。常用的时刻序列剖析办法包括滑润法、趋势拟合法、AR模型、MA模型、ARMA模型以及ARIMA模型等。

  (4)聚类剖析是指将物理或笼统方针的调集分组为由类似的方针组成的多个类的剖析进程,其方针是在类似的根底上搜集数据来分类。聚类剖析在产品的全生命周期有着广泛的运用,例如经过聚类剖析可以进步各个零部件之间的一致性,然后进步产品的稳定性。常见的聚类剖析办法包括依据区分的聚类办法(K-means,K-medoids)、依据层次的聚类办法(DIANA)以及依据密度的聚类办法(谱聚类、DBSAN)等。

  (5)回归剖析是指经过定量剖析确认两种或两种以上变量之间的相互依赖联系。回归剖析依照触及的变量的多少,分为一元回归和多元回归剖析;依照因变量的多少,可分为简略回归剖析和多重回归剖析;依照自变量和因变量之间的联系类型,可分为线性回归剖析和非线性回归剖析。常用的回归剖析办法首要包括线性回归、逻辑回归、多项式回归、逐步回归、岭回归以及Lasso回归等。近年来,跟着人工智能的飞速开展,除了上述办法外,以深度学习为代表的神经网络,以及以支撑向量机为代表的计算学习开端逐步遭到重视。

  工业大数据渠道是制作业数据处理的首要载体,也是未来推进制作业大数据深度运用,进步工业开展的重要柱石。以GE、IBM为首的世界知名企业都已在工业大数据渠道上取得了不错的运用效果,现在我国部分企业现已具有自主研发的工业大数据渠道,在工业大数据渠道的工业大数据搜集、工业大数据存存储办理、工业大数据剖析要害支撑技能上也现已有所突破。

  海尔胶州空调互联工厂布置有国内仅有的分贝检测设备,当空调测验分贝大于规范分贝时,体系判别为不合格。但此设备无法辨认空调运转中的异音,如摩擦音、共振音、口哨音等。此外,每天快节拍、高强度的空调安装流水线作业导致检测工人听取噪声时刻过长,易产生疲惫和误判,偶然有不合格品流到下线,影响产线全体查验的牢靠性。因而,急需找到新式噪声辨认办法,处理企业当时痛点。

  针对该问题,海尔经过整合渠道上的软件及硬件资源,与美林数据一起开发了空调噪声智能检测体系,有用地处理了无法精确、牢靠辨认异音的痛点。处理方案包括非结构化音频数据实时搜集与存储、剖析建模与智能辨认、成果输出与可视化展示三大部分。经过对出产线很多的前史检测音频搜集,并结合先进的人工智能算法,完成空调噪声的智能检测,并将查验成果实时反应至企业的工业互联网渠道,支撑产线质量问题在线计算与剖析。该技能有用地进步了检测精确率和牢靠性,下降了检测本钱,促进了出产的智能化程度。

  Hirotec是一家市值超越16亿美元,公司遍及全球23个当地的汽车部件和东西制作商。非方案停机修理一直是Hirotec公司面对的严重难题,每秒钟的非方案停机修理都可以构成高达361美元的经济丢失。因而,Hirotec公司火急地期望削减停机时刻,以防止不必要的丢失。

  为了完成这一方针,Hirotec在其工厂车间运用了依据物联网和云的技能经过传感器的布置与数据的搜集,完成了设备运转状况的实时监控。并运用机器学习办法协助猜测和防备体系毛病。在运转其物联网渠道的3个试点并查看数据后,Hirotec可以将体系的人工查看时刻缩短100%。

  在智能制作中,数据起到了至关重要的效果。数据的关于整个出产全生命周期的掩盖程度、数据的质量以及剖析成果的好坏将会直接影响终究的出产功率以及产品价值。现在现有的数据获取与处理都是依据实践中的实在数据进行的。跟着数字孪生技能的开展,经过构建虚拟出产环境,然后获取虚拟数据可认为数据的剖析与运用供给愈加宽广的思路和途径。经过虚拟环境的模仿可以有用地进步数据的掩盖程度,并对数据的剖析成果进行有用验证,然后更好地反应实践出产。

  5G,即第五代移动通讯技能,也便是用于无线的、可移动设备上的第五代通讯技能。依据世界电信联盟(ITU)发布的5G规范草案,5G链接密度将到达每平方公里100万台设备,这也就意味着在5G年代,很多的物品可以经过5G网络接入,然后构建真的万物互联。与此一起,5G技能具有超高的传输速率以及超低的传输推迟。在实践运用环境下,5G技能可以到达1.8Gbps的下载速率,理论推迟最大不超越4ms。

  作为新一代移动通讯技能,5G技能切合了传统制作企业智能制作转型对无线网络的运用需求,能满意工业环境下设备互联和长途交互运用需求。在物联网、工业主动化操控、物流追寻、工业AR、机器人等工业运用范畴,5G技能起着支撑效果。一起给数据的传输、存储、以及在线剖析供给了全新的途径。让曾经受限于通讯速度和带宽的大规模数据剖析技能有了用武之地。

  数据在给制作业带来巨大利益一起,其本身的安全也让企业面对着巨大的危险。数据中所包括的灵敏信息和要害参数,假如遭到走漏,将会直接对企业构成巨大的丢失。一起,经过歹意篡改数据,影响正常出产然后构成严重丢失,乃至危及人员生命安全的事例也时有产生。数据的安全漏洞首要是因为工业操控体系的协议多选用明文办法、工业环境多选用通用操作体系且不及时更新、从业人员的网络安全意识不高,再加上工业数据的来历多样,具有不同的格局和规范所导致。所以,在工业运用环境中,应对数据安全有着更高的要求,任何信息安全事情的产生都有或许要挟工业出产运转安全、人员生命安全乃至国家安全等。因而,研讨制作业数据的安全办理,加强对数据的安全维护变得尤为重要。

上一篇:光互连最火概念!我国原生 CPO 规范草案来了决胜数据中心未来 下一篇:海能达携应急通讯交融处理方案露脸世界应急救灾配备技能博览会