摘要：【目的】为提高卷烟市场信息自动采集数据准确性，为营销决策提供基础信息，为广西烟草“243”市场监测和“1244”营销模型提供扎实数据支撑，【方法】构建了“异常预警”、“综合预测”两大内核驱动器，提出了将前沿的深度学习算法——TabNet模型应用于解决信采点数据准确性问题，建立库存准确性模型，挖掘出更深层、复杂、全面的影响关系，根据零售客户近期经营表现预测未来库存不准确的概率，得到更优的预测效果，实现对信采点数据准确性的每日监测。本研究也配置开发相关应用功能，开发数字化产品“信采点监测”，以企业微信为载体和渠道，助力打造面向零售客户和客户经理的闭环流程机制，同时展现监测与反馈的统计数据，让各级人员“随时随地看数”，及时了解数据质量监管的工作情况，有效赋能信息采集数据质量监管工作，显著提升工作质效。

1、前言

1.1 研究背景

在国家局“总量控制、稍紧平衡、增速合理、贵在持续”十六字方针指引下，广西烟草公司制定了“均衡销售、区间调控、状态优先、实事求是”的方法策略，坚持以市场需求为导向，以市场状态为实施策略的评判标准。为了解市场状态，优化卷烟营销策略，实现精准营销，广西烟草公司研发终端信息采集云POS系统，出台《广西烟草公司卷烟市场信息自动采集管理办法》，推进卷烟市场信息自动采集工作，为推动需求预测、货源组织、货源投放和品牌培育，提供了重要数据支撑。

2021年末，广西烟草公司构建了覆盖1.3万户零售客户的信息采集网络，积累了海量数据，如何对海量数据准确性进行监测，成为当前信息采集工作质量提升的瓶颈。以来宾市局（公司）为例，依托零售客户信息采集系统，建立了700多户信采点。在日常工作中，核对信采点数据准确性，需要定期进行入户盘点核查，耗费了大量的人力成本，在技术层面，对数据准确性判断上，仍然缺少行之有效的检测、监测手段。

根据信采点正式运行后总结的经验，我们发现数据采集质量较低的信采点客户，都有一些共性的特点或遇到相同的问题，例如：部分客户同时使用两套POS系统，即烟草的云POS系统和非烟商品POS系统，在售卖商品时，需要频繁切换甚至进行两次扫码，操作繁琐；部分看店人员年龄偏大，存在电脑操作能力差；部分店面业态为杂批部的客户，店内货物商品较多，看店人手不足，不能及时进行扫码等等。由于存在以上情况，导致采集的数据质量、分析价值不够高。

信息采集监管工作也存在着诸多问题，亟需通过技术手段进行改善或解决，例如：各环节数字化程度不高、人工处理与操作较多、数据流转与推送不及时、整体流程工作效率低、反馈渠道不顺畅导致未形成良好的闭环管理机制、等等。这些问题也会导致信息采集质量得不到提升，监管工作未见明显成效。

1.2 研究现状

POS系统数据准确性问题在统计学上属于对离群值或异常值的判断。业界有关研究提出了很多相应的解决办法，主要有管理措施和技术手段两方面。

在管理措施上，烟草行业普遍做法是优化工作流程、规范扫码习惯、加大软硬件投入、加强培训和指导、提升使用体验、建立激励机制等等。

在技术手段上，从目前的研究文献来看，主要有以下方式：（1）凭借业务经验或规则。凭借过往业务经验以及对数据的敏感性设计逻辑规则，判断数据采集是否异常或不准确。（2）使用概率统计模型。对给定的数据集设计一个概率分布模型，在某个显著水平上确定拒绝域（即出现概率很小的区间），如果数据落在拒绝域，则认为异常。（3）运用机器学习或深度学习算法建立预测模型。根据过往已知的信息判断当前数据是否异常或不准确。

2 研究思路

2.1 研究目的

本研究针对如何应用数据算法实现对信采点客户数据准确性的有效监测进行探索和研究，在此基础上利用当前的互联网技术，开发数字化产品，将监测结果以合适的方式展现或推送给各级人员，提醒客户经理或客户及时关注和处置，并收集反馈，减少客户经理走访频次，提升工作质效，提升数据质量。

2.2 整体思路

本研究聚焦分析与应用两大方面，整体思路如下图所示。

分析层，以云POS为主要数据来源，融合外部数据，经过数据清洗、加工、计算，搭建“异常预警”、“综合预测”两大模型，实现对信采点数据质量的监测，向应用层输出监测结果。

应用层，以企业微信为载体和渠道，开放第三方应用——信采点监测，向各级人员呈现监测数据，自动向相关人员或客户推送消息，支持线上反馈；另外，面向管理员、分析人员开放后台管理系统，支持用户管理、权限控制、报表查询和导出等。

异常预警是在深入了解业务现状的基础上，设计关键指标及其预警阈值，对每个信采点客户，每天自动根据近期经营数据计算出关键指标值，如果超出阈值，则触发预警。搭建异常预警模型，可以很好地契合营销部门现有的工作模式，采用的关键指标及阈值的选定，在业务上已得到验证，一旦超出阈值，则被认定为系统数据不准确，而且指标简单明了，已经很好地被营销部门和客户经理所理解和接受。

综合预测是利用深度学习中的TabNet算法建立客户库存准确性模型，根据客户的基本信息及近期经营表现，预测出客户未来系统库存不准确的概率，从而推断出系统数据的准确性。

异常预警模型采用了影响客户数据准确性较大的几个关键指标，做法简单，仅考虑了单一、线性的影响作用。但现实情况往往是多个指标综合、非线性的相互作用形成，而且除了几个关键指标影响外，客户数据准确性还可能受到来自其它因素的影响。综合预测模型，考虑了更多影响因素，建立了更复杂的关联关系，是对异常预警模型的更好补充。另外，相比异常预警模型，综合预测模型实现了对客户数据准确性更为提前的预判，支持客户经理更早地采取行动。

本研究还融合了两大模型结果，通过预测概率对发生预警的客户进行排名，根据排名先后进行合理配置资源来安排跟进/干预。对于未发生预警但预测概率高的客户，可以深入了解背后的真实原因，进一步完善预警指标体系建设。

图1.整体思路设计架构

3 异常预警

3.1 数据准备

经过前期调研了解到，客户数据主要来自云POS，有基本信息（如经营规模、经营业态、市场类型、档位、销售环境等）、经营数据（如扫码笔数、销售额、系统库存等）、购进数据等信息。其中，由于多扫、少扫、漏扫等扫码问题存在导致经营数据与实际情况时常有偏差，不一定真实可靠。

以客户为中心，将基本信息、经营数据、购进数据等数据整合起来，经过清洗、加工、计算，形成原始宽表。然后衍生出相关的分析指标，形成用于建立分析模型的样本数据。

3.2 指标设计

本研究在深入了解零售客户日常扫码情况以及营销部门对信采点客户数据准确性的监管工作之后，设计并采用如下七大指标来构建异常预警模型。

（1）指标1：扫码条数为负数

实际情况下，系统中的扫码条数不可能为负，如果为负数，则被认定为人为修改数据。

（2）指标2：扫码条数为0

如果扫码条数为0，则说明当天不营业或者没有售卖。实际情况下，零售客户一般以卖烟为主业，不营业的概率很低。

（3）指标3：扫码条数为整数，且前一天也为整数

连续两天扫码条数为10的整数倍数的客户占比仅为1%，如果出现，则认为该客户后期整条整条地补充扫码。

（4）指标4：近3天离均差率大于1倍

其中，近3天离均差率=|（当天扫码条数-近3天日均扫码条数）|/近3天日均扫码条数≥1,且排除当天有购进情况。近3天离均差率衡量的是当天扫码条数偏离近3天平均水平多少。如果近3天离均差率≥1，说明当天扫码条数要么出现0或者负数，要么大于等于近3天日均扫码条数的2倍，这等同于出现了极大值，被视为扫码不正常，需要及时关注。

（5）指标5：从6日开始，当月离均差率大于1倍

其中，当月离均差率=|（当天扫码条数-当月日均扫码条数）|/当月日均扫码条数≥1,且排除当天有购进情况。当月离均差率衡量的是当天扫码条数偏离当月平均水平的多少。如果当月离均差率≥1，说明当天扫码条数要么出现0或者负数，要么大于等于当月日均扫码条数的2倍，这等同于出现了极大值，即被视为扫码不正常，需要及时关注。

（6）指标6：从6日开始，客户库存可销天数大于60天

客户库存可销天数为客户当天期末库存/当月日均扫码条数，即库存周转天数。也就是说，按当月平均销售水平，客户当前的库存还能卖多少天。如果该值大于60天，则认为客户的系统数据出现异常，需要及时关注。

（7）指标7：扫码条数小于当月次均购进数/α

这里，客户购进频率不同，α取值也不同，周访α为50，半月访α为70，月访α为90。如果客户扫码条数小于当月次均购进数/α，则客户卖得少，或者说扫码少，但进货很多，导致在下一次进货时，积压了大量库存，系统库存很大。这说明系统数据很可能出现了异常，或者扫码不正常，需要及时关注。

从七大指标的定义来看，异常预警是通过判断扫码数是否异常（负数、0或整数）、扫码数是否极大（与近期扫码量比）、扫码数与库存或购进数的对比等方面来对信采点客户进行预警。

3.3 结果计算与应用

对每个信采点客户，异常预警模型根据指标1-7判断其是否触发预警，并标记出对应的异常原因。每个信采点客户可能会出现多个指标预警，也可能不会触发任何预警。

为了让预警效果发挥出应有的作用，营销部门或客户经理需要很好地理解每个预警指标背后的业务含义，而且针对不同的异常原因，预先指定对应的干预措施或方案。客户一旦发生预警，客户经理可以快速根据模型给出的异常原因采取针对性的干预措施，无需花费时间深挖其异常原因和明确相应的干预措施，从而提升工作效率。

图2.异常预警模型

4 综合预测

4.1明确目标

在云POS系统中，每个客户的库存、销售量、购进量三者之间是相互作用、相互影响的关系。客户系统数据不准确，与实际情况存在偏差，是由日常经营过程中不扫码、漏扫码或多扫码引起的，直观反映在系统中就体现为扫码量与实际有偏差。而购进量一般情况下是被真实记录的，因此，扫码量出现偏差，等同于认为客户的系统库存与实际库存不一致。

本研究构建的综合预测模型，运用深度学习算法，根据客户的基本信息以及近期经营表现或波动，来推断客户未来系统库存与实际库存是否不一致，实现对客户数据准确性的监测。

但是，如果系统库存与实际库存完全一致才被认定数据准确，这样定义过于严格，考虑适当放宽。根据广西区局《自动采集管理办法》要求，总量、品规实物库存准确率>=90%，则认为准确率达标。

据此，本研究构建的综合预测模型的目标定义（即目标变量）为：

如果零售客户的系统库存与实际库存的偏差大于10%，则认为系统库存不准确。其中，系统库存与实际库存的偏差=|系统库存-实际库存|/系统库存*100%

4.2 原因分析与指标设计

如上所述，客户系统数据不准确，表面上是日常经营过程中不扫码、漏扫码或多扫码引起的。深入调研后，我们总结以下几方面可能导致系统库存不准确的真实原因或表现特征，并设计相应的分析指标。

不同客户有不同的原因和特征，在不同时间也可能有不同的原因和特征。

经过上述原因分析，在充分了解源数据的基础上，设计出合理的分析指标，构建用于训练样本数据集。分析指标的设计，要考虑到源数据真实、准确且易得。本研究设计的分析指标见下表。

表1.指标设计

4.3 模型建立

4.3.1 模型简介

本研究构建的综合预测模型解决的是预测类的问题，是从已知结果的数据挖掘提炼出隐藏在数据背后的规则或知识，对未知结果的数据应用这些规则或知识可以有效地推测出可能出现的结果。对本研究来说，我们即是要从已经知道库存准不准确（即系统库存与实际库存是否一致）的样本数据中提炼出某些规则或知识，并将之应用于其它样本数据，判断这些样本的库存准不准确。

可见，预测模型的建立需要有已知结果的真实数据（即训练样本）。为获取真实样本数据用以建模，来宾烟草公司于2022年4月组织安排客户经理每周对730个信采点进行盘点库存，记录每个信采点的系统库存和实际库存，持续进行4-5周，共收集2900条数据（含实际库存）。去掉无效数据后得到2770条数据，这将作为训练样本的数据基础。

依据上述的目标定义和分析指标，计算得到每个训练样本的目标变量（Y）和分析指标（X，即分析指标x1、x2…xn的统称）。建立预测模型，则是通过对训练样本不断学习、训练，最终确定出目标变量Y和分析指标X之间的关联关系（可用公式f(X)→Y来表示）。那么，对于已知X但未知Y的样本，就可以用f(X)→Y来计算出可能的Y（即Y的预测值，记为）。

应业务要求，综合预测模型将进行每天预测，预测未来1天的库存准不准确。

要做到提前预测，需要合理设计时间窗，即训练样本中的目标变量Y的时间粒度是一天，其日期应在分析指标X的日期之后的第二天。例如，如果训练样本的目标变量Y的日期是6月2日，那么分析指标X所使用的数据则是5月31日及其之前的数据。

模型每天预测时，今天做预测，使用的是客户昨天及其之前的数据，而预测的则是明天库存准不准。这样的话，客户经理就能在今天采取行动，提前预防明天可能发生的事情。

图3.时间窗口设计

4.3.2算法介绍

本研究构建的综合预测模型采用深度学习中的TabNet算法，这是2020年Google 提出的一种用于处理表格数据的深度学习网络模型。它通过类似于加性模型的顺序注意力机制实现了特征选择和自监督学习，集合了DNN（深度神经网络）和决策树的优点，既有决策树的优点（可解释性和稀疏特征选择），又有DNN的优点（表征学习和端对端训练）。

表格数据是日常用到最多的数据类型，即我们常说的结构化数据，包含类别数据（或特征）和数值数据。TabNet使用原始的数值数据，并用可训练的embedding将类别特征映射为数值特征。TabNet不使用全局归一化的特征，而是使用批正则化（BN）。TabNet采用序列化多步处理实现自上而下的注意力机制，每次决策输入相同B×D的特征矩阵，BN后得到新的特征表示（仍为B×D），B是每次处理的数据量，D是特征维度。第i次决策的特征选择由第i-1次所传递的信息决定，并对所选特征进行处理，最后将所有结果进行融合，根据任务类型连接相应的激活函数输出。

图4.TabNet网络结构

下面对几个重要部分进行说明。

（1）Attentive transformer（注意力转移器）——特征选择

图5. Attentive transformer

在注意力转移器中产生的Mask（掩码）矩阵的计算公式为：

M[i]=Sparsemax(P[i-1]·hi(a[i-1]))

其中，i代表当前决策，a[i-1]是上一次决策中通过切分得到的特征信息B×Na，hi(·)代表FC+BN层。P[i-1]是先验尺度项，公式为，表示特征在之前决策中的使用程度。其中，γ是稀疏正则项权重，用于对特征稀疏性添加约束，γ越小，则特征选择越稀疏。

Sparsemax函数类似于Softmax函数，但Sparsemax可以得到更稀疏的结果(取值集中于0或1附近，中间取值状态少)，因此M[i]值分布比较稀疏，集中在0或1附近，从而起到了特征选择的目的。

Sparsemax对每个样本b的每个特征j实现了权重的分配，并使每个样本的所有特征的权重和为1，从而实现特征选择[8]。

为了控制所选特征的稀疏性，引入一个稀疏正则项，公式如下：

其中，是个很小的数值，用来保证数值的稳定性，Lsparse会以权重λsparse作为系数加入到最终损失函数中。加入此项是为了让M[i]的分布尽量趋近于0或1。考虑到，正则项Lsparse反映的是M[i]的稀疏程度，Lsparse越小，M[i]越稀疏。

（2）Feature Transformer（特征转换器）——特征处理

图6.Feature Transformer

特征转换器由两部分组成，前半部分为参数共享层（在所有决策中参数共享），用于提取特征的共性，这种设计参数更新量少，学习更加鲁棒；后半部分为参数独立层（在每次决策中参数不共享），用于提取每次决策中的特征，参数独立使得每次决策可能具有不同的特征处理能力，特征处理更加有效。两部分均采用FC+BN+GLU的单元方式，其中FC为全连接层，BN为批正则化，GLU为x*sigmoid(x)。每个单元之间乘以进行残差连接，是为了防止模型方差发生剧烈变化，从而稳定训练过程。

（3）TabNet模型的可解释性

假设输入样本，维度为B×D，当样本b在第i次决策时，经过特征转换器得到维度B×D，然后切分得到1×Na、1×Nd，其中1×Nd记为db[i]，然后db[i]将经过ReLU函数后求和得到，用如下公式来表示样本b在第i次决策内的贡献：

其中，j为Nd中的一个维度。可以看出，当db,j<0时对最终的输出无贡献。

样本b在第i次决策中的贡献值与其特征重要性矩阵Mb,j[i]相乘，然后将样本b在每次决策的结果求和。当越大，对模型的影响越显著，可以作为在第i次决策中对特征重要性矩阵Mb,j[i]的加权，利用如下公式来定义样本b的各个特征j的重要性：

然后将Magg-b,j按行进行归一化，即除以样本b在所有特征的重要性之和，公式如下：

4.3.3 数据预处理

（1）预处理

由于样本数据中可能还存在着噪音数据、无用数据、异常数据等问题，如果直接使用样本数据，则必然会影响模型的训练质量与预测精度。因此，训练模型之前需要进行数据预处理。本模型的数据预处理工作包括缺失值填充、异常值处理、数据标准化以及离散变量处理。其中，缺失值填充主要使用众数、均值或某个常数来替换缺失值，根据指标不同而使用的值有所不同；异常值处理是针对数值型指标进行的，如扫码条数，其值大于极大值（即Q3+k*IQR）则用极大值替换，小于极小值（即Q1-k*IQR）则用极小值替换，Q1、Q3分别为1/4、3/4分位数，IQR=Q3-Q1，这里k为3；数据标准化则通过TabNet算法内置的特征正则化和局部归一化来进行；离散变量处理，则对销售环境、经营业态、销售规模、品牌宽度、经营人员数量、年龄、学历等这些离散变量的值进行编码，对其值用1、2、3……等数字进行转换，编码保持了值之间的次序或大小关系。

（2）数据增强

本模型的训练样本少，只有2770条数据，且正样本比例仅为6.5%，存在类别不均衡问题。一般情况下，如果类别不平衡比例超过4:1（即正样本比例<10%），那么预测模型会大大地因为数据不平衡性而无法达到预测目的[2.4]，因此，需要处理这种类别不平衡问题。

训练样本少也会带来这样的问题，即虽然有些指标的一些值的正样本比例很高，但这些值的数据量很少，并不足以支撑其在模型训练过程中发挥出重要的影响作用，极易被忽视。例如，训练样本中，昨天扫码条数为负数的样本，仅有19条，正样本比例高达78%，而昨天扫码条数不为负数的样本中包含正样本的比例仅为6.0%，这表明，昨天扫码条数为负数这一先验条件对正样本的预测区分能力很强。但是，由于数据量少，昨天扫码条数为负数这一先验条件被忽略了。

因此，我们采用数据增强的方法，适当复制或扩充某些指标中正样本比例很高的值的样本数据，从而确保这些指标能被模型有效地训练学习到。最终得到的训练样本共3267条，正样本比例为21.76%。

表1.具体指标的样本分布

4.3.4 模型训练

本研究主要使用Python进行数据处理和建模分析，使用Pytorch_tabnet库中的TabNetClassifier()来训练模型。

（1）拆分数据集

为防止过拟合，我们将训练样本拆分成两个数据集，随机抽取70%的数据作为训练集，用于训练模型参数；其余的30%作为测试集，用于验证模型效果。

模型训练则是对训练集进行训练学习，得到模型，并使用测试集数据进行预测，然后利用训练集和测试集上的数据结果，计算出评估指标，对预测效果进行评估。如果经过评估后，认为模型效果理想，则将模型进行部署起来，用于预测新的数据。如果模型效果不理想，则需要持续迭代优化模型。整体流程如下：

图7.模型训练

（2）变量选择

本研究设计的分析指标较多，指标之间可能存在着很大相关性。我们也不知道各指标对模型的影响程度如何。如果所有变量都用来训练模型，耗费较多时间，而且容易出现过拟合。因此，我们会预先从设计的指标中筛选出较为显著的指标，进入模型，降低特征维度，避免维度灾难。

指标选择最常用的方法有相关系数、主成分分析、直方图、单变量回归、变量聚类等。另外，如上所述，TabNet模型训练过程中也会进行指标选择。

在本模型中，我们先根据指标的统计分布情况，排除分布极为不均的指标，其次根据指标之间的相关系数，相关系数>0.6的两个指标，仅选择其一，然后利用主成分分析法将多个原始指标变换成少数综合指标（即主成分，多个原始指标的线性组合），这些综合指标有9个，涉及21个原始指标，累计方差贡献率达到85%以上。

（3）训练学习

我们采用TabNetClassifier()来构建TabNet模型，利用训练集进行训练学习。模型采用Adam算法进行迭代优化，最多执行100次迭代训练，直到损失函数最小。损失函数使用默认的Cross-entropy损失函数。

TabNet模型参数设置如下：

图8.TabNet模型实现代码（部分）

如下图所示，模型训练在第58次迭代时停止，而在第48次迭代时达到最优，对正样本的预测准确率达到0.89301。

图9.模型训练过程信息

4.3.5 模型评估

（1）总体预测准确率

我们将概率>0.5判断为正样本（即1），概率<0.5为负样本（即0），分别统计实际0、1被分别预测为0、1的样本数各多少，如下表2、3所示，本模型在训练集、测试集上的总体预测准确率比较接近，分别为87.8%、85.4%。

表2.混淆矩阵（训练集）

表3.混淆矩阵（测试集）

备注：0-负样本（即库存准确），1-正样本（即库存不准确）

（2）正样本的预测区分能力

根据概率由高到低对样本进行排序，等量分为20个箱（每箱样本数相等），第一个箱概率最高，最后一个箱概率最低。对第i个箱来说，

累计命中率=前i个箱的正样本数/前i个箱的样本总数，表示模型给出概率最高前i个箱的样本，实际“命中”多少比例的正样本；

累计提升率=前i个箱的正样本比例/总体正样本比例，表示模型给出概率最高前i个箱的正样本比例是从总体随机抽取的正样本比例的多少倍，即使用模型比不使用模型要“好”多少；

累计召回率=前i个箱的正样本数/总体正样本数，表示模型给出概率最高前i个箱的样本实际“召回”多少正样本，占全部正样本的多少。

训练集和测试集每个箱的评估指标结果如下所示，在前几个箱上，训练集的累计命中率、累计提升率、累计召回率均略高于测试集，说明模型在训练集上的表现略优于测试集，存在一定的过拟合，但模型在测试集上的表现良好，预测效果总体上较为理想，可以接受。

表4.模型预测效果

如下图所示，训练集和测试集的累计命中率、累计提升率曲线均随着箱号递增（或概率递减）而单调下降，累计召回率曲线则随着箱号递增而单调上升。

概率排名前10%（即箱0-1）的命中率均在70%以上，提升率在3.3以上。这说明模型给出概率前10%的名单中将有七成以上的样本系统库存确实不准确。如果从总体中随机抽取同样多的名单，仅有两成左右的样本系统库存不准确。

概率排名前30%（即箱0-1）的召回率在80%以上。如果希望跟进的名单能覆盖到80%系统库存不准确的客户，则仅需要对总体30%的客户进行跟进，而不使用模型，则需要对总体80%的客户进行跟进才达到同样的效果。因此，使用本模型可有效提升工作效率。

图8.评估指标曲线图

（3）模型指标

模型最终选择了21个指标，各指标对模型的重要性如下图所示。

从中看出，扫码条数是否负数、整体或0，对模型的影响很大。一旦客户的扫码条数为负数、整数或0，模型很可能认为该客户系统库存不准确，这也与此前业务经验判断较为一致，符合预期。

扫码时段数、扫码集中度、扫码时段是否达8时段这三个指标，重要性排名靠前，说明客户集中扫码，容易发生少扫或漏扫，从而导致系统库存不准确。

扫码条数近3日离均差率，反映客户的经营波动情况，如果客户出现较大的波动，也有可能是系统库存不准确。

近3次购进条数与扫码条数之比、近7次购进条数与扫码条数之比、昨天库存与近30天日均扫码条数之比等指标，即购销比、存销比如果异常，也有可能被模型预判为系统库存不准确。

另外，档位、经营业态、销售规模等偏静态指标，对模型也有一定的影响。

总体上看，模型最终选择的指标及重要性，与上述提到的业务原因或表现特征颇为吻合，符合预期。

表5.模型指标及重要性

4.4 模型应用

模型训练好了之后，可以将模型部署起来，实现每日自动预测，预测客户明天的系统库存不准确的概率，并将概率>0.5的客户标记为风险客户，即系统库存不准确的客户。

表6. 模型预测结果（示例）

针对模型提供的风险客户名单来开展客户维护工作，重点跟进和维护名单中的客户，可以让工作更加聚焦，提高工作效率。通过将模型预测结果在合山局（营销部）测试使用，分4个周期对预测概率大于0.5的5户客户现场核查系统与实物库存偏差情况，有18户次总量、单品规格准确率低于90%，预测准确率达到90%。

针对每个客户，除预测概率外，模型还给出了各个指标影响预测概率的重要性排名。这将帮助客户经理进一步深入了解客户系统不准确的可能原因，采取合适的跟进措施，让工作更加有针对性，有的放矢。

由于业务场景、商业环境、客户自身等多种因素会随着时间的推移而发生变化，业务数据及其特征也会相应地发生变化，继续沿用原来的模型，必然会出现预测越来越不准确的情况。因此，模型不是一成不变的，可视情况而定，重新训练模型，实现动态优化或调整模型及其参数，以保证良好的模型预测效果。

5 业务应用

有了“异常预警”、“综合预测”两大内核驱动器之后，本研究也在此基础上配置了相关的应用功能，打造出数字化产品——信采点监测，使之真正有效赋能于营销部门的信息采集质量监管工作。

本研究所开发的信采点监测系统，内嵌在企业微信中，以企业微信为载体和渠道，将监测数据开发给内部各级人员，“随时随地看数”，不同层级的人员拥有不同的数据权限。除了监测数据展现，信采点监测系统还提供消息推送、线上反馈等功能，目的是为了加快推动营销部门建设关于信息采集监管工作的闭环流程。

（1）零售客户

在零售客户侧，信采点监测系统可以助力建立“监测-提醒-处置-反馈”的闭环流程机制。系统对每个零售客户定时监测，一旦发生预警或被预测高风险，则通过企业微信窗口向客户发送消息，提醒客户核查数据，当客户核查完毕后，可在消息页面填写核查情况，完成线上反馈。

（2）客户经理

对客户经理来说，信采点监测系统可以助力建立“监测-提醒-跟进-处置-反馈”的闭环流程机制。系统对每个零售客户定时监测，并通过企业微信窗口向客户经理发送监测统计信息，客户经理被动接受并及时关注，登录系统了解相关情况，确定跟进措施，然后通过微信、电话、实地走访等方式接触客户，了解实际情况，并进行处置，督促客户改进，最后在系统中填写跟进情况，完成线上反馈。

（3）管理层

零售客户、客户经理两侧的闭环流程机制需要持续长期的建设。对管理人员来说，最关心的应该是闭环流程机制所带来的持续变化，应该是在此基础上信息采集监管工作效率的提高以及信息采集数据质量的提升。

因此，信采点监测系统还整合了反馈数据和监测数据，进行反馈统计分析，向各级人员展现客户跟进工作的开展情况以及客户改进情况。具体说来，包括以下几方面：

▪各级营销部、客户经理每天、每周、每月是否及时对预警客户或风险客户进行跟进/干预；

▪发生预警或预测高风险的客户，有哪些没有及时跟进或反馈；

▪哪些客户持续多天发生预警或预测高风险，但没有任何跟进或反馈；

▪哪些客户持续多天发生预警或预测高风险，跟进或反馈之后仍然发生预警或预测高风险，情况没有得到改善。

当然，也可以将客户经理或零售客户的反馈情况（是否及时反馈、反馈内容是否准确、详尽等，反馈后情况是否改善）纳入对客户经理的业绩考核之中，纳入对零售客户的监管指标之中。

6、总结

本研究针对零售客户信息采集数据准确性问题深入探讨与分析，提出了自己的解决方案，构建了“异常预警”、“综合预测”两大核心驱动器，实现了对零售客户信息采集数据质量的每日监测。“异常预警”模型做法简单，易于被业务人员所理解和应用。但“异常预警”模型依据业务经验和感知而建立，描述的只是简单、线性的关联关系，有很多深层、复杂的特征没有被描述出来。

“综合预测”模型是“异常预警”模型的有效补充，运用前言的深度学习算法，建立系统库存准确性模型，具有一定的应用创新性和先进性。模型从训练数据中提炼出更为复杂、全面的关联关系，利用这种关系，可以根据零售客户近期经营表现来更为准确地预测未来系统库存不准确的概率。

本研究在应用上也将两大模型进行了融合，发生异预警的客户可以通过预测概率进行排名，可以根据排名先后进行合理配置资源来安排跟进/干预。对于未发生预警但预测概率高的客户，也可以深挖其真实原因和特征，进一步完善预警指标体系建设。当然，也支持客户经理对预测概率高的客户进行提前跟进/干预。

在借鉴学习同业做法的基础上，库存准确性模型主要在以下方面进行优化与创新：

（1）分析样本的真实性与数据量较大程度上决定着能否开发出有效且可落地应用的模型。本研究通过组织客户经理深入业务一线记录零售客户的实际库存，累计获取2900条样本数据，有效保证了样本数据的真实性，为后续建模分析提供了可靠的数据来源；

未来客户经理在客户盘库时，也可在信采点监测系统记录下客户的实际库存，方便快捷，这样可以积累越来越多的真实样本，模型也会越来越精准。

（2）分析指标的丰富性、有效性也在一定程度影响模型的有效性以及预测效果的优劣。本研究在前期进行了详细的调研，深入分析可能引起系统库存不准确的原因和特征，根据已有数据设计出有效、合理、可行的分析指标，多达150个，尽可能涵盖所有可能的业务场景；

（3）分析算法的选择也会直接影响着模型的预测效果以及结果的可解释性。本研究引入了深度学习中用于分析表格数据的TabNet算法，建立库存准确性模型，具有一定的应用创新性。基于TabNet算法的库存准确性模型，既有决策树的优点(可解释性和稀疏特征选择)，又继承了深度学习网络的优点 (表征学习和端对端训练)，可以更深入挖掘出指标之间复杂的影响关系（而不是简单的线性关系），从而得到更优的预测效果，预测准确率达85%以上。同时，模型给出了每个指标对模型的重要性，并且在预测每个客户系统库存不准确的概率时，也给出了每个指标对预测该客户的概率的重要性，这让模型具有可解释性，也让模型结果落地应用更有针对性，业务可操作空间更大。

为使模型监测数更好地应用于业务，赋能业务，本研究专门开发了数字化产品——信采点监测。信采点监测系统内嵌于企业微信中，以企业微信为载体和渠道，除监测数据展现外，还配置了消息推送、跟进/反馈等应用功能，推动建设面向零售客户和客户经理的闭环流程机制，“让数据多跑路”，让客户经理的工作变得高效。

为了让各级人员更好地对零售客户和客户经理的工作进行监管，信采点监测系统还将监测数据和反馈数据结合起来，统计并展现各级营销部门、客户经理和零售客户的反馈和改进情况。

参考文献

1. 期刊等连续出版物类的析出文献：

[1]李向龙,杨贵福,刘淑霞,高远博,段晓睿,夏一鸣. 基于置信区间进行零售客户店铺管理系统机异常检测算法的设计[J]. 电脑与信息技术,第29卷第2期, 2021.4.

2. 书籍、学位论文、标准、文集汇编等专著类文献：

[1]祖浩,潘知恒. 浅论如何提升现代零售终端数据采集准确率[J]. 广西烟草2015年年会论文集.

[2]马杰. 浅析提高农村零售终端“进销存”系统实时扫码准确率[J]. 宁夏烟草学会2016年学术年会.

[3]黄敏之,莫小莎,蓝志翔. 基于朴素贝叶斯分类算法的卷烟零售终端信息系统数据准确率预测[J]. 广西烟草学会2020年优秀论文集.

[4]周志华.机器学习[M].北京:清华大学出版社,2016-26,66.

[5]Arik, S.O.,&Pfister,T.(2019). Tabnet: Attentive interpretable tabular learning.arXiv preprint arXiv:1908.07442.

 [6]Martins,A.,&Astudillo,R.(2016,June).From softmax to sparsemax: A sparse model of attention and multi-label classification.In International Conference on Machine Learning (pp.1614-1623). PMLR.

3. 网络文章等电子资源文献：

[1]段易通.《数据挖掘竞赛利器—TabNet模型浅析》[Z].知乎文章.

[2]百分点大数据团队.《百分点数据科学实验室：烟草行业市场信息采集数据质量评估体系研究探索》. InfoQ写作平台, 2021.6.11.