深度 通付盾灰应用调查报告

目录第一章什么是灰应用1.1背景简介1.2灰应用的危害性1.3灰应用的特点1.4灰应用的检测难点1.5灰应用检测的解决办法第二章相关政策法规支持第三章灰应用检测具体方案3.1检测目标3.2检测标准3.3检测技术3.4检测流程3.5检测结果3.6态势分析第四章灰应用检测的展望参考文献第一章什么是灰应用1.1背景简介根据AppAnnie《2021年移动市场报告》数据显示，2020年全球应用下载量达2180亿，用户移动应用支出1430亿美元，每用户日均使用时长约4.2小时，移动科技公司获风险投资额730亿美元。[1]市场规模庞大，收益可观，驱使越来越多的企业投身分一杯羹。移动互联网是一把“双刃剑”，在给企业带来可观收益，给用户提供便利的同时，也给社会安定和谐带来诸多问题。各种传播淫秽信息、嫖娼赌博、贩卖毒品等违法犯罪行为纷纷“登陆”移动网络平台，不仅对移动网络环境造成破坏，还导致了现实中诸多悲剧。各个监管部门为了约束内容乱象，规范平台运营，近几年陆续出台法律、行政法规和部门规章。各大应用市场对移动应用安全性、合规性的检查工作正紧锣密鼓地展开。随着移动互联网管制日益严格，存在内容违规、过度收集个人隐私信息、具有安全隐患的问题应用想要继续生存并保持高利润，这类应用软件便在其产品形态、生存环境以及传播模式上做出调整以躲避市场和部门监管。我们将这类躲过了市场监管伪装成正常App，在特定区域及时间发生内容违规、功能违规、窃取用户信息、存在恶意病毒等的问题应用统称为灰应用。1.2灰应用的危害性在内容层面，灰应用包含大量黄、恐、赌、毒等违法有害信息的内容，严重威胁移动互联网环境健康；同时充斥着各种社会不良的风险因素，如传播校园暴力、早恋直播、侮辱英烈等背离主流的价值观、过度娱乐化、三俗等。易导致社会风气败坏，引起社会犯罪，损害身心健康。在安全层面，灰应用通常是在没有得到允许的情况下安装和执行的，悄然地完成工作，比如跟踪用户窃取个人隐私信息、设备数据等，亦有一部分灰应用以产生垃圾信息为主，比如频繁弹出广告强制用户观看。一些黑客将灰应用作为完成网络犯罪的手段，例如通过在应用后台访问某些网页来加载和运行某些恶意程序，可以公开访问系统、收集信息、跟踪用户输入、修改设备配置和权限等或制造某些破坏。此类行为对最终用户的个人信息安全，甚至是生命财产安全将会造成极大威胁。1.3灰应用的特点通过对已知的多款灰应用的调研发现，其特点归纳如下：1.马甲伪装:在应用中内嵌网页，通过服务器定向推送应用内容。在应用上架时，推送合规的内容逃过监管。2.应用寄生:运行前与普通应用无异，直接套用了普通应用的外壳。在用户安装运行后，以软件需要更新的原由强制用户下载新的安装包，通常这些安装包与原包代码变化很大。或是通过让用户下载插件的方式，更换应用内容。3.定向推送:此类应用风险意识较高，只面向特定地区、人群，或只在特定时段展示违规内容或者运行违规功能，以此来逃避市场的监管。1.4灰应用的检测难点已知灰应用的特点，结合现有的应用检测技术。灰应用检测的难点主要存在如下几个方面：1.监测难：目前的检测技术对应用的动态内容的变化无法精确判断，应用内容难以完全遍历。同时目前的检测技术检测地点固定，检测时间相对唯一。2.取证难：对于马甲伪装，变换内容的App无法准确提取界面的变化情况，收集其违规行为证据。3.成本高：对于应用的检测结果判定现阶段仍需要人工参与决策，人力投入大，检测成本高。1.5灰应用检测的解决办法为解决灰应用检测的痛点，对多款灰应用特征做分析后，可从如下三点着手：1.全时多地域监测：借助自动化检测技术、真机设备，多时段多地域运行App，准确监测到App的内容变化，并全部实时记录下来。2.App功能全覆盖:利用脚本方式，为每个App录制自动化脚本，覆盖App全部功能，后续交予自动化引擎不停运行及检测，对变换内容的App可以准确提取界面的变化情况，收集其违规行为证据。3.利用智能决策引擎：通过自动化检测引擎提取出App内容特征，将内容特征交予智能决策引擎，决策引擎基于成熟的内容识别模型、策略规则判定问题。采用高效的智能决策引擎可实时调整检测策略及模型的特性极大提高了检测灵活性与准确性，同时减少人工干预，简约检测成本。第二章相关政策法规支持以《网络安全法》正式实施为标志，网络安全已上升为国家战略。随着移动互联网关键信息基础设施保护、数据跨境流动、安全应急预案等相关法规的相继出台，以及等级保护2.0的发布，我国已进入依法保障网络安全的新时代。2019年12月20日国家互联网信息办公室发布了《网络信息内容生态治理规定》，明确规定了网络信息内容生产者不得制作、复制、发布含有下列内容的违法信息：(四)歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉的；(九)散布淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪的；网络信息内容生产者应当采取措施，防范和抵制制作、复制、发布不良信息。[2]2020年6月24日中国广告协会发布了《网络直播营销规范》，规定直播带货禁止刷单，主播直播时禁止抽烟、低俗举动和危险动作等，一旦发现广告协会将进行劝诫，督促整改。该《规范》为国内首个关于网络直播营销活动的专门规范，于2020年7月1日起施行。明确规定，主播在直播营销中禁止带动低俗氛围，引导低俗互动；禁止进行性暗示、性挑逗等低俗趣味行为；禁止攻击、诋毁、侮辱、谩骂、骚扰他人。在直播活动中不得吸烟或者变相宣传烟草制品（含电子烟）；禁止内容荒诞惊悚，以及易导致他人模仿的危险动作等。同时主播不得对商品进行虚假宣传。[3]2021年的全国“两会”中，国务院总理李克强代表国务院向十三届全国人大四次会议作政府工作报告中强调，强化金融控股公司和金融科技监管，确保金融创新在审慎监管的前提下进行。同时，各界人士就网络安全、个人隐私也纷纷提出了许多宝贵建议，引发广泛讨论。会上，全国人大代表、建设银行湖南省分行行长文爱华建议，加强网络安全与隐私保护，对如何处理好个人隐私与国家社会安全的关系、个人隐私与公民知情权的关系、个人隐私与数字经济发展的关系等予以明确。第三章灰应用检测具体方案如下将通过检测目标、检测标准、检测方式、检测结果以及态势分析五个层面对灰应用检测的具体实施方案进行阐述。3.1检测目标依据已知的几款灰应用，通过搜索引擎检索出灰应用流通的几大市场。再从这几个市场中提取活跃度较高的2000多款应用作为此次的检测目标。3.2检测标准根据相关政策文件的指标要求，生成对应的决策配置和检测标准，采用动静双引擎结合技术挖掘应用风险漏洞，再通过深度机器学习技术和AI图像识别技术，对检测过程中产生的截图，文字等内容进行分析，识别是否存在黄、恐、赌、毒等各类违规情况。3.3检测技术此次的检测方式主要采用在动静双引擎检测技术的基础上，引入先进的智能AI识别引擎与智能决策引擎技术，对应用的软件安全性、个人隐私收集、运行内容合规性以及流量传输情况等进行综合检测。其中，动静双引擎检测技术，主要针对存在数据泄漏、应用篡改、恶意攻击、代码漏洞等风险的应用。严格按照国家标准规范，使用代码反编译技术，从编码规范、发布规范、代码安全、环境安全、组件安全、数据安全和漏洞检测7个维度出发，采用代码检测、特征匹配、数据分析等技术进行应用基本信息、权限列表、第三方SDK、敏感API等共计80余项的应用检测。同时采用云真机检测技术自动化模拟用户真实操作，在运行过程中进行行为记录、页面内容采集、权限调用采集、流量传输等检测分析工作。图3-1动静双引擎检测流程示意图智能AI识别技术主要针对存在涉黄、赌博、暴恐等内容违规的应用。采用领先的图像识别算法，以海量的大数据样本为依托，引入人工学习技术，精准过滤出引擎采集页面中的涉黄、赌博、暴恐、涉政、广告植入等违规图片、文字，为应用内容违规决策提供检测依据。智能决策技术主要针对做了时间空间反侦察的违规应用。采用不同地理位置、时段的交叉真机沙箱检测，模拟真实用户操作流程，结合应用的场景类型、检测策略及检测结果进行智能决策，生成检测报告。可以根据业务需要灵活配置决策条件，具有更高的灵活性、自适性。图3-2智能决策引擎流程示意图3.4检测流程整个检测流程分为应用提取、应用上传、模式配置、真机检测、实时记录、违规判定以及报告输出7个步骤。图3-3检测流程示意图1.应用智能提取在选定的目标市场中，依据市场的应用分类，编写对应的执行脚本，提取各类型排行前100的应用信息保存到服务器数据库。下载引擎再根据列表信息下载应用到服务器待测列表中。2.应用轮询上传因为应用列表具有一定数量且为持续增添过程，整个检测平台采用多台设备组成矩阵，通过调度及轮询的方式，将待测列表中的应用有序提交检测平台。3.模式多维度配置根据应用类型，采取不同的检测标准配置，设置多个检测时间段、采用不同空间状态的多个设备，从多维度分别对应用进行检测，以发现应用的内容变化。这种检测模式可以针对定向推送应用起到更高效的监测作用，如某款应用定向于向晚十点至早六点间使用应用用户推送特定内容；再或者某款定向于向位于某一指定地区的用户推送******类内容，当切换为其他地区时又是正常的资讯类合规应用。图3-4多维度检测模式说明4.真机检测检测任务提交后，根据应用的模式配置，选取对应的真机运行检测。相比模拟器检测，整个流程在真机上运行更稳定，更保证了数据的真实性，有效性，准确性。5.实时记录真机在应用检测过程中，实时采集应用的页面元素。并在不同时间段，不同地理位置运行过程中的页面截图，提交给AI智能图像识别引擎做违规分析，作为内容违规情况的报告依据。图3-5检测记录时序图6.违规判定根据应用运行场景的不同，在决策引擎中配置适用的各项检测范围及检测标准，对检测过程中各检测引擎采集及检测分析出的各项检测数据进行最后的决策分析，判定是否存在安全漏洞、安全风险以及黄、恐、赌、毒等各类违规内容。7.报告输出对检测完毕的应用从设备中安装的待测应用列表中剔除，释放设备空间，可为下一个应用检测准备，同时生成完整的应用信息报告、检测流程报告、内容违规报告，作为后续分析的数据支撑及依据。图3-6检测输出报告示例3.5检测结果通过对上述市场应用的检测，共发现存在内容违规现象的应用约319款，违规内容发生频次统计如下：疑似广告植入961次，疑似涉黄152次，疑似赌博64次，疑似违禁品44次，疑似涉政1次，疑似暴恐1次。表3-1各类内容违规发生次数统计表3.6态势分析根据上述检测结果，对灰应用的态势从市场特点、应用的软件形态以及应用的传播方式做定向分析挖掘。总结如下：1.市场特点随着移动应用市场监管力度的加大，灰应用转向中小型市场。在这类移动市场中，安全合规监管不严，应用种类繁杂，包含PC软件、移动应用、游戏及插件等，用户群虽不大但热度高，应用流通性强。例如法规明令禁止的赌彩类应用，在此类平台依旧可以搜到很多。对发现的灰应用根据市场的应用类型划分，主要集中在理财（赌博类）、视频影音（广告、黄色）、社交（黄色、广告）。2.软件形态对发现的违规应用的软件形态分析，主要分为如下四类：1）定向用户群：只面对固定用户群，提纯用户，降低被监管检测出的风险。如下款应用，用户下载运行后，必须登录方能使用，但又不提供注册接口仅供知道房间号及密码的用户使用。此类应用大大增加了市场管控的难度。图3-7定向用户应用示例2）诱导下载：通过在应用中提供带性暗示的图片或视频，一旦诱导用户下载其他应用。此类应用以直播类为主，如下应用，用户下载运行后，通过提供带性暗示或性挑逗的视频吸引用户点击观看，用户一旦点击观看，则会弹出应用推广广告，并会在后台进行应用下载安装。图3-8诱导下载应用示例3）定向投放：此类应用为躲避市场的监管，在应用上套保护马甲，只有在满足特定条件时才投放特定内容。如以下这款应用，用户首次安装时为一款美食或资讯应用，大约在晚上11点后，应用的内容将更换为赌彩类。图3-9定向投放应用示例4）挂羊头卖狗肉：部分应用钻市场内容监管不完善的空子，多在中小型市场中，为成功通过上架时的审核，提供虚假的应用宣传图片、描述。此类应用以赌彩类为主，并如鱼得水。如下款应用,根据市场的宣传文本和宣传截图（图3-10），可以判定为一款体育资讯类的应用。但是用户下载打开后，其应用内容却是赌球、彩票、棋牌赌博（图3-11）。图3-10虚假应用宣传文案示例图3-11虚假应用宣传实际内容示例3.传播方式通过对灰应用的深挖，发现其传播途径主要有如下两种：1）通过在其他应用、小程序、网站中植入大量广告，通过各种诱惑性的方式吸引用户下载。2）通过在应用的用户评论中，留下一些隐晦、有诱导性的文字，吸引用户下载。（图3-12）图3-12诱导评论示例第四章灰应用检测的展望大量新技术、新应用，为用户日常生活、工作、出行带来了极大的便利，我们的生活与手机App关系越来越密切，手机App已经变成我们的钱包、地图、游戏机、掌上影院等等，与此同时也出现了各类灰应用，这类应用存在在特定区域及时间发生内容违规、功能违规、窃取用户信息、携带恶意病毒等问题，给用户的隐私保护带来了更多的挑战，也给用户的身心健康及生命财产安全带来了极大威胁。在享受手机提供便利服务的同时，用户应当提高自我防范意识，做好如下五点：1.从可信来源下载应用：正规应用市场下载App，不下载无法确定来源和可能含有病毒的App。2.不随意填写个人信息：很多非法App通过积分、优惠、奖励等方式误导欺诈用户，随意填写个人信息，极容易造成隐私泄露。3.安装安全软件及时更新手机操作系统。安装安全软件保护好手机运行环境安全，发现风险提醒及时禁止、关闭相关进程运行。操作系统也会有安全漏洞问题，应及时更新厂商发布的漏洞补丁。4.不随意使用公共WI-FI:公共WI-FI有很大可能会窥探用户网络数据隐私，特别是未设置链接密码的公共WI-FI。在公共WI-FI下不要购物、转账、输入身份证、输入密码、分享位置等涉及个人隐私的操作。5.关注App权限使用情况:很多App在使用过程中会索取短信、通讯录、位置、相机等多种权限。在使用时应尽量关闭App使用过程中用不到的权限。对现下移动应用市场的监管提出如下建议：1.市场可以引入更先进的检测技术，加强市场对应用的检测能力，降低市场应用的安全风险，让用户放心下载，安心使用。2.有关部门需加强对中小型市场的监管力度，各类市场把好关，让灰应用无容身之地。3.加强对市场应用内容的管理，杜绝出现应用图文宣传与实际运行内容不符的情况。4.市场应用分类需统一规范化，便于市场监管，让各类应用的检测有法可依，有据可循。5.移动应用市场需加强与小程序、网页端的通力合作，共同维护互联网的和谐稳定。6.关注面向未成年人应用的个人信息保护及内容安全。7.加强数据安全管控，保护用户隐私，打破信息壁垒。8.让移动数据安全与社会治理和谐共赢。参考文献[1]AppAnni.2021年移动市场报告.[2]国家互联网信息办公室.网络信息内容生态治理规定.[3]中国广告协会.网络直播营销行为规范.转自：楚北网 原文链接：http://shuzhiren.com/post/16822.html