美国犯罪情报预测分析技术的特点
———基于兰德报告《预测警务》的视角
摘要
[目的/意义]犯罪情报预测分析技术稀缺,一直是制约我国开展大数据犯罪情报分析的瓶颈问题。借鉴美国先进的预测分析方法和技术,对提升我国犯罪情报预测分析的水平十分有益。
[方法/过程]以美国兰德公司发布的《预测警务》报告为视角,解析了美国犯罪情报预测分析的方法、层级和技术指标。
[结果/结论]研究发现,基于大数据的犯罪情报预测分析的技术呈现出四个特点:
一是美国犯罪情报预测分析的技术路线是“数据统计+数据挖掘+犯罪制图”;
二是美国犯罪情报预测分析的核心是预测犯罪趋势;
三是美国犯罪情报预测分析重点解读的是犯罪要素的关联关系;
四是美国犯罪情报预测分析的主角是专业的犯罪分析师。
关键词 犯罪情报 犯罪情报预测 情报分析技术 美国
中图分类号 D353. 1 文献标识码 A 文章编号 1002-1965( 2016) 07-0007-06
引用格式 吕雪梅. 美国犯罪情报预测分析技术的特点[J]. 情报杂志,2016,35( 7) : 7-12.DOI 10. 3969 /j. issn. 1002-1965. 2016. 07. 002
随着智能手机以及“可佩带”计算设备的出现,人们的行为、位置,甚至身体生理数据等每一点变化都成为可被记录和分析的数据,一个大规模生产、分享和应用数据的时代正在开启[1],为犯罪情报预测分析提供了广阔的发展空间。美国通过大数据的犯罪情报预测分析,识别犯罪模式并部署警力,帮助部分城市的重大犯罪率下降了 30% 。美国犯罪情报预测分析技术具有很强的实用性,对我国公安机关开展大数据的犯罪情报分析工作具有直接的借鉴意义。
1 美国犯罪情报预测分析的方法体系[2]
根据 2013 年美国兰德公司撰写的题为《预测警务———犯罪预测在执法机构业务运作中的作用》的研究报告,美国犯罪情报预测分析分为四大类,分别是预测犯罪的方法、预测罪犯的方法、预测犯罪者身份的方法和预测犯罪受害人的方法。
以上四类预测方法可以分为两个层级: 传统犯罪情报分析方法和基于大数据的犯罪预测分析方法。
传统犯罪情报分析方法是指适用于低度适中的数据需求和复杂度的犯罪分析方法。传统方法多采用手工、启发式探索或简单的数学计算,很少依赖于比电子表格或一个基础 GIS 程序更复杂的工具。因此,它们是低成本的,特别是面对低度适中的数据量时也可以工作的相当好。
相比之下,基于大数据的犯罪情报预测分析需要利用复杂的分析系统,适用于大数据集的分析方法。在这种情况下,涉及的数据量达到了如果不使用计算机程序或类似资源,已经远远超出了分析员可回忆的程度,这些逻辑分析方法和支持的数据库系统,适合匹配具有开展大数据集分析的机构。
1.1 预测犯罪的方法
预测犯罪的方法主要用于预测一个犯罪风险增加的地点和时间。从这一描述中我们可以清晰地看出,预测的结果是犯罪风险而不是具体的犯罪本身。
表 1 总结了与预测犯罪相关的预测分析方法,如表 1 所示,传统方法从犯罪位置制图和人工判断哪里是犯罪热点开始,可能还包括展示已经发生犯罪的柱状图( 天中的每小时或周中的每天) 以识别“热点时段”。相应的预测分析的技术层级,从统计学的回归分析一直延伸到数学挖掘的模型。其中一些方法也试图识别驱动犯罪风险的因素。
1.2 预测罪犯的方法
预测罪犯的方法主要用于识别将来有犯罪风险的个人。请注意这也是一种风险预测。
表 2 总结了识别将来具有高犯罪风险的个人的方法,这些方法中的大部分涉及评估个人的风险。传统的方法通常是通过合计风险因素的数量,并建立一个综合风险评分的诊断技术。而预测分析方法则使用回归和分类模型,结合存在的风险因素和一个人将要犯罪的百分比机会,这一机会应该是每一个风险因素的权重。
其他还包括识别最有可能在不久的将来实施暴力攻击犯罪团伙( 特别是帮派) 的方法。因此,这些方法也可用于评估一个人可能成为受害人的风险。
1.3 预测犯罪者身份的方法
预测犯罪者的方法主要用于识别已知的特定犯罪事件最有可能的犯罪嫌疑人。这些方法本质上是“失落的城市版图游戏”的现实世界版本: 它们使用来自于犯罪现场可利用的信息,通过认定或淘汰的过程来连接犯罪嫌疑人,我们习惯称之为犯罪心理画像。在传统犯罪情报分析方法中,侦查员和分析员主要利用简单的数据库查询( 通常是姓名、犯罪记录和已知的嫌疑人的其它信息) 通过人工追踪这些连接。基于大数据的犯罪情报预测分析则是自动化这些连接,通过一个非常大的数据集匹配有效的“线索”,识别出先前没有被识别的犯罪嫌疑人( 表 3) 。
1.4 预测犯罪受害人的方法
预测犯罪受害人的方法主要用于识别可能的犯罪受害群体,或在某些情况下最容易成为犯罪受害人的个人,这些方法与预测 罪犯、犯罪高风险位置和高风险时间的方法类似。下表总结了识别可能成为犯罪受害者的群体或个体的方法,这些方法既可以用于预测哪里和什么时间犯罪将要发生,也可以用于预测谁最有可能实施犯罪。预测 犯罪受害人需要识别处在风险中的群体或个人。例如,与多种犯罪类型相关联的群体,处于接近风险位置 的个体,处于受害风险的个人和处于家庭暴力风险的个人( 见表 4) 。
2 美国犯罪情报预测分析的技术体系
美国预测警务是应用分析技术,特别是定量分析技术,为警方干预和预防犯罪识别最有可能的目标,或通过统计预测分析解决过去的犯罪。
美国犯罪情报预测分析技术因为处理的犯罪数据的复杂程度不同,而分为四个层级:
( 1) 经典统计技术。
这一类别包括标准统计过程,如许多形式的统计回归、时间序列分析、季节效应调整等。
( 2) 简单方法。
不需要太多复杂的计算或大的数据集,通常根据列表和相关指标作出判断。例如: 许多启发式探索法就是简单方法,也就是在数据的启发下不断生成和更新判断的过程。
( 3) 复杂应用。
这些应用包括创新方法或需要复杂计算工具处理大数据量集的方法。许多比较新的数据挖掘方法和一些临近重复方法归于这一层级。
( 4) 定制方法。
即专门为警方开展犯罪分析定制的分析技术。前三种方法往往都是适用于各行各业的通用方法,定制方法就是面向警务工作的特点和业务需求,可以满足警务特殊需要的技术方法。
美国犯罪情报预测分析主要包括热点分析、回归方法、数据挖掘技术、邻近重复方法、时空分析和风险地域分析 6 个分析技术类别。表 5 是美国兰德公司《预测警务》报告中所列的犯罪情报预测分析技术的概览表。
2.1 热点分析技术
热点分析方法是基于历史数据预测犯罪风险增加的区域。热点方法利用犯罪不是均匀分布的事实,识别具有犯罪最高量和最高率的区域。
潜在的假设和预测是: 犯罪将可能发生在那些犯罪已经发生过的地方,过去是未来的序幕。然而在识别热点时需要权衡,如果识别的区域太小,结果可能会排除一些需要关注的区域; 如果识别的热点区域太大,则可能对于分配警力资源无用。
主要的热点分析技术包括:
( 1) 网格地图。
网格地图的基本原理和统计过程如下:
第一步,首先将研究区即要分析的区域划分成特定大小的网格单元。
关于网格单元的大小一般由用户确定,但是网格单元既不能太大也不能太小。
根据 Greig -Smith 的试验及 Tylor 和 Griffith、Amrhein 的研究,最佳网格单元的大小又称为“最优校方尺寸”Q = 2A / n,其中 Q 是样方面积,A 是研究区域面积,n 是点 数。 因为网格单元一般都选使用正方形,所以知道了网格单元的面积也就知道了网格的每一条边的长度, 因为在网格大小的设置中,设置值一般是网格单元的尺寸即长度。
第二步,计算落于每一个网格单元内的案件的频数。
所谓频数( Frequebcy) ,又称“次数”,是指变量值中代表某种特征的数( 标志值) 出现的次数, 用来说明各组标志值对全体标志值所起作用的强度。 各组频数的和等于总体的全部单位数。
( 2) 覆盖椭圆。
覆盖椭圆方法的一个例子是最近邻居分层聚集 ( Nnh) 。Nnh 定义了空间接近的事件的群组。它是一 个基于一个给定的标准将点群组分层聚集在一起的应 用,只有比阀值距离更接近的一个或多个点才被选择 进群集。所谓“分层”就是基于不同的层级进行聚集, 一般称为一阶聚集、二阶聚集、三阶聚集等,通常我们 把高于三阶以上的聚集称为高阶聚集。
( 3) 核密度估测。
核密度估测( KDE) 是识别热点的另一种方法。 它的直觉想法是使用一个称为“核”的函数,在一个特 定的区域扩展每一个犯罪对未来犯罪风险期望的贡 献。KDE 是基于来自不同位置的最初的犯罪数据点 的犯罪数据,用于插值一个连续的表面的统计分析方 法,目的是使用犯罪事件数据与实际犯罪事件的接近 性以识别热点。
在这些应用中,“核”是一个标准化权重函数,作以平滑犯罪事件数据。单核密度估测是使 用一个单变量进行的核密度估测。双核密度估测则使 用两个变量进行的核密度估测,其中一个变量是犯罪 事件,另一个变量通常是人口密度,但不限于人口密度,也可以是交通流量、宾馆数量等。
KDE 一般适合于对比较大的区域进行热点分析,就国内警察机组结 构来说,一般适合于市级公安机关层面。
而 Nnh 等分层或分区聚类技术则更适合于一些小的地理区域,如县级公安机关等。对于派出所这一层级,则通常使用 更为简单的显著性检验就可以了。
所以说,没有最好的热点分析技术,只有最适合的热点分析技术,关键是 看用于什么层级和什么地方。
2.2 回归方法
回归适合于一个被预测的变量 ( 一般称为因变量) 和独立的“解释”变量( 一般称为自 变量) 之间的数学关系。
与热点地图相比,回归不仅基于过去的犯罪数据,而且也包括一个宽泛的数据范 围来表达将来的犯罪风险。
主要包括:
( 1) 线性回归。
线性回归通过一个对观察的数据适合的线性方程建模 两个或多个变量之间的基本关系。拟合一条回归线最 普通的方法是最小二乘法。这一方法通过计算各个观 察值和公预测值之间的偏差的平方和的最小化,来选 择最适合的拟合公式。
( 2) 非线性回归。
这些方法考 虑输入和回归变量之间的更复杂的数学公式而不是加 权平均。实际上来说,拟合非线性关系需要更复杂和 耗时的统计算法。
( 3) 回归曲线。
回归曲线允许针对 因变量的不同区域的建模数据采取不同的回归方法。 例如,假设对于一个给定的计算年,一个区域机动车盗 窃的概率是 0. 01 % 到 45% 。可能在 0. 01% 和 5% 之 间,最好的解释变量是车辆类型、车辆位置和窃贼的年 龄; 然而在 5% 到 45% 之间最好的盗窃变量是年龄和 车辆状况。回归曲线允许分析员在全部因变量范围内建立分段回归[3]。
2.3 数据挖掘
数据挖掘最早是由1995 年 Usama M·Fayyad 在知识发现会议上提出的,他认为数据挖掘是一个自动或半自动化地从大量数据中发现有效的、有意义的、潜在有用的、易于理解的数据模式的复杂过程。
数据挖掘不是完全自动化的工具,从数据到结论的过程是一种非常复杂的人机互动比较和选择的过程,其复杂性取决于三个方面:
一是对犯罪问题开发性解决方案的选择;
二是适用于具体数据的技术和方法的选择;
三是对结果稳定性的检验。
这个过程不能指望机器自动解决很多问题,机器能够做的是辅助人们探索和分析犯罪数据中的启发解,数据挖掘是犯罪分析师的一种工具,更是一项研究,需要犯罪分析师通过练习和学习来积累经验[4]。
与犯罪分析相关的数据挖掘技术主要有三个家族: 回归、聚类和分类。
回归在上面已经阐述过了,下面主要介绍聚类和分类:
( 1) 聚类。
聚类算法形成一个数据挖掘方法类,它搜索数据并将数据分组到一个属性相似的群集。聚类对于多重属性数据将很适合。
例如对于入室盗窃,观察值可能包括这样一些属性,如社区、天中的时、侵入方法或 被盗的目标类。聚类方法可以用作数据探索过程的一 部分以发现犯罪的共性。
例如,聚类可以用于一个入 室盗窃数据集以发现那些显著相似的策略。这可以是证明一个系列盗窃,或针对一些群集进行干预支持。
运行于地理空间犯罪事件的空间聚类算法可以发现统计显著性的热点。空间相关指数是用于评估一个给定变量的空间聚类存在的统计。
( 2) 分类。
分类技术能够发现输入数据和预测相关的一些复杂的非线性模式。分类通过一个训练样本集以学习确定一个观察值应归入的类的模式,用于对将来的观察值作出预测。
主要的分类方法包括助推法、随机森林和套袋法。
助推法从一个最初的简单分类模型开始,然后向里面反 复加入简单的分析类模型。这一理念是说简单模型的组合会更加准确。对于每一次迭代,助推方法聚焦于发现被在错误分进最后一次迭代中的案例。根据这一 方法,最后的预测是一个加权平均或所有分类简单模型的主要得票[5]。
随机森林法迭代产生大量的简单决策树( “森林”) 。在每一次迭代中,它们随机选择输入变量和输入数据的子集“生成”一棵简单的决策树。 最后的预测是简单树的多数得票。
套袋法生成大量的分类器,即通过随机选择输入数据的子集在每次迭代中建立一个分类模型。分类器是典型的决策树或神经网络 ( 不需要是“简单和”) 。同样,最后的结果是平均或多数得票。
2.4 邻近重复方法
近邻重复方法基于这样一个假设,即一些将来的犯罪发生的时间和地点将非常接近目前的犯罪时间和地点,也就是说最近看起来具有较高犯罪水平的区域的附近,将在不远的将来也会出现较高的犯罪水平。
很多研究支持这一假设。例如: 窃贼重复攻击邻近目标群集,因为局部的缺陷对于罪犯是非常熟悉的; 帮派很可能在一个帮派竞争的领地 推波助澜地实施报复性暴力活动等等。
预测入室盗窃的另一个近邻重复方法是 ProMap。这一方法基于最近发生的盗窃和使用一个简单的数学模型,评估哪一个预测的网格具有将来入室盗窃最高的风险。ProMap 在英国默西赛德郡的试验中,胜过核密度地图和分析生成的地图。
2.5 时空分析
犯罪模式可以随着时间的改变而发生变化,时空分析研究的是随着时间的变化,犯罪和环境之间关系的变化。
进行犯罪时空分析最简单的方法可能是热度图。热度图的准备包括针对已发生犯罪的“天中的小时”和“周中的天”简单地创建新变量。
使用数据透视表功能显示了通过小时和周中的每天的犯罪数量,然后按照格式化特征为每一个单元着色,使用不同强度的颜色来表示不同日期、时间和条件的犯罪频数,就形成一个犯罪热度图。
犯罪时空分析更为复杂的方法是使用广义加性模型的时空模型。由弗吉尼亚大学的王晓丰和唐纳德·布朗研发的时空广义加性模型( ST -GAM) 和局域加性模型,是回归模型在网格上的扩展。输入数据包括每一个网格单元在一个特定的时间具有一个特定的时空特征的概率[6]。
在这里,“时空特征”可能是一个先前的犯罪、一般属性( 例如社会经济学指标) 或存在于一个网格内的地理空间特征( 主要基础设施类型) ,所有这些都能被时间所索引( 例如,发生在一个网格单元内的最后一次多久) 。
两个模型都结合犯罪区域的时空特征和犯罪事件数据来预测将来犯罪的位置和时间。
犯罪时空分析的第三种方法是季节效应。一些犯罪类型受循环模式强力影 响,例如每周中的天,或者季节。例如,暑假期间孩子 们不在学校,侵财犯罪和入室盗窃可能有一个高峰。
在回归中包括这些循环效应是重要的,排除已知的变异来源将带来更好的预测结果。循环趋势至少需要每个循环三个数据点,当确立这些影响犯罪的因素时,更多的数据通常要好,虽然追溯太远可能会减少新近的趋势。因此,对于季节效应,5 年的数据是一个较好的目标。
2.6 风险地域分析
风险地域分析首先识别出犯罪风险的地理特征,而后通过比较给定的位置与风险特征位置的接近性,作出犯罪风险的预测。
热点方法从根本上讲是聚类技术,标志已经发生的犯罪的聚集。 风险地域模型则是基于一个区域的地理特征,描绘它的犯罪风险的分类方法。
( 1) 风险地域建模。
风险地域建模( RTM) 是一个评估地理因素在多大程度上有助于促进犯罪的风险评估方法。RTM 是一个嵌入 ArcGIS 的工具包。使用的方法是相当简单的。
首先,分析者在被分析的辖区放置一个网格。然后分析员检 验网格单元中存在的特定空间特征( 地理空间特征标 记进 GIS 图层) ,与网格单元内存在的所关心的犯罪之间的关系。
为模型选择强壮正相关的特征,这一方法计算存在于每一个网格单元中的选择的特征的数量,具有最高数量风险诱导特征的网格单元列表为可能的热点。
( 2) 风险地域分析的统计方法。
风险地域分析的统计方法包括两个主要阶段。
在第一个阶段, 比较犯罪和相关的地理空间特征类型之间的距离( 典 型的嫌疑风险因素,例如酒吧和酒类专卖店) ,以及犯 罪和每一类型的最近地理空间特征之间的距离。
在第二阶段,评估网格上的每一个点与已看到的具有与地 理空间特征有关的犯罪的位置有多“相似”。距离到空间地理特征与犯罪位置相似的点判定为较高的风险。
3 美国犯罪情报预测分析技术的特点评析
美国犯罪情报预测分析技术充分融合了大数据时代科技发展的成果,使之与传统犯罪情报分析有了质的区别,呈现出以下几个显著特点:
3.1 美国犯罪情报预测分析的技术路线是“数据统计+数据挖掘+犯罪制图”
传统犯罪情报分析方法主要依靠分析人员的专业经验、直觉和逻辑推理来分析事物的来龙去脉,美国犯罪情报预测分析的技术是数据统计、数据挖掘和应用犯罪制图技术开展的犯罪时空分析,通过这些技术让数据“发声”,使得现代犯罪情报分析经常会有超出常规的“惊奇发现”。
但这并不是说分析人员的专业经验不再重要,相反现代犯罪情报分析对犯罪分析人员的专业经验要求更高,因为这些经验是他们合理选择各类技术开展大数据分析的基础。
3.2 美国犯罪情报预测分析的核心是预测犯罪趋势
传统犯罪情报分析侧重于分析事件的性质和法定构成,而美国犯罪情报预测分析侧重于分析犯罪动态, 识别犯罪模式,预测犯罪趋势,从而为科学部署警力提供更为精确的指导。
需要注意的是: 美国犯罪情报预测分析方法并不是预测哪里和什么时间下一次犯罪将要发生,而是说,它们预测一个犯罪将与一个特定时间和地点相关的相对风险水平。这一假设一直建立在过去是序幕的基础上; 预测是基于过去数据分析而作出的。如果犯罪快速适应了警方干预,那么只有近期的 数据对于警方是最有价值的。
3.3 美国犯罪情报预测分析重点解读的是犯罪要素的关联关系
美国犯罪情报预测分析技术,会因为环境和目标的不同而有所不同。热点分析、统计回归、 数据挖掘和邻近重复方法,通常用于识别一个犯罪在 一个特定的时间范围内将发生在哪里,以及据此分析谁有可能是一个受害者。
时空方法可以用于识别什么时间犯罪最有可能发生,这些方法也可以用于识别最有可能遭受犯罪侵害的个体或群体是谁,因为处于犯罪高发时间段内的人群也最容易成为犯罪受害人。
风险地域分析适合于辨识造成犯罪风险的地理空间因素,并由此寻找符合风险地理空间特征的位置在哪里。
这些技术方法解读的不是因果关系,一个因素在统计上显示与犯罪风险相关度较高,并不一定意味着这一 因素就是“导致”犯罪的原因。最著名的例子: 警察趋向于在犯罪高发区域开展干预行动,但如果说警察导致了犯罪显然就是一个错误[7]。
这些分析技术重点解读的是犯罪要素之间的关联关系,关联关系是因果关 系的条件,但不是因果关系的全部。因果关系包括关联性、理论原理、时间序列和未被证实的假设四个条件。只有满足了这四个条件才是一个完整并有意义的因果关系。因此,通过统计分析显示出的相关关系,还应该进行显著性检验,以排除小概率事件的影响。
3.4 美国犯罪情报预测分析的主角是专业的犯罪分析师
传统犯罪情报分析往往是有着深厚专业知识的侦查人员,凭借丰富的实战经验开展犯罪情报分析, 为侦破案件提供指导。
而美国犯罪情报预测分析的主体是掌握了数据统计、数据挖掘和犯罪制图技术的专业犯罪分析师,年轻的、富有创造力的、掌握了数据统 计、数据挖掘和犯罪制图技术的年轻一辈,更容易脱颖 而出,犯罪情报分析师的专业化、职业化也成为一个必然的趋势。
在大数据时代已经拉开序幕之时,将成熟的大数据分析技术应用于犯罪情报分析领域,无疑是提升我国犯罪治理现代化水平的必由之路。
美国IBM公司为预测警务拍摄的商业广告中,展示了一个警察通过数据分析被派到一个便利店,手持一杯咖啡等在警车旁,一个想要抢劫者戴上手套到达现场,看到向他举杯的警察转身离去,视频中配音说道: 过去我认为我的工作是抓捕罪犯,现在我对我的工作有了新的认识,我们分析犯罪数据,识别犯罪模式,并部署警力,帮助美国大城市的犯罪率下降了 30% 。
终止犯罪在案发之前! 利用大数据开展犯罪分析,识别犯罪模式,把警力在最佳的时机投放到最佳的位置,追求实现最大的警务效能。最高层面的智慧警务,就是所有的犯罪都在预测之中,终止犯罪在犯罪未发生之前。这显然是一种理想,但不是空想,因为美国基于大数据的犯罪预测分析展现出来的迷人魅力,足以让我们对我国“以大数据 的犯罪分析为主线”的犯罪治理体系现代化的前景, 产生无限的遐想。
参考文献
[1] [英]维克托·迈克-舍恩伯格,肯尼思·库克耶著. 大数据时 代[M]. 浙江人民出版社,2013.
[2] [美]Walter L. Perry,Brian McInnis,Carter C. Price,et al. Hollywood. Predictive Policing[R].[EB /OL]. http: / /www . rand. org.
[3] [美]Walter L. Perry,Brian McInnis,Carter C. Price,et al. Hollywood. Predictive Policing[R].[EB /OL]. http: / /www . rand. org.
[4] 王星等. 大数据分析: 方法与应用[M]. 北京: 清华大学出版 社,2015: 9-10.
[5] [美] Walter L. Perry,Brian McInnis,Carter C. et al. Hollywood. Predictive Policing[R]. [EB /OL]. http: / /www . rand. org.
[6] [美] Walter L. Perry,Brian McInnis,Carter C. et al. Hollywood. Predictive Policing[R]. [EB /OL]. http: / /www . rand. org.
[7] [美] Walter L. Perry,Brian McInnis,Carter C. et al. Hollywood. Predictive Policing[R]. [EB /OL]. http: / /www . rand. org. (
基金项目: 2014 年公安部《公安理论及软科学研究计划》立项课题“犯罪分析与社会治理”( 编号: 2014LLYJSDST019) 的阶段性研究成果。
作者简介
吕雪梅( ORCID: 0000-0002-1697-5799) : 女,1970 年生,硕士,副教授,研究方向: 公安情报学和警察学的教学与研究。
转载自:2016 年 7 月《情报杂志》第 35 卷 第 7 期
文章转载自微信公众号:丁爸 情报分析师的工具箱(公众号ID:dingba2016)
声明:本文来自丁爸 情报分析师的工具箱,版权归作者所有。文章内容仅代表作者独立观点,不代表安全内参立场,转载目的在于传递更多信息。如有侵权,请联系 anquanneican@163.com。