锁定法律审查显示透明数据分析的重要作用
悉尼大学转换数据科学中心的学者说,用于制定政策的数据收集和分析过程必须尽可能独立和透明。
新南威尔士州统计和研究局(BOCSAR)最近声称,悉尼的酒精饮料许可法规(通常称为锁定法)使CBD的非家庭袭击减少了13%。其计算基于一项决定,将其中的1837项罪行分配给Kings Cross和CBD –即对数据进行重复计算。我们的分析发现,这一决定对于CBD袭击减少的结论至关重要。在关于数据分配领域和分析类型的所有其他选择中,我们发现并没有减少。
我们的发现突出了一个重要问题:数据收集,预处理和分析的选择如何影响政策决策?
将分配到各个地区只是使用数据评估政策影响时做出的几种选择之一。其他选择包括如何衡量暴力,要考虑什么时间段以及要包括的地区的地理范围。问题是:如果做出其他选择,结果是否会影响废除或延续法律的决定?
我们的发现表明,在使用数据为决策提供依据时,需要遵循一些原则。首先,收集数据的机构和分析数据的机构应该彼此独立。第二,我们需要在数据及其分析方面尽可能地透明。
那么分析到底显示了什么?
从2009年起,BOCSAR选择使用每月一次的非家庭袭击。这些选择没有错,但可以做出其他选择。
例如,为什么从2009年开始而不是从2005年开始?为什么是每月而不是每天?为什么报告非家庭攻击,而不报告造成严重身体伤害的攻击?为什么将区域分为商务区和国王十字呢?
评估此类选择的影响的一种方法是使用不同的数据子集,不同类型的数据预处理以及不同的统计和/或机器学习技术。如果结论仍然相同,则我们的决定对于这种可来源是可靠的。如果没有,我们需要了解原因。
对于国王十字区,悉尼大学翻译数据科学中心的分析表明,无论数据收集的频率和时间以及进行分析的时间,结论均保持不变。自2014年实施锁定法以来,非家庭袭击事件有所减少。
对于CBD而言,情况恰恰相反。只有我们做出与中非特别行政区完全相同的选择,特别是向商务区和克罗斯国王区分配1,837起,我们才能得出结论,非家庭袭击的数量略有下降。
在所有其他分析变体下,包括数据,方法和数据的空间分配,我们都没有发现减少。自2008年以来,对CBD的非家庭袭击一直在减少,而且,如果锁定法律生效,这种袭击的发生速度会更慢。
那么,为什么将1,837例列入对《生物多样性公约》的结论如此重要?
使用中银提供的数据,我们绘制了这1,837起的最可能位置。图1显示了这些活动主要发生在国王十字区(Kings Cross),该地区的率自2014年以来一直在下降。我们说“最有可能的地点”,因为我们尚未收到中银要求的其他数据,以帮助我们准确定位发生。
随着从《生物多样性公约》中删除的那1837起,我们没有发现非家庭袭击的减少。但是BOCSAR显然做到了。在将这些罪行从《生物多样性公约》中删除后,BOCSAR向议会发布了一份有关悉尼夜间经济的最新报告。该报告称,对《生物多样性公约》的袭击减少了4%(大大低于最初的13%)。
然后委员会要求我们发表评论。我们发现该报告没有提供此下降的置信区间。然而,该报告凭借报告其他数量和其他数量的不确定性估算的优势,称其为“具有统计意义的”结果。
我们复制了BOCSAR的分析,发现的变化可能低至减少12%,高至增加6%。换句话说,结果是“统计上无关紧要的”。
制定政策意味着什么?
为什么这么重要?有两个原因。
首先,不解释,量化和报告不确定性的危险是,公众将失去对数据驱动型决策的信任。只有得出结论承认并解释了从数据中推断复杂数量所固有的不确定性,我们才能做出有力和可解释的政策决策,以建立公众的信任。
其次,如果我们不接受并报告不确定性,我们可以停止寻找其他解释。然后,我们可能无法实现每个人都想要的结果:减少暴力和健康的夜间经济。
我们如何从这里开始?我们将提出两个建议:
收集和整理数据的机构应与众不同,了解情况,但应独立于分析数据的机构。
数据应该尽可能地透明,这将使不同的小组可以使用不同的数据源执行不同类型的分析。
我们几乎可以肯定,这些不同的群体会产生不同的发现,但是随后的讨论可以提供见解,使我们更接近更强有力和可接受的政策决策。
要引用诺贝尔奖得主,物理学家理查德·费曼:
“如果我们只允许,随着我们的前进,我们仍然不确定,我们将留下替代的机会……要取得进展,就必须让未知的大门敞开。”
该议会委员会的建议,即BOCSAR和中心转化数据科学共同努力更加紧密似乎做到这一点。我们期待着持续的合作,以进一步了解暴力的成因。