《暗数据》(英国科学院院士、统计学家汉德教授洞见之作 风险往往来源于未知,15种暗数据,看清信息世界的真相)戴维 · 汉德【文字版_PDF电子书_推荐】

| 书名:暗数据 作者:[美]戴维·汉德 出版社:中信出版集团 译者:陈璞 出版日期:2022-1 页数:319 ISBN:9787521738087 | 6.2 豆瓣评分 | 孔网购买 | 点击喜欢 | 全网资源sm.nayona.cn |
内容简介:
在大数据时代,我们常常以为自己拥有做出正确决策所需的所有信息。但事实上,我们拥有的信息从来都不完整,可能只是冰山一角。正如宇宙大部分是由暗物质组成的,尽管我们看不见,但它们仍然存在。在信息世界,如果我们忽视暗数据,则可能面临各种风险。
汉德教授以一个引人入胜、充满启迪和智慧的统计学视角总结了15种暗数据类型,并逐一阐释它们的发生机制和可能带来的风险。书中引用大量翔实的案例,这些案例来源于社会生活的方方面面,富含鲜活细节,包括人口普查、火箭发射、总统选举、飓风灾难、地方治安、历史考古、分数膨胀、学术造假、金融诈骗、财务管理等专业领域里的各种案例。汉德教授不仅揭示了深深埋藏在数据背后世界本来的样貌,还提醒要我们警惕未知事物带来的风险,并阐述了如何利用暗数据并从中获益,从而做出理智的决策。
暗数据无处不在。在我们知道的、不知道的每一处角落,暗数据如同一道发自暗处的光,终将照亮人类认知的盲区。
本书将带领我们开启一段奇妙而富有启蒙性的旅程,进入我们看不到的数据世界。
作者简介:
戴维·汉德(David Hand),伦敦帝国学院数学荣誉教授、资深研究员,英国皇家统计学会前主席,英国科学院院士。汉德教授学术成就非凡,曾出版着作7部。
目 录:
前 言 / V
第一部分 暗数据:原因与结果
第1 章 暗数据:塑造世界的无形力量 / 003
幽灵数据 / 003
你真的拥有全部数据吗? / 012
被忽略的“无事发生” / 016
暗数据的力量 / 020
就在我们身边 / 022
第2 章 探索暗数据:收集到的与没收集到的 / 026
来自各方的暗数据 / 026
数据废气、选择和自我选择 / 028
以小见大 / 039
实验数据 / 051
注意人性的弱点 / 060
第3 章 定义与暗数据:你想知道什么? / 064
定义差异与错误测量 / 064
你不能测量所有事物 / 071
筛查 / 080
基于过往表现的选择 / 083
第4 章 非故意的暗数据:说一套,做一套 / 087
大视界 / 087
汇总 / 091
人为差错 / 092
仪器限制 / 097
连接数据集 / 099
第5 章 方略性暗数据:博弈、反馈和信息不对称 / 102
博弈 / 102
反馈 / 109
信息不对称 / 115
逆向选择和算法 / 116
第6 章 故意的暗数据:欺诈与欺骗 / 126
欺诈 / 125
身份盗用与网络诈骗 / 129
个人财务诈骗 / 133
金融市场欺诈与内幕交易 / 136
保险诈骗 / 141
其他欺诈形式 / 145
第7 章 科学与暗数据:科学发现的本质 / 149
科学的本质 / 149
早知道就好了 / 154
暗数据碰出新世界 / 162
暗数据打开大视野 / 164
隐瞒事实 / 177
撤回 / 192
出处和可信度:谁告诉你的? / 194
第二部分 阐明和使用暗数据
第8 章 处理暗数据:让光照进来 / 201
希望 / 201
在已观测数据与缺失的数据之间建立关联 / 202
识别数据缺失机制 / 211
利用已有数据开展工作 / 212
超越数据:如果你先死怎么办? / 218
超越数据:插补 / 221
迭代 / 227
错误数据 / 230
第9 章 从暗数据中获益:重构问题 / 236
隐藏数据 / 236
对自己隐藏数据:随机对照试验 / 237
可能发生的事 / 239
复制的数据 / 243
想象的数据:贝叶斯先验性 / 249
隐私与机密保护 / 251
从暗处收集数据 / 259
第10 章 暗数据分类:走出迷宫之路 / 263
暗数据分类法 / 263
启示 / 270
译者后记 发自暗处的光 / 279
参考文献 / 285
浏览器不支持脚本!
摘要:《暗数据》由英国科学院院士、统计学家戴维·汉德撰写,是对信息世界中隐性数据及其潜在风险的深刻洞察。书中提出,人类在面对数据时往往只关注显性、可量化的信息,而忽视了隐藏在背后的暗数据,这些信息虽然不显眼,却可能在决策、经济、社会等领域产生巨大影响。汉德教授通过分析15种不同类型的暗数据,揭示了我们日常生活、商业管理和公共政策中存在的认知偏差与数据陷阱。他强调,风险往往源自未知领域,而有效识别和利用暗数据,是提升决策质量、规避风险的重要手段。全书不仅提供了理论框架,还结合大量实例,生动呈现了暗数据在金融市场、社会调查、医疗健康及科技发展中的实际应用与挑战,为信息时代的决策者提供了前瞻性指导。
1、暗数据的概念与特征
暗数据是指那些未被充分收集、未被使用或被忽视的数据,它们往往存在于组织或个人的日常行为中,却没有进入正式的数据分析体系。汉德指出,这类数据虽然“隐藏”,但其潜在价值和风险远远高于表面数据。
暗数据的主要特征包括不显性、易被忽略、难以量化和潜在高度影响力。它可以存在于文件记录、通信日志、未整理的调查问卷甚至社交网络行为中。对这些数据的忽视,使人们在决策中容易陷入偏差或低估风险。
汉德强调,识别暗数据需要主动的观察和分析能力,而非单纯依赖现有信息系统。只有了解其存在形式、来源和可能影响,才能在复杂信息环境中做出更为精准的判断。
2、暗数据的类型划分
书中系统列举了15种暗数据类型,包括丢失数据、隐藏偏差、间接指标、未记录的行为、被遗忘的历史信息等。每种类型都有独特的形成机制和潜在影响,需要不同的处理策略。
丢失数据是最直观的暗数据形式,例如调查中未回应的问题、企业财务报表中遗漏的交易信息。隐藏偏差则更加隐蔽,如样本选择偏差、数据收集方式导致的系统性误差。
汉德还强调了间接指标的重要性,这类数据虽不是直接测量结果,但通过推理或相关分析,可以揭示隐藏趋势和潜在风险。例如,社交媒体的活跃度可能反映社会情绪变化,而未被正式记录的购买行为能预测市场需求。
3、暗数据的风险与管理
忽视暗数据会带来严重风险,包括决策失误、市场误判和公共政策偏差。汉德通过金融市场案例说明,许多投资失败源于对隐性信息的低估,表面数据并不能完全反映市场风险。
在管理层面,企业往往依赖可量化的绩效指标,而忽视员工非正式沟通、客户反馈或供应链异常,这些未被记录的数据可能隐藏重大问题。汉德提出,管理者必须建立机制,将暗数据纳入监控和分析体系。
风险管理不仅是发现暗数据,更重要的是理解其潜在影响。通过数据挖掘、模式识别和情境分析,可以提前预测问题,降低意外事件发生概率。
4、暗数据的应用与实践
暗数据在实际应用中价值巨大,涵盖金融、医疗、社会研究和科技创新等领域。汉德举例说明,医疗健康领域的暗数据,如未记录的症状、患者行为数据,可以帮助医生改进诊疗方案和疾病预测。
在社会调查中,暗数据有助于发现民意与行为模式背后的真实驱动因素。例如,未被直接提及的社会问题通过间接数据可被揭示,从而优化政策设计和资源配置。
科技领域也在不断利用暗数据创新,如机器学习和人工智能模型中未标注数据的挖掘,可以提升算法预测能力和适应性。汉德强调,科学利用暗数据需要兼顾伦理与隐私保护。
总结:
《暗数据》深刻揭示了信息世界中隐性数据的存在及其影响力,提醒我们决策风险常来自未知领域。通过系统理解暗数据的类型、特征、风险与应用,人们可以在复杂信息环境中保持敏锐判断力。
书中提供的理论框架和实践案例,为企业管理者、政策制定者以及普通数据使用者提供了重要参考。掌握暗数据的识别和应用,不仅能够优化决策,还能有效规避潜在风险。
本文由nayona.cn整理
联系我们

关注公众号

微信扫一扫
支付宝扫一扫 