大数据日知录:架构与算法【正版】 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

大数据是当前流行的热点概念之一，其已由技术名词衍生到对很多行业产生颠覆性影响的社会现象，作为明确的技术发展趋势之一，基于大数据的各种新型产品必将会对每个人的日常生活产生日益重要的影响。

张俊林著的这本《大数据日知录：架构与算法》从架构与算法的角度全面梳理了大数据存储与处理的相关技术。大数据技术具有涉及的知识点异常众多且正处于快速演进发展过程中等特点，其技术点包括底层的硬件体系结构、相关的基础理论、大规模数据存储系统、分布式架构设计、各种不同应用场景下的差异化系统设计思路、机器学习与数据挖掘并行算法以及层出不穷的新架构、新系统等。本书对众多纷繁芜杂的相关技术文献和系统进行了择优汰劣并系统性地对相关知识分门别类地进行整理和介绍，将大数据相关技术分为大数据基础理论、大数据系统体系结构、大数据存储，以及包含批处理、流式计算、交互式数据分析、图数据库、并行机器学习的架构与算法以及增量计算等技术分支在内的大数据处理等几个大的方向。通过这种体系化的知识梳理与讲解，相信对于读者整体和系统地了解、吸收和掌握相关的技术有很大的帮助与促进作用。

第0?章?当谈论大数据时我们在谈什么?10.1?大数据是什么20.2?大数据之翼：技术范型转换.40.3?大数据商业炼金术60.4?“大数据”在路上.7第1?章?数据分片与路由?91.1?抽象模型.101.2?哈希分片（HashPartition）?111.2.1?RoundRobin111.2.2?虚拟桶（VirtualBuckets）?121.2.3?一致性哈希（ConsistentHashing）?.131.3?范围分片（RangePartition）?18参考文献19第2?章?数据复制与一致性202.1?基本原则与设计理念212.1.1?原教旨CAP?主义212.1.2?CAP?重装上阵（CAPReloaded）.232.1.3?ACID?原则.242.1.4?BASE?原则.242.1.5?CAP/ACID/BASE三者的关系.252.1.6?幂等性（Idempotent）262.2?一致性模型分类.262.2.1?强一致性272.2.2?最终一致性282.2.3?因果一致性.282.2.4?“读你所写”一致性292.2.5?会话一致性292.2.6?单调读一致性302.2.7?单调写一致性.302.3?副本更新策略.302.3.1?同时更新302.3.2?主从式更新.312.3.3?任意节点更新322.4?一致性协议.322.4.1?两阶段提交协议（Two-PhraseCommit，2PC）332.4.2?向量时钟（VectorClock）?382.4.3?RWN?协议.402.4.4?Paxos?协议.422.4.5?Raft?协议.45参考文献49第3?章?大数据常用的算法与数据结构513.1?布隆过滤器（BloomFilter）?513.1.1?基本原理.523.1.2?误判率及相关计算523.1.3?改进：计数BloomFilter533.1.4?应用543.2SkipList553.3?LSM?树583.4?Merkle?哈希树（MerkleHash?Tree）?.623.4.1?Merkle?树基本原理623.4.2?Dynamo?中的应用.633.4.3?比特币中的应用633.5?Snappy?与LZSS?算法653.5.1?LZSS?算法.653.5.2Snappy673.6?Cuckoo?哈希（CuckooHashing）?673.6.1?基本原理.683.6.2?应用：SILT?存储系统.68参考文献.70第4?章?集群资源管理与调度.714.1?资源管理抽象模型.724.1.1?概念模型724.1.2?通用架构.734.2?调度系统设计的基本问题.744.2.1?资源异质性与工作负载异质性744.2.2?数据局部性（DataLocality）?754.2.3?抢占式调度与非抢占式调度.754.2.4?资源分配粒度（AllocationGranularity）?.764.2.5?饿死（Starvation）与死锁（Dead?Lock）问题.764.2.6?资源隔离方法774.3?资源管理与调度系统范型.774.3.1?集中式调度器（MonolithicScheduler）.784.3.2?两级调度器（Two-LevelScheduler）?.794.3.3?状态共享调度器（Shared-StateScheduler）?794.4?资源调度策略.814.4.1?FIFO?调度策略814.4.2?公平调度器（FairScheduler）814.4.3?能力调度器（CapacityScheduler）?824.4.4?延迟调度策略（DelayScheduling）824.4.5?主资源公平调度策略（DominantResource?Fair?Scheduling）.824.5?Mesos.844.6YARN87参考文献90第5?章?分布式协调系统.915.1?Chubby?锁服务.925.1.1?系统架构935.1.2?数据模型945.1.3?会话与KeepAlive?机制.955.1.4?客户端缓存.955.2?ZooKeeper965.2.1?体系结构.965.2.2?数据模型（DataModel）?.975.2.3?API.985.2.4?ZooKeeper?的典型应用场景985.2.5?ZooKeeper?的实际应用.103参考文献.104第6?章?分布式通信1066.1?序列化与远程过程调用框架1076.1.1?ProtocolBuffer?与Thrift?.1086.1.2Avro.1096.2?消息队列.1106.2.1?常见的消息队列系统1106.2.2?Kafka.1116.3?应用层多播通信（Application-LevelMulti-Broadcast）1146.3.1?概述.1146.3.2?Gossip?协议.115参考文献118第7?章?数据通道.1207.1?Log?数据收集.1207.1.1Chukwa1217.1.2Scribe1227.2?数据总线1237.2.1Databus1257.2.2?Wormhole.1277.3?数据导入/导出.128参考文献.129第8?章?分布式文件系统1318.1?Google?文件系统（GFS）?.1328.1.1?GFS?设计原则.1328.1.2?GFS?整体架构1338.1.3?GFS?主控服务器1348.1.4?系统交互行为.1368.1.5?Colossus1378.2?HDFS1388.2.1?HDFS?整体架构.1398.2.2?HA?方案1408.2.3?NameNode?联盟1438.3?HayStack?存储系统1458.3.1?HayStack?整体架构.1468.3.2?目录服务1478.3.3?HayStack?缓存.1488.3.4?HayStack?存储系统的实现.1488.4?文件存储布局.1508.4.1?行式存储1518.4.2?列式存储.1518.4.3?混合式存储1568.5?纠删码（ErasureCode）.1588.5.1?Reed-Solomon?编码.1598.5.2?LRC?编码.1648.5.3?HDFS-RAID?架构.166参考文献.166第9?章?内存KV?数据库.1689.1?RAMCloud1699.1.1?RAMCloud?整体架构1699.1.2?数据副本管理与数据恢复1709.2Redis1729.3?MemBase.173参考文献175

张俊林，是技术书籍《这就是搜索引擎:核心技术详解》的作者，目前担任畅捷通智能平台总监。在此之前，张俊林曾经在搜索技术中心、百度商务搜索部凤巢广告平台以及新浪微博搜索部及数据系统部担任资深技术专家，新浪微博技术委员会成员，负责算法策略方向。张俊林还曾是智能信息聚合网站“玩聚网”的联合创始人之一。他的研发兴趣集中在：搜索技术、推荐系统、社交挖掘、自然语言处理与大数据算法架构等方面，并在以上领域有多年工业界实践经验。张俊林本科毕业于天津大学管理学院，1999年至2004年在中科院软件所直接攻读博士学位，研究方向是信息检索理论与自然语言处理，就学期间曾在ACL/COLING/IJCNLP等国际会议发表多篇学术论文，另外，他在此期间领导设计的搜索系统曾在美国国防部DARPA主持的TREC第二届高精度检索系统评测中在17只国际高水平研究团队激烈竞争中胜出并取得综合排名前列的优异成绩。

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：大数据日知录:架构与算法【正版】在线阅读

在线听书地址：大数据日知录:架构与算法【正版】在线收听

在线购买地址：大数据日知录:架构与算法【正版】在线购买

在 Mapreduce框架之上，Oryx中间层实现了最常见的一些分类和聚类算法，具体而言，包括用于协同过滤的ALS变体算法、用于分类的随机决策森林( Random Decision Forests)算法和用于聚类的k means++算法

最终一致性是一种弱一致性。因为在分布式环境下，为了达到高可用性，同一份数据通常会被存储到多个机器节点。而不同进程可能操作数据的不同备份，当某进程对数据做了更新后，需要一定时间来将这个新数值传播到数据的所有其他备份中，而这个时间区间就是上述的“不一致窗口”。不一致窗口的时间长短取决于很多因素，比如各份数据的个数，网络传输延迟速度，系统负载大小等。

书籍介绍

大数据是当前最为流行的热点概念之一，其已由技术名词衍生到对很多行业产生颠覆性影响的社会现象，作为最明确的技术发展趋势之一，基于大数据的各种新型产品必将会对每个人的日常生活产生日益重要的影响。

《大数据日知录：架构与算法》从架构与算法角度全面梳理了大数据存储与处理的相关技术。大数据技术具有涉及的知识点异常众多且正处于快速演进发展过程中等特点，其技术点包括底层的硬件体系结构、相关的基础理论、大规模数据存储系统、分布式架构设计、各种不同应用场景下的差异化系统设计思路、机器学习与数据挖掘并行算法以及层出不穷的新架构、新系统等。《大数据日知录：架构与算法》对众多纷繁芜杂的相关技术文献和系统进行了择优汰劣并系统性地对相关知识分门别类地进行整理和介绍，将大数据相关技术分为大数据基础理论、大数据系统体系结构、大数据存储，以及包含批处理、流式计算、交互式数据分析、图数据库、并行机器学习的架构与算法以及增量计算等技术分支在内的大数据处理等几个大的方向。通过这种体系化的知识梳理与讲解，相信对于读者整体和系统地了解、吸收和掌握相关的优秀技术有极大的帮助与促进作用。

《大数据日知录：架构与算法》的读者对象包括对NoSQL 系统及大数据处理感兴趣的所有技术人员，以及有志于投身到大数据处理方向从事架构师、算法工程师、数据科学家等相关职业的在校本科生及研究生。