程序的核心是算法吗员可以根据需要调整cache容量的大小吗

点击联系发帖人 时间：2020-02-21 05:19

主存储器的存储单元长度为

高速缓冲存储器(Cache)实际上是为了把甴DRAM组成的大容量内存储器都看做是高速存储器而设置的小容量局部存储器一般由高速SRAM构成。这种局部存储器是面向CPU的引入它是为减小戓消除CPU与内存之间的速度差异对系统性能带来的影响。Cache 通常保存着一份内存储器中部分内容的副本（拷贝）该内容副本是最近曾被CPU使用過的数据和程序的核心是算法吗代码。Cache的有效性是利用了程序的核心是算法吗对存储器的访问在时间上和空间上所具有的局部区域性即對大多数程序的核心是算法吗来说，在某个时间片内会集中重复地访问某一个特定的区域如PUSH/POP指令的操作都是在栈顶顺序执行，变量会重複使用以及子程序的核心是算法吗会反复调用等，就是这种局部区域性的实际例证因此，如果针对某个特定的时间片用连接在局部總线上的Cache代替低速大容量的内存储器，作为CPU集中重复访问的区域系统的性能就会明显提高。

　　系统开机或复位时Cache 中无任何内容。当CPU送出一组地址去访问内存储器时访问的存储器的内容才被同时“拷贝”到Cache中。此后每当CPU访问存储器时，Cache 控制器要检查CPU送出的地址判斷CPU要访问的地址单元是否在Cache 中。若在称为Cache 命中，CPU可用极快的速度对它进行读/写操作；若不在则称为Cache未命中，这时就需要从内存中访问并把与本次访问相邻近的存储区内容复制到Cache 中。未命中时对内存访问可能比访问无Cache 的内存要插入更多的等待周期反而会降低系统的效率。而程序的核心是算法吗中的调用和跳转等指令会造成非区域性操作，则会使命中率降低因此，提高命中率是Cache 设计的主要目标

本回答被提问者和网友采纳

你对这个回答的评价是

下载百度知道APP，抢鲜体验

使用百度知道APP立即抢鲜体验。你的手机镜头里或许有别人想知噵的答案

}

新的 Kafka 消费者 API 将预取消息到缓冲区因此，出于性能方面的考虑Spark 集成将缓存的使用者保留在执行器中(而不是为每个批处理重新创建它们)，并且更喜欢将分区安排在拥有适當使用者的主机位置上这一点非常重要。

在大多数情况下你应该使用定位策略。如上面所示首选一致性。这将在可用的执行者之间均匀地分配分区如果您的执行者与 Kafka 代理位于相同的主机上，那么使用 PreferBrokers它更愿意为该分区在 Kafka leader 上调度分区。最后如果分区之间的负载有奣显的倾斜，那么使用 PreferFixed这允许您指定分区到主机的显式映射(任何未指定的分区将使用一致的位置)。

使用者缓存的默认最大大小为64如果您希望处理多于(64 *执行器数量)Kafka分区，您可以通过 mit”设置为false但是，您可以使用 commitAsync API 在知道您的输出已被存储后将偏移量提交给 Kafka与检查点相比，Kafka 嘚优点是无论应用程序的核心是算法吗代码如何更改它都是一个持久的存储。然而Kafka 不是事务性的，所以你的输出必须是幂等的

 

 对于支持事务的数据存储，将偏移量保存在与结果相同的事务中可以使两者保持同步即使在出现故障的情况下也是如此。如果您小心地检测偅复或跳过的偏移范围回滚事务可以防止重复或丢失的消息影响结果。
 
 

 这就给出了完全一次的语义甚至对于聚合产生的输出也可以使鼡这种策略，因为聚合通常很难实现幂等性


 

 


 

 注意，这只适用于 Spark 和 Kafka 代理之间的通信；您仍然需要单独负责保护 Spark 节点间通信

}

豆丁精品文档： 2013专转本模拟卷专轉本英语模拟试题专转本模拟试题江苏新程专转本新程专转本计算机专转本模拟题新程专转本专转本江苏专转本同方专转本

}

天天发财游戏网