我主要不太理解为什么要加载30G数据到内存。 <- 中国开发网

Warning: unpack(): Type V: not enough input values, need 4 values but only 0 were provided in /mnt/mydata/x/web/u_cndev/us-includes/3rdparty/secache/secache.php on line 74

Warning: Trying to access array offset on false in /mnt/mydata/x/web/u_cndev/us-includes/3rdparty/secache/secache.php on line 75
我主要不太理解为什么要加载30G数据到内存。 <- 中国开发网

账号

中国开发网: 论坛: 程序员情感CBD: 贴子 686612

virushuo · 2008-12-01 16:55:55 · 阅读: 685

我主要不太理解为什么要加载30G数据到内存。

几种可能：

1 全弄进来做计算。这个不太可能吧？这种应用时间就不敏感了。
2 查询。那么有索引就可以了。
3 使用部分数据，那么用lru cache就可以了。

相关信息:

空空空进来 (319字) (sealw [927] 2008-12-01 10:01)
- 爲什麽不用Coherence Cache (空) (空山新雨 [771] 2008-12-01 10:08)
  - 就證券行業而言，問題不在于數據庫 (空) (空山新雨 [759] 2008-12-01 10:10)
  - 人家用的是全套MS解决方案 (空) (sealw [658] 2008-12-01 10:13)
    - 用个中间层就可以了。不用并发分布式缓冲就是找死 (空) (空山新雨 [677] 2008-12-01 10:24)
      - Informative decision，这个，基本上，很难。 (空) (sealw [676] 2008-12-01 10:57)
        很简单的 (空) (空山新雨 [617] 2008-12-01 11:24)
        难者不会，会者不难 (空) (sealw [639] 2008-12-01 12:01)
- 这种大并发的查询只有做搜索的人有经验 (空) (空空空 [650] 2008-12-01 10:14)
- 这个很 easy 的 (空) (holly [685] 2008-12-01 10:17)
  - 总是言简意赅给出结论的大牛简单介绍一下方案？ (空) (Fish [640] 2008-12-01 13:48)
- 上goodhope (25字) (leejd [768] 2008-12-01 10:25)
- 把数据从磁盘到内存这个时间不可避免，可以做的是分成小段，轮流等 (51字) (DeepBlue [786] 2008-12-01 10:53)
  - 你是玩数据库的，这种需求，还是适合采用猴子的解决方案 (空) (sealw [687] 2008-12-01 10:58)
    - 那你要自己在内存建立索引机制了，对30G的数据来说很繁重的一件事情。 (31字) (DeepBlue [776] 2008-12-01 11:11)
      - 不是每天的数据，是全部历史数据。他们现在已经是全内存了，说明索引不是问题 (空) (sealw [636] 2008-12-01 11:24)
        看来这家是基金公司，做的是基于历史推演的股票交易模型 (70字) (空山新雨 [886] 2008-12-01 11:33)
        不是基金公司，是为基金公司提供数据的 (空) (sealw [680] 2008-12-01 11:52)
        分离历史数据和实时数据；分离2年内数据，5年内数据和10年内数据；分离新闻和历史交易数据；采用LRU内存管理；提高稳定性每周重启。 (空) (空山新雨 [734] 2008-12-01 11:56)
        现在30G全放内存不是很大，也不是很贵 (空) (sealw [608] 2008-12-01 12:00)
        想要长期的良好系统表现还是做得好一点为上。我上面说的不过是一点小投入罢了 (空) (空山新雨 [714] 2008-12-01 12:03)
        1.全内存方案也可以做得很好。2.BS在外企工作的米人。 (空) (sealw [640] 2008-12-01 12:07)
        全内存在有大量实时更新的时候系统突然当机怎么办？怎么恢复？ (空) (空山新雨 [651] 2008-12-01 12:30)
        任何更新动作应该同时对它（采用内存盘）和另一个相同的系统（采用硬盘）一起进行的 (35字) (haitao [746] 2008-12-01 12:39)
        于是问题出来了：怎么能使一个文件数据库的插入和更新动作和一个关系数据库保持相同水平？ (空) (空山新雨 [729] 2008-12-01 12:41)
        它们的更新动作估计是来自一个行情接收程序 (78字) (haitao [707] 2008-12-01 12:47)
        。。。。。。 (4字) (空山新雨 [649] 2008-12-01 12:50)
        普通的数据库更新，一个客户端发起的sql实时被转到同时对2个数据库进行，是比较困难 (40字) (haitao [1371] 2008-12-01 12:50)
        内存数据库 (空) (leejd [596] 2008-12-01 12:47)
        全内存在有大量实时更新的时候系统突然当机怎么办？怎么恢复？ (空) (空山新雨 [1] 今天 12:30 ) (空) (空山新雨 [607] 2008-12-01 12:49)
        这个问运维的，俺们开发的不管 (空) (leejd [606] 2008-12-01 12:52)
        有办法的。具体方法请付费咨询。 (空) (sealw [686] 2008-12-01 12:58)
        BS RAID的 (空) (空山新雨 [659] 2008-12-01 16:20)
        h2，hoho (空) (sealw [823] 2008-12-01 12:56)
        BSN, 动不动就玩h2, 还省钱呢 (空) (空山新雨 [675] 2008-12-01 13:45)
        全内存了，也需要恰当的索引的 (67字) (haitao [755] 2008-12-01 11:42)
        那就得有 30G 的真实内存。否则交换到硬盘上去，还是要读硬盘的。 (空) (pcplayer [764] 2008-12-01 11:46)
        它就是采用巨大的内存虚拟盘了 (21字) (haitao [812] 2008-12-01 11:49)
        又看了一遍根话题，也许不是大内存盘的机制？ (105字) (haitao [829] 2008-12-01 16:56)
      - 是没有那么多，除非加上新闻。这家的做法很有问题 (空) (空山新雨 [705] 2008-12-01 11:24)
- 这样没必要用数据库来存储吧 (16字) (好望角 [804] 2008-12-01 11:17)
  - 解压会慢的. 嘎嘎 (空) (holly [662] 2008-12-01 11:20)
    - 不要紧，CPU多就OK了。 (13字) (好望角 [787] 2008-12-01 11:50)
      - 拜对菩萨找对人，这是最重要的 (空) (sealw [678] 2008-12-01 12:14)
        最简单的办法，换NB的硬件才是王道 (35字) (好望角 [808] 2008-12-01 12:23)
        所以说啊，要拜对你这个菩萨 (空) (sealw [701] 2008-12-01 12:43)
        KAO，表拜偶哈 (8字) (好望角 [764] 2008-12-01 12:45)
        你去泰国了？ (空) (leejd [691] 2008-12-01 12:48)
        啥意思？ (空) (好望角 [638] 2008-12-01 12:55)
        没听说菩萨有男的 (空) (leejd [689] 2008-12-01 12:58)
        菩萨都是男的 (空) (sealw [717] 2008-12-01 13:00)
        我们一起搞高性能计算的咨询吧 (空) (sealw [608] 2008-12-01 12:49)
        大牛，别玩偶了。 (空) (好望角 [622] 2008-12-01 12:54)
- 每次重启？这种机器不能做到每周重启一次？ (23字) (haitao [730] 2008-12-01 11:22)
  - 大师找到了两个根本问题中的一个 (空) (空山新雨 [490] 2008-12-01 11:25)
  - 复杂 (23字) (holly [684] 2008-12-01 11:29)
    - 一般的开发者，sql已经是够复杂的了 (25字) (haitao [687] 2008-12-01 11:34)
  - 微软系统最佳实践：每天重启一次 (空) (sealw [607] 2008-12-01 11:51)
    - 看应用了，微软系统本身已经完全可以几年重启一次的了 (53字) (haitao [723] 2008-12-01 12:17)
      - 每个月的更新咋办？ (空) (好望角 [592] 2008-12-01 12:21)
        更新补丁？需要重启的补丁？？ (39字) (haitao [1213] 2008-12-01 12:27)
- 做乜不lazy一下？用到再load (空) (周星驰 [790] 2008-12-01 12:30)
  - 同时hash到多台机器上分布处理 (空) (周星驰 [646] 2008-12-01 12:34)
    - 分布处理才是王道。 (空) (pcplayer [539] 2008-12-01 13:01)
      - 这种应用，太分布也不划算的 (52字) (haitao [671] 2008-12-01 13:16)
        难道 GOOGLE 不是用 N 多台机器凑起来的？那也算是一种分布吧？ (空) (pcplayer [634] 2008-12-01 13:26)
        问题是这种应用系统的服务对象和 gg 没法比啊 (48字) (haitao [1129] 2008-12-01 13:45)
        谁说的... (空) (空山新雨 [619] 2008-12-01 13:47)
        gg要应对的用户数和查询量，决定了它可以自己专门研发特定的文件、数据库系统 (23字) (haitao [740] 2008-12-01 14:08)
        集群是手段，目标是要实现高可用性和可伸缩性。内存数据库集群也是有方案实现的。 (空) (sealw [630] 2008-12-01 13:31)
        这个不会便宜 (空) (空山新雨 [634] 2008-12-01 13:51)
        没有调查，没有发言权 (空) (sealw [594] 2008-12-01 13:55)
        您怎么知道我没有调查 (空) (空山新雨 [604] 2008-12-01 14:07)
        可能每个人对便宜的定义不一样！ (空) (pcplayer [464] 2008-12-01 14:22)
        我是说我没有调查，不知道你觉得多少算便宜。猴子的100万美金算不算便宜？WoW的1000万美金Oracle+EMC2的方案算不算便宜？ (空) (sealw [660] 2008-12-01 14:56)
        原来偶已经算很便宜的做法了 (空) (好望角 [625] 2008-12-01 15:07)
        100万美金有点贵了 (空) (空山新雨 [581] 2008-12-01 15:54)
        空客380贵不贵？为什么还有人要买？ (空) (sealw [684] 2008-12-01 16:06)
        是您说的您的解决方案比数据库要便宜 (空) (空山新雨 [634] 2008-12-01 16:16)
        我有说过吗？请引用原文 (空) (sealw [606] 2008-12-01 16:21)
        现在30G全放内存不是很大，也不是很贵 (空) (sealw [5] 今天 12:00 ) (空) (空山新雨 [609] 2008-12-01 17:24)
        1.我所说的贵，是跟他想要从他的客户那里收的钱来比的，你为什么认为是跟数据库比？跟数据库比还有跟哪个数据库比的问题。2.他们已经采用了全内存的方案，说明对他们的赢利来说，这个成本已…… (空) (sealw [619] 2008-12-01 17:29)
        全内存不是这种情况下一个好的解决方案，不需要再用文件数据库去patch这个方案吧。 (空) (空山新雨 [576] 2008-12-01 17:43)
        看你这么好学，再告诉你一个秘密 (210字) (sealw [720] 2008-12-01 21:32)
        哈，果不其然！ (空) (空山新雨 [512] 2008-12-01 23:41)
        Faint！把那50人开了，50人的工资用来雇我，我一人搞掂！ (70字) (周星驰 [711] 2008-12-02 01:52)
        靠 (8字) (好望角 [612] 2008-12-02 11:45)
- 如果对查询结果做缓存呢？ (空) (乌烟 [616] 2008-12-01 13:04)
  - 如果使用支持故障转移、高并发的分布式key-value持久存储系统对查询结果做缓存有意义没？缓存的更新策略可以控制。 (空) (乌烟 [751] 2008-12-01 13:07)
    - 以查询条件为key，序列化的对应结果为value。 (空) (乌烟 [636] 2008-12-01 13:09)
      - 查询条件没变，但是行情、交易量变了，原来的查询结果也是不可用了 (空) (haitao [595] 2008-12-01 13:12)
        缓存的更新策略来做控制。 (空) (乌烟 [650] 2008-12-01 13:14)
        如果缓存更新策略设置得适当，可以用相对很低的成本来提高性能。 (空) (乌烟 [628] 2008-12-01 15:43)
        要看什么应用了 (41字) (haitao [670] 2008-12-01 16:02)
        嘿嘿，机制可不是你这样的，不需要判断，当数据发生变化时依照策略通知缓存服务对应的更新。 (空) (乌烟 [680] 2008-12-01 16:04)
        如果只有某个股票的信息变了，但是我的查询不涉及它，自然是可以重用结果的 (61字) (haitao [791] 2008-12-01 16:19)
        乌烟你就投了吧 (空) (空山新雨 [578] 2008-12-01 16:21)
        没法儿讨论，我投降。 (空) (乌烟 [569] 2008-12-01 16:22)
        这个系统本来就是专用，利用它的特点（限制）才能花最少的钱达到要求 (77字) (haitao [770] 2008-12-01 16:37)
        你对我所说的缓存机制的理解和我的理解是不一样的，所以没法儿讨论。 (空) (乌烟 [658] 2008-12-01 16:39)
        不仅仅是缓存，系统构架的理解也是很不一致的，所以没法儿讨论。 (空) (乌烟 [669] 2008-12-01 16:41)
        我是猜测你的缓存机制是新浪之类的门户的做法。。。。。。。。 (15字) (haitao [676] 2008-12-01 16:42)
- 奇怪，这个问题主要是IO问题吧？ (76字) (virushuo [706] 2008-12-01 16:46)
  - 感觉上，这样是足够了——数据库的缓存机制应该是比较合理的了 (52字) (haitao [672] 2008-12-01 16:51)
    - 数据库的缓存当然不够用了。 (57字) (virushuo [702] 2008-12-01 16:53)
      - 我是一直觉得数据库系统是非常强大的了 (81字) (haitao [1168] 2008-12-01 17:15)
        这个主要问题在于 (86字) (virushuo [697] 2008-12-02 02:43)
  - 需求不一样，不够的。 (空) (sealw [562] 2008-12-01 16:54)
    - 我主要不太理解为什么要加载30G数据到内存。 (84字) (virushuo [684] 2008-12-01 16:55)
      - 情况1，我很能理解 (35字) (好望角 [744] 2008-12-01 17:07)
        对于这种情况 (72字) (virushuo [666] 2008-12-01 17:10)
        中国还是发展中国家，穷啊，省点是点。 (空) (好望角 [540] 2008-12-01 17:13)
        如果解决这个问题需要的程序员的工资很高，解决这个问题的人工成本是 100 万，而解决这个问题干脆用升级硬件的办法只要50万，那么 (48字) (pcplayer [901] 2008-12-01 17:21)
        在中国是出现人工高过硬件成本可能性不大 (34字) (好望角 [639] 2008-12-01 17:28)
        要到你这样的牛才能解决的问题，人工低不了。 (空) (pcplayer [573] 2008-12-01 17:31)
        最多也就是一台服务器的钱 (13字) (好望角 [636] 2008-12-01 17:34)
        一台 100万美金的服务器。 (空) (pcplayer [645] 2008-12-01 17:45)
        如果这样，给我半台服务器的钱。 (10字) (好望角 [670] 2008-12-01 17:46)
        偶比你少要一点就行 (空) (holly [605] 2008-12-01 23:16)
        BS恶性竞争的 (空) (好望角 [686] 2008-12-02 11:50)
        mapreduce其实是廉价解决方案 (36字) (virushuo [676] 2008-12-02 02:40)
      - 全部弄进内存，在别人请求的时候，就发给人家。很多情况下，靠磁盘IO是远远达不到要求的。 (空) (sealw [722] 2008-12-01 17:24)
        发原始数据啊？！一次多少G？ (空) (好望角 [572] 2008-12-01 17:37)
        他们的客户有基金公司，基金公司还有自己的秘密分析算法。他们要发什么数据，偶也不是很清楚。 (空) (sealw [661] 2008-12-01 17:41)
        网线能传多快，这样来说没必要弄到内存里面了吧。 (14字) (好望角 [717] 2008-12-01 17:44)
        基金公司一个分析算法需要的最大外加数据量不会大于500K (空) (空山新雨 [706] 2008-12-01 18:00)
        我就是说这个时代大部分时候都是io瓶颈。 (20字) (virushuo [657] 2008-12-02 02:39)
  - 因为他要做密集计算 (11字) (好望角 [678] 2008-12-01 17:03)
    - 很少的。证券行业计算的瓶颈在CPU。所以怀疑这个系统的设计有问题。 (空) (空山新雨 [656] 2008-12-01 17:42)
      - 这个可不属于证券行业 (28字) (好望角 [725] 2008-12-01 17:46)
        空空空是证券行业的应用。我知道你不是吃这边的。另外我承认 (10字) (空山新雨 [733] 2008-12-01 18:01)
      - 我觉得现在瓶颈在cpu的东西已经越来越少了 (55字) (virushuo [654] 2008-12-02 02:38)
        关键在于数量 (空) (空山新雨 [567] 2008-12-02 10:06)
- 大树底下好乘凉！ (空) (pcplayer [634] 2008-12-02 10:08)
  - 好久不见这么大的技术树了 (空) (空山新雨 [481] 2008-12-02 10:26)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.048 - 698528