视频只是举例 <- 中国开发网

账号

中国开发网: 论坛: 程序员情感CBD: 贴子 837670

leejd · 2010-08-17 14:15:18 · 阅读: 507

视频只是举例

因为现在搞存储的，dedup是很关键的技术，但是目前基本只针对一次写，多次读的情况，而且效果也不理想，大家都在研究切片算法，如果来提供空间的压缩率

相关信息:

给大牛们出道题 (183字) (leejd [627] 2010-08-17 10:04)
- 怎么看起来不像是那么难的问题？还是我小白了没有考虑到一些难点 (空) (空山新雨 [534] 2010-08-17 10:09)
  - 拿我说的那种视频操作来说，怎么样只上传不同的部分 (空) (leejd [502] 2010-08-17 10:11)
    - 分段哈希 (空) (空山新雨 [463] 2010-08-17 10:12)
      - 问题在于怎么分段？ (27字) (leejd [585] 2010-08-17 10:15)
        我知识有限，不过我觉得可以核对关键桢 (空) (空山新雨 [441] 2010-08-17 10:26)
        如果不是视频，是一个文件流呢 (空) (leejd [522] 2010-08-17 10:30)
        依稀记得对于没有特征的文件流这个是NP。你需要在编辑之前作mark (空) (空山新雨 [463] 2010-08-17 10:33)
        视频，你要针对不同的格式，搞清楚怎么分帧。然后每帧对比就行了 -- 问题是，这个对比是极其消耗CPU的啊。虽然网络数据量减小了，但对比消耗CPU巨大，耗时巨多。 (空) (pcplayer [595] 2010-08-17 10:44)
        要是我,就不考虑格式问题,直接做1m一块的分段好了 (空) (dead_lee [442] 2010-08-17 11:25)
        如果是 MPEG4 之类的，你只需要对比关键帧，可以减少工作量。如果直接按流来做比较，想想你要比较2X10个G的数据，CPU的占用是啥概念吧。 (空) (pcplayer [560] 2010-08-17 11:35)
        不麻烦, bt其实做的不就是这个事情么.当然要客户端咯 (空) (dead_lee [441] 2010-08-17 12:50)
        文件是100个1M，如果第2个1M变成了0.5M。如果简单的1M算1块，则只有1块是没变的，而其实是99块都是没变的 (40字) (haitao [479] 2010-08-17 12:44)
        如果是你所说的情况,当然会把从第二个之后的块全部重传 (38字) (dead_lee [578] 2010-08-17 13:01)
        如果没有边界信息，你怎么知道新视频的第2块其实只有0.5M？ (37字) (haitao [515] 2010-08-17 13:10)
        你没明白我的想法 (160字) (dead_lee [514] 2010-08-17 13:54)
        哦，你是就让它重新传99块。。。。。。。。。。 (52字) (haitao [490] 2010-08-17 17:35)
        前面计算一次，后面在计算一次，边上传边计算 (空) (leejd [440] 2010-08-17 14:10)
        做存储的本来就不该关心文件格式问题 (5字) (leejd [445] 2010-08-17 14:08)
        就是了 (空) (dead_lee [412] 2010-08-17 15:26)
- 这算什么难题，所有做分布存储的都要做这个啊。现在几乎一线的互联网公司个个都做了。 (空) (virushuo [492] 2010-08-17 10:55)
  - 还有所有做dropbox 的copycat 的公司，都要做这个的 (空) (virushuo [468] 2010-08-17 10:56)
  - 这个得做客户端实现吧 (空) (jacky1936 [421] 2010-08-17 11:33)
    - 同意！ (空) (张秋桥 [396] 2010-08-17 12:30)
    - 用客户端没问题，关键是现在大家都在找算法，包括google (33字) (leejd [974] 2010-08-17 14:17)
      - 用客户端就好办了 (18字) (jacky1936 [473] 2010-08-17 18:27)
  - 问题是，现在存储的利用率还是很低的，重复数据还是非常的大 (24字) (leejd [561] 2010-08-17 14:16)
    - dropbox存储利用率很高 (空) (virushuo [479] 2010-08-17 16:58)
      - 有数据吗？ (51字) (leejd [456] 2010-08-17 21:12)
        你问问金山快盘怎么做的吧，这不是好多金山的人嘛。 (空) (virushuo [431] 2010-08-18 00:08)
- offset (空) (狒狒 [417] 2010-08-17 11:43)
- 很简单，提高服务器吞吐能力，增加网络带宽 (空) (ht [404] 2010-08-17 12:28)
- 参考subversion对二进制文件的处理方式 (空) (sealw [417] 2010-08-17 12:35)
- 友情提示一下：几乎所有的视频编码方案都是有损的。so，别说你修改了其中几分钟，即使你啥都不修改，只是重新编码一次，文件就会完全不一样了。 (42字) (ycm0263 [536] 2010-08-17 12:40)
  - 应该是按关键帧作为分块的边界，这样的比较块才是实际可行的 (11字) (haitao [494] 2010-08-17 12:46)
    - 没用。重新编码之后，很可能你在这 100M 视频里找不到一帧的数据是相同的。 (空) (ycm0263 [549] 2010-08-17 13:41)
      - 这种情况，应该是专门的剪辑工具了：修改时，明确仅仅删除哪些块，加入哪些块。。。。。。。 (17字) (haitao [457] 2010-08-17 14:12)
        对第三方工具要透明的，不然意义不大 (空) (leejd [467] 2010-08-17 14:18)
        你想修改后更新得快，就要使用网站提供的工具；否则只能全部重新传了，哪怕你只是改了一点，重新编码就是机器人说的。。。。。 (27字) (haitao [492] 2010-08-17 17:38)
- 正解是切片+索引 (51字) (pinxue [590] 2010-08-17 12:58)
  - 视频只是举例 (73字) (leejd [506] 2010-08-17 14:15)
    - 明白你的意思了。你需要做到“上传3个一样的视频，只占用一个的空间”。 (61字) (sealw [570] 2010-08-17 14:37)
      - 不是一样，是3个类似的文件（重复数据会很多） (35字) (leejd [519] 2010-08-17 14:39)
        动态切需要吗？不需要吧？ (空) (sealw [490] 2010-08-17 15:30)
        当然不需要。因为 (74字) (ycm0263 [589] 2010-08-17 20:01)
        请教：对10M的东西求MD5，冲突的可能性很大吗？ (空) (sealw [461] 2010-08-18 07:41)
        如果是两个不同的文件按 10M 来切块，必须用专门的算法去伪造才能生成两段 MD5 相同的数据来。 (16字) (ycm0263 [639] 2010-08-18 08:37)
        在10M里留256个字节任意修改，以保证10M内容的md5正好是某个指定的值，修改尝试的时间大约是多少？ (空) (haitao [653] 2010-08-18 08:49)
        数据库为啥要varchar字段呢 (10字) (leejd [476] 2010-08-18 09:11)
        动态切，我觉得不大可能实用。因为你没法【对齐】。 (142字) (pcplayer [527] 2010-08-18 09:53)
- 增量备份的机制吧，必须有本地代理监控文件变化 (空) (bmkun [508] 2010-08-18 08:32)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.020 - 555696