就是每个根话题下有了新回复，就把新回复的id更新到根贴表的这条记录的lastid <- 中国开发网

账号

中国开发网: 论坛: 程序员情感CBD: 贴子 690139

haitao · 2008-12-19 13:10:25 · 阅读: 637

就是每个根话题下有了新回复，就把新回复的id更新到根贴表的这条记录的lastid

主要是省去了group by rootid取max(id)的开销
按理说，有了bbsid-rootid-id这样的索引，这个开销应该不大了，但是不知道为什么，sqlite还需要3秒钟

相关信息:

[技术帖]请教各位大牛,下面的sql语句如何优化?数据到了50w条后速度就很慢了,第一次查要好几十秒钟 (723字) (龙之吻 [1407] 2008-10-30 13:58)
- 给deepblue咨询费，他是大牛 (空) (pigprince [739] 2008-10-30 14:00)
  - 这事就找db牛太浪费了，找一般牛就行了。但是像我这种牛虱觉得，一般牛也不答这个。 (空) (没脾气2x [685] 2008-10-30 14:03)
    - 有被没大王BS了.大王一直憋着干吗? (空) (龙之吻 [610] 2008-10-31 14:30)
- 汗，别嵌套，别max()，重新设计下，来个sequence。写成存储过程比较好。 (空) (空山新雨 [645] 2008-10-30 14:11)
  - 存储过程指望不上了. (空) (龙之吻 [613] 2008-10-31 14:31)
- 论坛，又见论坛 (空) (sealw [675] 2008-10-30 14:29)
  - heihei大牛给支个照 (空) (龙之吻 [705] 2008-10-31 14:31)
- 数据库是sqlite (空) (龙之吻 [756] 2008-10-31 14:31)
  - 重新写，别嵌套，别max()，重新设计下，来个sequence。字符串操作最好不做 (空) (空山新雨 [3] 昨天 14:11) (空) (pigprince [708] 2008-10-31 14:34)
    - 谢谢PP大牛，我还是重写吧 (空) (龙之吻 [659] 2008-10-31 15:59)
- 这数据库的语法够怪的 (74字) (DeepBlue [778] 2008-10-31 15:43)
  - 感谢DB牛 (8字) (龙之吻 [677] 2008-10-31 15:59)
- 继续请教,现在已经按照db牛说的建立了索引,改成了join 但是现在速度还是慢的很啊.第一次查询要2分钟多,以后每次翻页也要10几秒 (417字) (龙之吻 [1016] 2008-12-16 10:25)
  - 典型的Web程序数据库设计，根子上出了问题，怎么做都是多余，要么用冗余换性能，要么严格遵照BCNF范式重新设计数据库 (空) (bmkun [692] 2008-12-16 11:37)
    - 嗯，递归生成树的方式，开销还是很大的。尤其是桌面版数据库引擎 (空) (haitao [664] 2008-12-16 11:44)
      - 你知道这样做不好还不早点儿告诉我 (空) (龙之吻 [606] 2008-12-17 07:53)
        2种方法各有利弊 (33字) (haitao [607] 2008-12-17 08:34)
    - 不知道怎么调整。清大牛赐教 (空) (龙之吻 [637] 2008-12-17 07:52)
  - msg_baseid is not null SQLite对null使用索引不？改默认值0吧。 (空) (sea026 [1325] 2008-12-16 17:14)
    - 谢谢大牛。我试试 (空) (龙之吻 [609] 2008-12-17 07:51)
- 这个真的要彻底解决得调整库结构了 (空) (steel1 [630] 2008-12-16 18:50)
  - 不知道怎么调整 (5字) (龙之吻 [617] 2008-12-17 07:52)
    - 执着的 (132字) (sealw [709] 2008-12-17 08:47)
      - 你没了解他是做什么吧 (18字) (haitao [700] 2008-12-17 09:00)
        做什么也不能认为关系型数据库是万能的。 (35字) (virushuo [711] 2008-12-17 12:07)
        关系型数据库不是万能的，但也是相当能的 (20字) (haitao [704] 2008-12-17 12:17)
- 没写过sql的飘过。 (空) (sql [592] 2008-12-17 08:28)
  - 靠。BS。那你还起这个 ID。 (空) (ycm0263 [632] 2008-12-17 08:38)
    - 此sql非彼sql也。 (空) (sql [588] 2008-12-17 09:14)
- 弄个2个column的索引在msg_baseid, msg_id上试试？或以此二列为主key试试。另外，把MEMO的字段放表的最后试试。 (25字) (张秋桥 [774] 2008-12-17 09:00)
  - ftp上有他的数据 (7字) (haitao [630] 2008-12-17 09:07)
    - 4kB/s downloading (空) (张秋桥 [683] 2008-12-17 09:11)
    - 是cndevData.db么？下错了就废了。那个慢啊，10个线程了。 (空) (张秋桥 [718] 2008-12-17 09:22)
      - 可以让他重新压缩最新的数据再上传，这样大约是200M左右 (空) (haitao [659] 2008-12-17 09:36)
    - ftp的地址？ (11字) (DeepBlue [650] 2008-12-17 10:29)
      - zhang (13字) (haitao [658] 2008-12-17 10:30)
        zhang's FTP的地址谁能纸条下我 (空) (DeepBlue [608] 2008-12-17 11:07)
      - 谢谢大牛。已经纸条你了 (空) (龙之吻 [689] 2008-12-17 12:25)
  - 谢谢大牛。我试试 (空) (龙之吻 [598] 2008-12-17 12:24)
    - 我没有改任何东西，直接试了你的sql, 快得一眨眼，你的机器太烂。另外，msg_boradid 为什么是字符串？应该是整数才快。 (49字) (张秋桥 [754] 2008-12-17 13:02)
      - 我测试了如下语句，估计2到3秒，返回8523条记录。你什么CPU?什么内存？ (427字) (张秋桥 [799] 2008-12-17 13:05)
        你的速度杂那么快捏?莫非你用的是服务器? (3324字) (龙之吻 [797] 2008-12-17 17:33)
        4核2.66G, 4GRAM，Win2008 x64， FF3 (空) (张秋桥 [730] 2008-12-17 19:35)
        我有点怀疑我之前Browse过整个表（超时3次才完成），全缓冲起来了。 (空) (张秋桥 [711] 2008-12-17 19:38)
        关机重开后，不浏览，直接试了一下，慢一点，可能4-5秒。 (空) (张秋桥 [699] 2008-12-17 19:48)
        你是使用什么管理工具？可以直接对sqlite的库文件发sql命令的？ (35字) (haitao [805] 2008-12-17 23:16)
        前面说过的，FF的sqlite manager插件。 (空) (张秋桥 [629] 2008-12-18 04:26)
        一听FF就囧了 (24字) (haitao [693] 2008-12-18 07:59)
        呵呵，没有FF的FireBug，YSlow等几个插件，我的日子会很难过。 (空) (张秋桥 [903] 2008-12-18 08:15)
        这个很影响速度阿。我用一个叫做sqlite spy先打开表，然后再查询，速度就快多了 (空) (龙之吻 [1458] 2008-12-18 07:56)
        我关机重试过只略慢一点。 (空) (张秋桥 [632] 2008-12-18 08:16)
        在笔记本上，ramdisk里，也执行了9156ms和9234ms (477字) (haitao [805] 2008-12-18 09:25)
        其中的这个子查询就花了6245ms、6953ms、6485ms（奇怪的是第二次反而慢一点） (227字) (haitao [692] 2008-12-18 09:56)
        看了一下索引，缺少boradid--baseid--msgid这样的 (55字) (haitao [676] 2008-12-18 10:09)
        双核 2.5G 4G内存 SATA 500G硬盘，使用床上的那个db (1457字) (sea026 [768] 2008-12-18 13:07)
        日，原来上面的已经建了索引了，难怪。 (104字) (sea026 [734] 2008-12-18 14:01)
      - 别人的电脑也慢啊。。。。。。。。所以，估计慢不是在这里，而是生成树 (21字) (haitao [678] 2008-12-17 13:06)
        呵呵，优化错了地方。 (空) (张秋桥 [569] 2008-12-17 13:07)
      - 我的机器是p43.0 +1G mem 是不是因为pysqlite速度太慢了？ (空) (龙之吻 [671] 2008-12-17 13:33)
        另外建议你用一个冗余整型字段表示msg_borad。因为msg_borad一般不会改，问题不大。 (空) (张秋桥 [613] 2008-12-17 13:46)
        好像我的离线就是保存版名/id的hash值作为关联 (空) (haitao [672] 2008-12-17 17:45)
      - 你下载我的离线试试 (47字) (龙之吻 [763] 2008-12-17 13:34)
        要装环境？我放置了数据库可是告诉我找不到数据库。 (空) (张秋桥 [634] 2008-12-17 14:22)
        不用装的,我build成了exe 这个好象是有错误的版本,真不好意思 (空) (龙之吻 [592] 2008-12-17 17:34)
- 你的大致意图，应该按主贴的最后回复，进行排序和生成。弄个表吧，空间换时间。 (582字) (sea026 [1224] 2008-12-18 15:01)
  - 猜测，最后的排序应该是order by b.msg_baseid desc, a.msg_parentid,a.msg_id 好似才符合思维。 (空) (sea026 [634] 2008-12-18 16:14)
    - 这个工作其实分2步 (148字) (haitao [656] 2008-12-18 16:30)
      - 你忘了mm大人的东东 (57字) (sea026 [699] 2008-12-18 17:01)
        那个是sql2k5才新增的，而且执行效率不高 (空) (haitao [583] 2008-12-18 17:10)
  - 你怎么用这么少时间?这么复杂的sql 我写不出来，是haitao大师给的 (空) (龙之吻 [640] 2008-12-19 08:03)
  - 这个确实快了很多很多，但是这个表老是往里插入数据啊？这样怎么办？用视图比直接查询还要慢。这个要是视图就好了。 (空) (龙之吻 [645] 2008-12-19 14:49)
- 每个主贴后面有一个字段，为本树的最后一贴时间 (空) (十方 [576] 2008-12-19 11:27)
  - 嗯，新增一个根(root)贴表最好 (51字) (haitao [580] 2008-12-19 11:31)
    - rootid字段我有 lastid字段是干吗的？ (空) (龙之吻 [596] 2008-12-19 13:04)
      - 就是每个根话题下有了新回复，就把新回复的id更新到根贴表的这条记录的lastid (92字) (haitao [636] 2008-12-19 13:10)
        max(id)我变成了id，为啥也行？ (空) (龙之吻 [638] 2008-12-19 14:50)
        估计是sqlite的方言 (6字) (haitao [512] 2008-12-19 14:55)
- 50万条数据，太大了，你应该换一个DBMS了 (空) (pigprince [605] 2008-12-19 11:43)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.016 - 610000