这涉及到第2个问题 <- 中国开发网

CNDEV.ORG

当前在线

论坛

CBD
- 程序员情感CBD
- 程序员见面交流会
CBD开发区
- Java/J2ME
- .NET/C#
- 数据库
- Delphi/BCB
- Visual C
其它
情感
游戏
- CNDEV-CS/WOW
- 浩宇长空
生活
论坛系统

中国开发网: 论坛: 程序员情感CBD: 贴子 835721

ahfei：这涉及到第2个问题

[阅读: 451] 2010-08-05 02:47:27

我们的查询时分2部，
第一步查出list ，并分页。之前讨论的是第一步
第二步查每个记录的相关信息。如果每页太多记录，这个查询花费时间也挺多的。

如果解决了第一个查询的cache问题，每次翻页小量做查询2，就是我想要的效果了

相关信息:

各位高手进：关于大数据量查询的b/s设计替代原delphi系统 (244字) (ahfei [1733] 2010-08-03 02:40)
- 是否可以自己写 SQL 来解决分段取的问题，而不是靠游标？ (空) (pcplayer [479] 2010-08-03 02:41)
  - 可以。但客户习惯了老的方式（delphi dbgrid全部列出那样)，我分了页，他却要设成每页2000 (空) (ahfei [510] 2010-08-03 02:44)
    - 这个很简单,用户习惯了2000每页,其实他只是习惯了视觉上的,Delphi 2000每页显示器它也显示不完, 所以你只需要把UI整成好似2000每页一样 (14字) (lukejee [544] 2010-08-03 03:13)
      - 重点是：如何在b/s下，保留oracle cusor ? (空) (ahfei [439] 2010-08-03 03:16)
        你不是service side嘛, service side里面可以做手脚嘛 (空) (lukejee [454] 2010-08-03 03:21)
        请教怎么做？ (空) (ahfei [423] 2010-08-03 03:24)
        帮你召唤J2EE牛 (空) (lukejee [413] 2010-08-03 03:33)
        牛来了, 请google "web cache + j2ee" (空) (xman [491] 2010-08-03 03:36)
        多谢多谢 (空) (ahfei [405] 2010-08-03 03:48)
- 学习google，QQ的分页方式，用户向下滚动，数据再翻一页 (32字) (leejd [563] 2010-08-03 02:51)
  - 这还是个次要问题 (86字) (ahfei [465] 2010-08-03 03:11)
- 数据的实时性要求不高的话,就加个cache 吧 (空) (Apache [421] 2010-08-03 05:18)
- 继续求简单好用的解决方案 (空) (ahfei [443] 2010-08-03 08:11)
  - 企业应用不分页，主要是担心。。。。。。。。 (279字) (haitao [500] 2010-08-03 08:22)
    - 如果不管这个。在b/s三层模式下，如何keep住上一个查询的结果集？ (空) (ahfei [448] 2010-08-03 08:28)
      - 如果是flash，也可以由客户端暂存了；如果要应用服务器暂存也可以，就要自己实现关联（以便下次再用和不会被别的客户端取得）和释放机制 (31字) (haitao [506] 2010-08-03 08:36)
        客户端暂存也不合适，因为第一次查list的结果可能很大。只有服务器暂存，但这相当于一个中间层了，代价会很大 (空) (ahfei [491] 2010-08-03 08:51)
        flash暂存文件也就是ie的临时目录嘛。。。。。。。大，可以背景收取好了 (空) (haitao [522] 2010-08-03 08:58)
        list很大的话，不说占资源，弄到client时间花费已经太多了，可能用户只是看第一页。 (空) (ahfei [473] 2010-08-03 09:00)
        flash不能做到一边取一边显示？ (30字) (haitao [425] 2010-08-03 09:03)
        现在是想这个思路，就查list每次重新查好了，用硬件抗过去 (空) (ahfei [426] 2010-08-03 09:04)
        还好，采用b/s的客户，一般对硬件的限制比较宽。。。。。。。。 (12字) (haitao [413] 2010-08-03 09:08)
        flash用rpc，类似webservice，不能边取边显示 (空) (ahfei [477] 2010-08-03 09:05)
        flash的视频播放就是边取边播啊，dbgrid反而不行？ (31字) (haitao [695] 2010-08-03 09:07)
        那个是流媒体。。。。自己做个socket server，是可以边取边显示，够复杂了。。。 (空) (ahfei [450] 2010-08-03 09:09)
        完整list是很大，但是可以每次仅仅取、暂存前5-10页的记录。。。。。。 (42字) (haitao [657] 2010-08-04 01:41)
    - B/S下大查询的问题，似乎没有什么好办法。无论是查出来再分页还是分段查询，都不好弄。 (45字) (疯子张 [579] 2010-08-03 08:45)
      - 同样困扰。看来只有上更强的硬件？ (空) (ahfei [392] 2010-08-03 08:52)
        数据不多的话，先拉到本地客户端来缓存 (空) (leejd [405] 2010-08-04 01:36)
        不可能的，查询条件每次都不一样，结果也不一样 (空) (ahfei [469] 2010-08-04 01:45)
- 你是要解决查询慢的问题，还是结果显示问题？ (72字) (mhappy [458] 2010-08-04 07:09)
  - 常见折衷办法，就是B/S和C/S两者都有，分分工嘛 (空) (mhappy [421] 2010-08-04 07:10)
    - 那还要B/S干什么呢？ (空) (疯子张 [468] 2010-08-04 07:23)
      - 说的是系统的不同部分 (61字) (mhappy [487] 2010-08-04 07:29)
        问题是这个系统本来就是C/S的，并不是非要B/S不可，用B/S不能解决问题，那还要B/S干啥？ (空) (疯子张 [473] 2010-08-04 07:31)
        某银行的某系统就是这么不论不类，本来想用B/S替代C/S，结果没替换掉，客户端用C/S，接口用J2EE做，这不是找麻烦吗？ (空) (疯子张 [494] 2010-08-04 07:33)
        情况不同 (空) (mhappy [418] 2010-08-04 07:36)
        差不多，如果不用b/s，客户干吗不继续用老系统？那我们也就赚不到钱了 (空) (ahfei [485] 2010-08-04 09:30)
      - b/s做单向的发布性的工作，还是不错的 (132字) (haitao [495] 2010-08-04 14:35)
- 如果是分頁, 加偽列然後取特定結果集就好, 如果是用.net, 建議直接用reader讀下去, 取到自己想要的數據為止, 基於的假設是客戶不會翻頁太多次. (空) (dead_lee [514] 2010-08-04 16:30)
  - http://www.cndev.org/forum/m/835163.html (空) (ahfei [487] 2010-08-05 02:03)
    - 如果你所謂查list的結果在每次翻頁都是一樣的, 可以緩存在session中,另外用標誌位控制是否需要刷新重查 (空) (dead_lee [527] 2010-08-05 02:17)
- 继续讨论该问题。。概括起来就是b/s下大数据分页查询的实现方式。 (53字) (ahfei [427] 2010-08-05 02:06)
  - 返回结果就500万条？用户自己也看不过来啊。。。。。。我还以为只是查询复杂所以慢，结果其实不多 (19字) (haitao [540] 2010-08-05 02:09)
    - 不要试图修改业务模式。。因为上个版本就是这样的。 (39字) (ahfei [449] 2010-08-05 02:16)
      - 完整list是很大，但是可以每次仅仅取、暂存前5-10页的记录。。。。。。 (42字) (haitao [4] 8-4 09:41) (40字) (haitao [569] 2010-08-05 02:19)
        这涉及到第2个问题 (119字) (ahfei [450] 2010-08-05 02:47)
      - 那你只能在中间层做文章了,客户端么骗骗客户,号称返回500万条, 然后翻页是50条50条去中间层取,中间层么去实现原来的cursor保持功能 (空) (lukejee [541] 2010-08-05 02:20)
        目前想到的也是这个方法，但这个工作量就大了。 (空) (ahfei [445] 2010-08-05 02:52)
        要学会用钱摆平事情,这里牛这么多,随便外包下,大家都high嘛 (空) (lukejee [482] 2010-08-05 02:54)
  - 500萬也不多, 做好數據庫優化, 用數據庫端的分頁, 可以打到任意頁查詢返回速度在1秒以內的. (空) (dead_lee [436] 2010-08-05 02:36)
    - oracle 可以怎么做分页最快？ (81字) (ahfei [441] 2010-08-05 02:44)
      - mssql只有top n，后面有了按列序生成行号；mysql是提供了limit和skip，最容易！ (26字) (haitao [994] 2010-08-05 03:00)
      - Oracle分页的话最简单的做法是用rownum，最快嘛我没发言权。 (空) (Miracle [481] 2010-08-05 03:09)
        它的rownum是指表里的记录存储顺序号，还是查询结果按order by后的顺序号？ (177字) (haitao [443] 2010-08-05 03:16)
        是后者 (空) (ahfei [341] 2010-08-05 03:20)
        多加一层select (129字) (一切为何 [398] 2010-08-05 03:27)
        二者都不是，快去读书！ (空) (Miracle [432] 2010-08-05 03:39)
        算是後者了, 當然要多加一層查詢, 把返回結果當作偽列來處理. (空) (dead_lee [419] 2010-08-05 03:41)
        读读这个，帮你理解rownum (79字) (Miracle [564] 2010-08-05 03:25)
        oracle基本没怎么用，只是上次写所有数据库的分页时，关注过一下 (69字) (haitao [471] 2010-08-05 03:30)
        後者, 比tmd的sqlserver好用太多了(2k之前, 2005據說改進了) (空) (dead_lee [457] 2010-08-05 03:39)
        rownum是在where之后，order by之前分配的 (空) (Miracle [418] 2010-08-05 03:41)
        瞭解瞭解,這個也是我們常用的手段, 挑個不太錯的答案而已了 (空) (dead_lee [441] 2010-08-05 03:51)
        不是order by之后的，多么不保险啊。。。。。。不知道oracle怎么想的；mssql2005的rank就是必须指定order by什么的 (空) (haitao [487] 2010-08-05 04:18)
        sql server上我们用rank，速度还不错，不过记录比oracle少很多 (空) (ahfei [479] 2010-08-05 04:01)
        看到老M的憤怒,幫你改下sql.這個方法的好處就在於, 不關你實際的查詢sql如何寫,我就這麼統一包一層就可以分頁了. (115字) (dead_lee [486] 2010-08-05 03:44)
        这样更好，里面的原来的sql都不用任何改动 (空) (haitao [354] 2010-08-05 04:16)
        是的,所以可以寫個通用函數給所有程序員去調用. (41字) (dead_lee [430] 2010-08-05 04:41)
        数据库系统里先分页再传出，性能、效率怎么也好过数据传到外面甚至客户端再分页了 (107字) (haitao [678] 2010-08-05 04:45)
        你這個想法絕對了, 業務sql如果太複雜, 數據庫端的分頁未見得就好 (187字) (dead_lee [473] 2010-08-05 04:50)
        一旦有符合要求的數據就返回,那显然是没有order by了；分页肯定是有order by的 (291字) (haitao [549] 2010-08-05 04:57)
        呃, 老大你果然是不看文檔就開始猜想... (空) (dead_lee [347] 2010-08-05 06:00)
        要看这种细微之处的英文文档，基本就很吃力了，而机器翻译又更加帮不上忙了 (14字) (haitao [466] 2010-08-05 06:15)
        可能你項目裏面用不到oracle, 無所謂了, 用的時候買本書好了. (227字) (dead_lee [519] 2010-08-05 06:46)
        db2的版本6好像就有rank语法的了 (101字) (haitao [435] 2010-08-05 06:53)
        目前是用rownum，试过比rank要快 (空) (ahfei [423] 2010-08-05 03:19)
        建议读读我上面回给haitao的链接，如果你能耐住性子读到Pagination with ROWNUM 这一节，就算大功告成了。 (空) (Miracle [485] 2010-08-05 03:32)
    - 让数据库帮你保持状态，连接数多了，数据库服务器的压力就大了。具体到服务器硬件资源多大能支持多少连接，俺就不知道了。 (空) (pcplayer [686] 2010-08-05 03:40)

欢迎光临本社区，您还没有登录，不能发贴子。请在这里登录

页面内容处理时间: 0.008 - 780680