|
精华帖 (0) :: 良好帖 (0) :: 新手帖 (0) :: 隐藏帖 (1)
|
|
|---|---|
| 作者 | 正文 |
|
时间：2008-07-22
楼主的问题是海量数据的实时计算？
这就不仅仅是算法的问题了吧。 系统架构上要配合一下，哪能什么都实时计算，CPU可就忙晕了。 |
| 返回顶楼 | |
|
时间：2008-07-23
foxgst 写道 楼主的问题是海量数据的实时计算？
这就不仅仅是算法的问题了吧。 系统架构上要配合一下，哪能什么都实时计算，CPU可就忙晕了。 确实是这样，每次检索的结果大部分都不一样的，只能是是实时的计算。 |
| 返回顶楼 | |
|
时间：2008-07-23
RyanPoy 写道 1) 先找出含有某个关键词的所有文章。比方说找出了1000篇。 2) 然后找出这1k篇文章的作者的其它信息，比方说：在整个数据中，每个作者共有多少篇文章。 确实是这样，只是我能够很快的取到所有的信息，只是统计效率太低。 |
| 返回顶楼 | |
|
时间：2008-07-23
quhuan1 写道 foxgst 写道 楼主的问题是海量数据的实时计算？
这就不仅仅是算法的问题了吧。 系统架构上要配合一下，哪能什么都实时计算，CPU可就忙晕了。 确实是这样，每次检索的结果大部分都不一样的，只能是是实时的计算。 我们公司的也有类似的海量数据统计；业务数据每时每刻都在变，按理说是要做实时统计的，但是在db中做一次实时统计需要花约3个小时，虽为实时统计，最后的结果却不是实时的了。我们现在的做法是每一个月加工一次业务数据，先生成中间的临时数据，后续的统计都基于这些中间数据。其实最重要的是说服客户，让他们接受不能实时统计的事实。 |
| 返回顶楼 | |
|
时间：2008-07-24
tibetjungle 写道 quhuan1 写道 foxgst 写道 楼主的问题是海量数据的实时计算？
这就不仅仅是算法的问题了吧。 系统架构上要配合一下，哪能什么都实时计算，CPU可就忙晕了。 确实是这样，每次检索的结果大部分都不一样的，只能是是实时的计算。 我们公司的也有类似的海量数据统计；业务数据每时每刻都在变，按理说是要做实时统计的，但是在db中做一次实时统计需要花约3个小时，虽为实时统计，最后的结果却不是实时的了。我们现在的做法是每一个月加工一次业务数据，先生成中间的临时数据，后续的统计都基于这些中间数据。其实最重要的是说服客户，让他们接受不能实时统计的事实。 没法说服，客户说这是系统的主要亮点。。。。。。。 |
| 返回顶楼 | |
|
时间：2008-07-24
tibetjungle 写道 quhuan1 写道 foxgst 写道 楼主的问题是海量数据的实时计算？
这就不仅仅是算法的问题了吧。 系统架构上要配合一下，哪能什么都实时计算，CPU可就忙晕了。 确实是这样，每次检索的结果大部分都不一样的，只能是是实时的计算。 我们公司的也有类似的海量数据统计；业务数据每时每刻都在变，按理说是要做实时统计的，但是在db中做一次实时统计需要花约3个小时，虽为实时统计，最后的结果却不是实时的了。我们现在的做法是每一个月加工一次业务数据，先生成中间的临时数据，后续的统计都基于这些中间数据。其实最重要的是说服客户，让他们接受不能实时统计的事实。 呵呵大侠所谓一个节点300W就有点井底之蛙了吧；我们好像处理一个节点50亿的时候返回间隔大概1.38---1.56秒之间 |
| 返回顶楼 | |
|
时间：2008-07-24
java.hero 写道 tibetjungle 写道 quhuan1 写道 foxgst 写道 楼主的问题是海量数据的实时计算？
这就不仅仅是算法的问题了吧。 系统架构上要配合一下，哪能什么都实时计算，CPU可就忙晕了。 确实是这样，每次检索的结果大部分都不一样的，只能是是实时的计算。 我们公司的也有类似的海量数据统计；业务数据每时每刻都在变，按理说是要做实时统计的，但是在db中做一次实时统计需要花约3个小时，虽为实时统计，最后的结果却不是实时的了。我们现在的做法是每一个月加工一次业务数据，先生成中间的临时数据，后续的统计都基于这些中间数据。其实最重要的是说服客户，让他们接受不能实时统计的事实。 呵呵大侠所谓一个节点300W就有点井底之蛙了吧；我们好像处理一个节点50亿的时候返回间隔大概1.38---1.56秒之间 楼上的？怎么做到的？太神奇了。有空开个贴子，讲一讲啊。 |
| 返回顶楼 | |
|
时间：2008-07-24
以空间换时间。 数据结构上优化。
|
| 返回顶楼 | |
|
时间：2008-07-26
感觉成了吹水帖了，没有一点实在的解决办法！
|
| 返回顶楼 | |
|
时间：2008-07-28
你好好检查一下数据库表设计是否合理 ；
|
| 返回顶楼 | |
