首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
华为云
V2EX  ›  Elasticsearch

elasticsearch 支持的数据量太小了,对 50 万行数据查询都是 1 秒多,有没有替代产品?

  •  
  •   Reign · 350 天前 · 7430 次点击
    这是一个创建于 350 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,MySQL 总共 50 万行数据,30 个字段,全部存到 ES 中查询,平均耗时 1 秒,太慢了,虽然我的是渣渣机械盘,也不至于连 50 万行的数据都支撑不了吧,有没有比 ES 更优秀查询时间优化的更好的免费产品???

    第 1 条附言  ·  350 天前
    忘了加配置:i5+16G+2T 渣渣 HDD
    第 2 条附言  ·  350 天前
    是不是 30 个字段同时搜索太慢??我是采用 query_string 的搜索:
    'query' =>
    [
    'query_string'=>
    [
    'query'=>$item,
    "default_operator"=>"AND"
    ]
    ]
    第 3 条附言  ·  350 天前
    30 个字段是把主要的“ article ”字段翻译成了 29 种语言,大家觉得是不是我把 30 种语言揉和成 1 个大杂烩的字段来搜索,会不会变得更快一点???
    44 回复  |  直到 2017-12-01 11:42:03 +08:00
        1
    pathbox   350 天前 via iPhone   ♥ 1
    我相信不是 es 的锅,是你服务器配置太低,内存太少或是 es 查询姿势错误。
        2
    mringg   350 天前 via iPhone
    你需要怎么查询数据?
        3
    dobelee   350 天前
    普通的全文搜索的话,1 亿数据也不用 1s。
    不说具体的需求就是乱投医。
        4
    zn   350 天前 via iPhone
    我跟你讲,区区五十万数据我丢到十美元一年的 VPS 速度都比你这个快。

    这锅 ES 不背。
        5
    winglight2016   350 天前
    这个数量级即使放在 mysql 也不会这么久啊?
        6
    pynix   350 天前
    内存应该够了,hdd 的锅吧。。。。
        7
    hljjhb   350 天前
    先问是不是 再问有没有
        8
    luodaoyi   350 天前
    没有吧 我 3000 多万条查询也不到三分之一秒啊
        9
    iyaozhen   350 天前 via Android
    每天差不多上亿条。除了 SSD 装不下其它没事问题。
        10
    xjqxz2   350 天前
    你是不是把 HEAP 设小了 o.o
        11
    knightdf   350 天前
    这个锅 ES 可不背
        12
    murmur   350 天前
    怀疑你分词有问题
        13
    Morriaty   350 天前
    你 show 一下 query 啊,要是各种 aggs 当然慢啊
        14
    locoz   350 天前 via Android
    锅不要乱甩。。es 查几千万的数据也就 1 秒不到
        15
    mengzhuo   350 天前 via iPhone
    索引要自己定义
    减少分析类的
    减少 shard
        16
    bobuick   350 天前
    50w 数据能慢到 1 秒的话,es 早就在 0.5 版本前被市场喷死在窝里了。
        17
    zhx1991   350 天前
    你用的有问题

    而且就 50w 的数据, 扔在 mysql 里查也是 5ms 以内就能返回
        18
    dangyuluo   350 天前
    感觉是你 mapping 不对
        19
    lyhiving   350 天前 via Android
    如果是 50 亿条数据我估计会信
        20
    SharkIng   350 天前
    ES 对于内存和硬盘要求很高的感觉
    我们的近百亿的数据在 15 个机子上,每个 32G 内存+ 8T 的 SSD,查询大量的时候基本平均 2 秒左右
    按理说你这个数据量应该没问题,试试换 SSD 看能快点不。
        21
    alwayshere   350 天前
    @zhx1991 你确定 50W 用 mysql 的 LIKE 查询能在 5ms ?
        22
    fuxkcsdn   350 天前 via iPhone
    @alwayshere 听过 mysql 的全文索引吗?
    能否 5ms 我不确定,但 1s 内返回肯定是可以的,上家公司我们 300 万数据也是放 mysql 里用全文索引
    btw,mysql 全文索引和 like 查询是两码事
        23
    kwklover   350 天前
    才 50 万的数据,这个机器配置不算低了,不过 30 个字段是个核心

    如果每个字段都是跟文章一样的长字段,那么其实 50 万数据跟一般概念的 1500 万数据量差不多,也不算小了。

    楼主的什么系统,要索引 30 个字段?
        24
    janxin   350 天前
    才 50w 数据,es 没问题的
        25
    thinkmore   350 天前
    应该是你姿势不对,我们几千万数据也才差不多一秒呢
        26
    jyf   350 天前
    跟你配置有关系 我这里 100 亿的数据 只有五六台机器 也就一秒左右
        27
    vus520   350 天前
    在 1 亿条数据里查找匹配内容,返回前 50 条。
    共有数据 :5392450 条,显示最新 50 条,用时 382 ms
        28
    yanzixuan   350 天前
    @zn 10 刀一年的 VPS 多大内存? es 能跑得起来么?
        29
    well   350 天前   ♥ 1
    5 台服务器,2600 亿,近 50TB,无 SSD,也就秒级能出。如果玩不转建议不要玩。
        30
    vus520   350 天前
    @well 50TB 原始数据,还是 50TB 索引之后的数据?我刚刚查了一下,我这不到百亿的数据就 20TB 了。
        31
    well   350 天前
    @vus520 有自己的数据特点,开启了 source。
        32
    Juice520   350 天前
    我普通的全文搜索,1 亿数据耗时不到 100ms
        33
    owenliang   350 天前
    50 万数据磁盘空间 du 看看占了多少,可能内存不太够。
        34
    owenliang   350 天前
    @owenliang 可以压一点搜索流量,iostat 看看机器的 IO 情况。
        35
    farseeraliens   350 天前 via iPhone
    楼主需要的是用一个 language model 先判别语言,再在该语言特定的列中检索。
        36
    Reign   350 天前
    @farseeraliens 没特别好用的语言检测代码,你推荐个?
        37
    SoulSleep   350 天前
    自己不会用甩锅系列...
    50w 数据有几十个 G 嘛?
    4C 16G 服务器,0.0xs 跑的飞起
        38
    omygod   350 天前
    16G 内存你给 es 分了多少
        39
    Reign   350 天前
    @omygod 刚刚 export ES_HEAP_SIZE=10g,重启 ES,查询时间还不是一样,我估计用到假的 ES 了
        40
    allenhu   349 天前
    每次看到楼主的帖子都想笑
        41
    sunmonster   349 天前
    50 万的话,mysql 查询都不用 1s
        42
    jatesun   349 天前 via iPhone
    ES 配置问题吧?我们这每天两千多万数据查询都秒级响应
        43
    gfh110   349 天前
    分词的问题吧
        44
    armstrong   349 天前
    这锅 ES 不背
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3486 人在线   最高记录 3821   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 21ms · UTC 05:56 · PVG 13:56 · LAX 21:56 · JFK 00:56
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1