【Apache Doris】周FAQ集锦:第 16 期

07-21 1262阅读

【Apache Doris】周FAQ集锦:第 16 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

    【Apache Doris】周FAQ集锦:第 16 期

    欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

    在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

    通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

    SQL问题

    ❓Q1 hive catalog 查询时报:

    Wrong data type for colum xxx
    

    💡A1 通常是进行了schema change导致,可以刷新或重建hive catalog重新查询。

    ❓Q2 doris的key是否可以创建主键索引?

    💡A2 doris中key是排序的,在主键上的条件通常比较快,不需要其它索引。

    数据操作问题

    ❓Q3 compaction会影响集群性能?

    💡A3 如果是小批量写,每次写的少,会导致小版本比较多,compaction 不是很理想;对比直接使用 insert into select 写入一个大批量的数据,相同的数据下,可能insert into select 写完的表,查询性能会快些,因为一次 insert into 之后数据就是个大的版本了,所以查询性能也会比较好。

    Compaction 原理 | 实践全析可查阅:

    https://mp.weixin.qq.com/s/hb3DqVZdf8LyzE0OH1QvMA

    ❓Q4 export和select into outfile这两种将数据导出到本地文件的方式,所生成的文件是否可以指定存放到任意一台be?

    💡A4 目前暂不支持export和select into outfile指定导出至具体的服务器(be)。

    ❓Q5 ccr跨集群数据同步中binlog会不会占用太多空间,是否需要限制它的大小?

    💡A5 ccr不会占用太多空间,并且可以设置binlog的过期时间,目前默认是一天。

    CCR跨级群同步内容可查阅:

    https://doris.apache.org/zh-CN/docs/2.0/admin-manual/data-admin/ccr

    运维常见问题

    ❓Q6 部署doris集群的be时,服务器有多块磁盘,使用lvm将多块磁盘组成一组pv、vg、lv挂载至一个目录下和单独将磁盘分区格式化挂载至多个目录,在性能上有没有区别?另外对于compaction而言,lvm划分的磁盘compaction_task_num_per_disk会为每个物理磁盘分配多个task?

    💡A6 如下:

    1. 直接分区格式化挂载多块磁盘到不同目录,可以减少管理层级,会减少I/O路径上的开销,利于提高性能。
    即少依赖一层,会让系统简单稳定一些,效率也会高,并且doris会自动管理多盘,包括负载均衡。
    所以使用doris,不需要用lvm、raid之类的操作。 
    2. lvm 挂盘之后,compaction认为BE只有一个磁盘,会按照一个磁盘分配task。 
    3. 任何系统和架构越简单越好。
    

    ❓Q7 fe内存居高不下时,如何排查?

    💡A7 如下:

    1. 观察profile是否是开启的,如果开启的话全局关闭
    2. 导入任务多的话,可能是label堆积,可以修改label的保留时间
    fe.conf
    label_keep_max_second = 14400; 
    streaming_label_keep_max_second = 14400;
    3. 将FE JVM GC算法修改为G1,CMS算法修改为G1 算法
    # G1 JAVA OPTS
    JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx8192m -XX:+UnlockExperimentalVMOptions -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -Xloggc:$DORIS_HOME/log/fe.gc.log.$CUR_DATE -Dlog4j2.formatMsgNoLookups=true"
    -Xmx改成一致的,注意下CUR_DATE这个环境变量,在老版本可能叫DATE
    4. 在内存较高时,可以打个jmap看看哪些模块占用较多:jmap -histo:live pid > 1.jmp
    

    ❓Q8 doris的fe/meta/image目录下多久会生成image.XX镜像文件?

    💡A8 同时满足两个条件:

    1. master 节点的日志条数达到阈值(默认10w 条)
    2. 符合checkpoint线程执行周期(默认六十秒)

    ❓Q9 doris如何把测试库所有表发布到生产环境?

    💡A9 doris在0.15之后的版本已经支持通过 mysqldump 工具导出数据或者表结构。

    mysql-dump内容可查阅:

    https://doris.apache.org/zh-CN/docs/2.0/data-operate/export/export-with-mysql-dump

    其它问题

    ❓Q10 apache doris + apachehudi 如何快速搭建?

    💡A10 湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门,我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,包括 Hudi、Iceberg、Paimon、OSS、Delta Lake、Kudu、BigQuery 等,欢迎持续关注。

    Apache Doris + Apache Hudi 快速搭建指南:

    https://mp.weixin.qq.com/s/C2Bje0NrFVyhdQ80ak7nlg

    【Apache Doris】周FAQ集锦:第 16 期


    一臻数据

    关于社区

    【Apache Doris】周FAQ集锦:第 16 期

    Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。

    如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

    💡官方文档

    💡社区论坛

    💡GitHub

    💡dev邮件组:dev@doris.apache.org

    非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

    相信,您的参与将帮助Apache Doris变得更加完善。

VPS购买请点击我

文章版权声明:除非注明,否则均为主机测评原创文章,转载或复制请以超链接形式并注明出处。

目录[+]