社区6月月报 | Apache SeaTunnel重要更新与优化记录

2024-07-14 1480阅读

各位热爱Apache SeaTunnel的小伙伴们,社区6月份月报来啦!这里将记录Apache SeaTunnel社区每月的重要更新,欢迎关注。

月度Merge Stars

感谢以下小伙伴上个月为Apache SeaTunnel所做的精彩贡献(排名不分先后):

社区6月月报 | Apache SeaTunnel重要更新与优化记录

@baicie,@TaoZex,@loustler,@15810785091,@4chicat,@raboof,@Hisoka-X,@rtyuy,@wuchunfu,@ddna1021,@zhilinli123,@liunaijie,@somnmos,@CosmosNi,@MRYOG,@liugddx,@hailin0,@EricJoy2048,@litiliu,@zhangshenghang,@chl-wxp,@kim-up,@dailai

apache/seatunnel仓库

Fix

  • [Hotfix][MySQL-CDC]修复读取GBK varchar类型的中文乱码问题 @hailin0
  • [Fix][Connector-V2]修复StarRocks中已经存在的Content-Length头错误 @Hisoka-X
  • [connector-jdbc][bugfix]修复SQL Server创建表时,关于特定字符串注释的bug。 @chl-wxp
  • [connector-jdbc][bugfix]修复PostgreSQL创建表时关于comment字段特殊字符串类型的bug。 @chl-wxp
  • [Hotfix][DOC]修复无效链接 @wuchunfu
  • [Hotfix][Hive]修复Hive的load时,也太晚地设置了hive_site_path和hdfs_site_path。 @EricJoy2048
  • [connector-jdbc][bugfix]修复Oracle创建表注释时处理特殊字符串的bug。 @chl-wxp
  • [Hotfix][CDC]修复拆分模式的变更流 @hailin0
  • [fix]将IMAP缓存数据字段类型恢复为与旧版本兼容 @liunaijie
  • [connector-jdbc][bugfix]修复MySQL创建表时评论字段特殊字符串的bug @chl-wxp
  • [Hotfix][Zeta]修复generate_client_protocol.sh @hailin0
  • [Hotfix][Zeta]修复多线程读取时,Apache SeaTunnel 中的架构变更导致的任务崩溃问题。 @dailai
  • [Hotfix][Zeta]修复SeaTunnel Metrics丢失数据的问题 @EricJoy2048
  • [bugfix][connector-mongodb]修复MongoDB中空值写入问题 @chl-wxp
  • [Hotfix][Connector-V2][kafka]关于Apache SeaTunnel的Kafka消费者组自动提交偏移量逻辑错误修复 @zhangshenghang
  • [Hotfix][Zeta]修复EventReporter中的OkHttp连接泄漏问题 @hailin0

    Improve

    • [Improve][Zeta]修复JobMaster重置应用类加载器两次的问题 @Hisoka-X
    • [improve][Doc]添加引擎启动参数说明 @MRYOG
    • [Improve][Doc]用表情符号修复Snowflake JDBC URL @Hisoka-X
    • [Improve][Engine]支持为名为submit-job的REST API自定义作业ID。 @dailai
    • [Feature][Elasticsearch]支持多表Sink写入#7041 @CosmosNi
    • [Feature][Zeta]在提交任务时,为用于过滤工作的节点添加标签。 @liunaijie
    • [Feature][Druid]支持DruidSink的多表写入。 @TaoZex
    • [Improve][Transform-V2]移除对表名的SQL查询验证 @Hisoka-X
    • [Improve][Connector-V2][MongoDB]支持将任何数值类型转换为double @loustler
    • [Feature][Jdbc]支持红shift元数据目录 @hailin0
    • [improve]删除日志以保护用户隐私。 @chl-wxp
    • [Improve][File-Connector]支持将固定值/时间戳写入Parquet的int96类型。 @hailin0
    • [Feature][Transforms]支持SQL中的is_date函数 @hailin0
    • [Feature][Transform-V2 Filter]在过滤转换中支持排除列 @litiliu
    • [Improve]使ClickhouseFileSinker支持包含持久化列的表 @ddna1021
    • [Improve][Paimon]在写入数据之前,检查源和Sink之间的基本类型兼容性。 @dailai
    • [Improve][Jdbc]引用表路径的标识符 @hailin0
    • [Improve]在客户端添加自定义作业ID参数 @Hisoka-X
    • [Improve][Connector-V2]清理目录表中的键名称 @Hisoka-X
    • [Improve][Zeta]当任务FINISHED/CANCELED时,清理检查点文件。 @Hisoka-X
    • [Improve][File Connector]优化XML读取代码并修复无法将布尔选项设置为true的问题。 @EricJoy2048
    • [Improve][Connector-V2]优化Paimon的源代码 @dailai
    • [Feature][RestAPI]添加概述API @liugddx
    • [Improve][Zeta]支持多个sink的空闲任务关闭 @hailin0
    • [Improve][Zeta]将SaveMode的行为移到主分支 @Hisoka-X
    • [Feature][Connector-V2]支持任何文件的传输 @Hisoka-X
    • [ [Improve][Jdbc]sink SQL支持自定义字段。(#6515) @rtyuy
    • [Feature][Connector]添加DruidSink连接器 @TaoZex
    • [Improve][Connector-V2][Iceberg]为Apache SeaTunnel添加Hadoop S3目录的端到端测试用例。 @4chicat
    • [Feature][doc][Connector-V2][Common]添加通用连接器文档 @zhilinli123
    • [Feature][Connector-V2]添加华为云OBS连接器 @kim-up

      Others

      • [E2E][HBase]重构HBase的端到端测试 @TaoZex
      • 缺少JDBCSink保存模式情况下的参数#6458 @15810785091
      • [Paimon]支持Paimon源的投影 @TaoZex

        apache/seatunnel-website仓库

        Others

        • [Teams]更新团队列表 @liugddx
        • [Doc]添加SeaTunnel Web文档1.0.1版本 @Hisoka-X
        • [NOTICE]安全提示更新 @Hisoka-X
        • 请勿将ASF全范围安全页面的链接从菜单中移除。 @raboof
        • 请从网站上移除Apache SeaTunnel的web URL链接。 @baicie
        • [Teams]更新团队列表 @liugddx

          apache/seatunnel-web仓库

          Fix

          • [Hotfix]修复MySQL JDBC(Starrocks/TiDB)上的任意文件读漏洞 @hailin0
          • [Hotfix]修复MySQL CDC中的任意文件读漏洞 @hailin0
          • [Hotfix]修复MySQL JDBC中的任意文件读漏洞 @hailin0
          • [Fix]从application.yml中移除secretKey @Hisoka-X

            Others

            • 更新JWT.secretKey文档 @Hisoka-X
            • 使用mvn clean package解决Apache SeaTunnel中的TS问题 @somnmos

              本文由 白鲸开源科技 提供发布支持!

VPS购买请点击我

免责声明:我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理! 图片声明:本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库和百度,360,搜狗等多加搜索引擎自动关键词搜索配图,如有侵权的图片,请第一时间联系我们,邮箱:ciyunidc@ciyunshuju.com。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!

目录[+]