详情页标题前

阿里云云原生大数据计算服务 MaxCompute时区配置操作-云淘科技

详情页1

本文为您介绍如何使用SET命令配置MaxCompute Project时区

支持时区功能的作业如下:

  • MapReduce支持时区功能。
  • Spark支持时区功能。
    • 对于提交到MaxCompute计算集群的任务,可自动获取Project的时区。
    • 对于通过yarn-client模式启动(例如spark-shell,spark-sql,pyspark等)的设置,您需要手动配置Driver的启动参数(spark-defaults.conf),增加spark.driver.extraJavaOptions -Duser.timezone=America/Los_Angeles,timezone的值为将要使用的时区。
  • PAI支持时区功能。
  • Graph支持时区功能。

配置时区

MaxCompute Project时区默认是中国的东八区,DATETIME、TIMESTAMP、DATE类型字段以及相关时间内置函数按照东八区进行计算。您可以通过以下两种方式配置时区:

  • Session级别:执行SET odps.sql.timezone=;语句,需要与计算语句一起提交。
    --设置时区为Asia/Tokyo。
    SET odps.sql.timezone=Asia/Tokyo;
    --查询当前时区。
    SELECT getdate();
    output:
    +------------+
    | _c0        |
    +------------+
    | 2018-10-30 23:49:50 |
    +------------+
  • Project级别:执行setproject odps.sql.timezone=;语句,此命令需要项目所有者(Project Owner)执行。


    注意 Project的时区一旦被设置,相关的时间计算会取设置后的时区,原有的作业数据将会受到影响。因此,请您谨慎考虑是否有必要设置时区。如果必要,建议只对新增的Project进行时区设置,不对已有数据的Project进行设置。

使用限制及注意事项

  • SQL内置日期函数、UDF、UDT、UDJ、SELECT TRANSFORM支持获取Project Timezone属性来配置时区。
  • 时区支持的格式类型为Asia/Shanghai(存在夏令时跳变),不支持GMT+9格式。
  • 当SDK时区与Project时区不同时,DATETIME类型转化为STRING类型的操作需设置GMT时区。
  • 时区配置后,通过DataWorks执行相关SQL时,某些时间段的日期显示会存在差异。例如,1900~1928年的日期时间差异为5分52秒,1900年之前的日期时间差异为9秒。
  • 为了保证MaxCompute在多个时区DATETIME类型数据的正确性,MaxCompute服务、Java SDK以及客户端将会进行版本更新(-oversea后缀的Java SDK或客户端版本),更新后可能影响MaxCompute中已经存储的早于1928年的DATETIME类型数据的显示。
  • 对于非中国东八区的区域,建议您同步更新Java SDK或客户端版本,以保证在1900-01-01之后的SQL计算结果及Tunnel传输数据的准确性和一致性。对于早于1900-01-01的DATETIME数据,SQL的计算显示结果和Tunnel传输数据仍然可能存在343秒的差异。对于新版本SDK或客户端,之前已经上传的早于1928-01-01的DATETIME数据,在新版本中日期时间会减少352秒。
  • 如果继续使用不带有-oversea后缀的SDK或客户端,SQL计算结果和Tunnel传输数据将存在差异。早于1900-01-01的数据差异为9秒,1900-01-01~1928-01-01的数据差异为352秒。


    说明 Java SDK或客户端版本更新配置时区不影响DataWorks的时区配置,因此时区会存在差异,需要您对DataWorks中定时任务调度的影响进行计算评估。DataWorks服务器在日本区域的时区是GMT+9,在新加坡Region的时区是GMT+8。

  • 通过JDBC连接的第三方客户端需要在客户端设置时区,保证与服务端时区设置的一致性。

内容没看懂? 不太想学习?想快速解决? 有偿解决: 联系专家

阿里云企业补贴进行中: 马上申请

腾讯云限时活动1折起,即将结束: 马上收藏

同尘科技为腾讯云授权服务中心。

购买腾讯云产品享受折上折,更有现金返利:同意关联,立享优惠

转转请注明出处:https://www.yunxiaoer.com/158364.html

(0)
上一篇 2023年12月10日
下一篇 2023年12月10日
详情页2

相关推荐

  • 阿里云日志服务SLS数据加工快速入门-云淘科技

    本文以网站访问日志为例,为您介绍完整的数据加工流程,帮助您快速熟悉数据加工功能及其操作。 前提条件 已创建名为web-project的Project。具体操作,请参见创建Project。 在Project(web-project)中创建名为website_log的源Logstore。具体操作,请参见创建Logstore。 已采集网站访问日志到源Logstor…

    阿里云日志服务SLS 2023年12月10日
  • 阿里云人工智能平台PAI高级配置:服务存储挂载-云淘科技

    本文为您介绍OSS、NAS、Git代码仓库、Docker镜像和EmptyDir四种形式的存储挂载,帮助您灵活选择挂载的存储类型。 背景信息 当前EAS支持四种形式的存储挂载:OSS、NAS、Git代码仓库、Docker镜像和EmptyDir。在服务运行时将指定的存储路径挂载到服务的实例中,用户可根据场景需求灵活选择挂载的存储类型,也支持多种存储类型同时挂载。…

    阿里云人工智能平台PAI 2023年12月10日
  • 阿里云对象存储OSS新旧版本图片处理服务及使用说明-云淘科技

    图片处理服务目前提供新旧两版服务,本文介绍两版服务的主要区别。 新旧版本图片处理服务的主要区别 在添加处理参数时,新旧版本服务中的格式不同,区别如下: 新版参数格式:http://bucket./object?x-oss-process=image/action,parame_value 所有的图片处理操作都通过x-oss-process进行传递。每个act…

    阿里云对象存储 2023年12月10日
  • 阿里云日志服务SLS添加多Y轴线图-云淘科技

    当您需要在一个线图中添加不同种类或不同数量级的数据时,可在线图中添加多Y轴。本文介绍添加多Y轴线图的操作步骤。 前提条件 已创建仪表盘。具体操作,请参见创建仪表盘。 已采集网站访问日志到目标Logstore。具体操作,请参见数据采集概述。 已配置索引。具体操作,请参见创建索引。 资源信息与数据样例 公司A将其网站访问日志存储在名为website_log的Lo…

    阿里云日志服务SLS 2023年12月10日
  • 信息流广告,信息流部分建议宽度830px,只针对默认列表样式,顺序随机
  • 阿里云负载均衡ALB常见问题-云淘科技

    本文为您介绍应用型负载均衡ALB(Application Load Balancer)的常见问题。 ALB是否有具体的实例规格? 如何提升ALB的公网带宽? 如何修改监听的健康检查配置? 为什么健康检查结果正常但访问ALB请求返回502? ALB的公网流量能否使用共享流量包进行抵扣? ALB是否支持CA双向认证? ALB支持绑定哪些类型的EIP? 私网ALB…

    2023年12月10日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信
本站为广大会员提供阿里云、腾讯云、华为云、百度云等一线大厂的购买,续费优惠,保证底价,买贵退差。