本文档主要介绍数据加工功能的一些基本概念。
基本概念
- ETL，Data Transformation
ETL（Extract，Transform，Load）是数据分析领域中对数据进行加载、转换、输出，主要是对数据进行数据转换。在日志服务中指加载源Logstore数据，经数据转换后输出到目标Logstore，同时也支持加载OSS、RDS或其他Logstore做数据富化。
- 事件、数据、日志
在数据加工功能中，事件、数据都表示日志，例如事件时间就是日志时间，丢弃事件字段函数
drop_event_fields就是用于丢弃特定日志字段的函数。 - 日志时间
日志时间指事件所发生的时间，也称事件时间。在日志服务中的保留字段为
__time__，一般由日志中的时间信息直接提取生成。数据类型为整数字符串，Unix标准时间格式，单位为秒，表示从1970-1-1 00:00:00 UTC计算起的秒数。 - 日志接收时间
日志到达日志服务的服务器被接收时的时间，默认不保存在日志中，但是如果Logstore开启了记录外网IP，则该时间会保留在日志标签字段的
__receive_time__中。数据加工中时间的完整字段名是__tag__:__receive_time__。数据类型为整型，Unix标准时间格式。单位为秒，表示从1970-1-1 00:00:00 UTC计算起的秒数。
填写资料马上体验阿里企业邮箱
工作时间5-10分钟将由1对1顾问为您提供尊享服务