如何解决如何在pyspark中实现以下逻辑
我有一个Kafka Avro主题,数据采用以下格式。
Sample data
{'model_id': 'tesla_model_s'} {'model_id': 'tesla_model_s','metric_name': 'tire_pressure','metric_value': '25','metric_datetime_utc': 1596662368}
{'model_id': 'BMW_x2'} {'model_id': 'BMW_x2','metric_value': '36','metric_datetime_utc': 1596662369}
{'model_id': 'BMW_x2'} {'model_id': 'BMW_x2','metric_name': 'pressure','metric_value': '17','metric_name': 'temperature','metric_value': '24','metric_datetime_utc': 1596662370}
{'model_id': 'BMW_x2'} {'model_id': 'BMW_x2','metric_value': '27','metric_datetime_utc': 1596662370}
{'model_id': 'BMW_x2'} {'model_id': 'BMW_x2','metric_value': '11','metric_value': '37','metric_datetime_utc': 1596662371}
压力是关键指标名称。每当压力值为17时,都应该触发输出结果。
预期产量|model_id|metric_name |metric_value|start_metric_name|start_metric_value|end_metric_name|end_metric_value|start_time|end_time |
|--------|-------------|------------|-----------------|------------------|---------------|----------------|----------|----------|
|BMW_x2 |temperature |24 |pressure |17 |pressure |17 |1596662369|1596662370|
|BMW_x2 |tire_pressure|27 |pressure |17 |pressure |17 |1596662369|1596662370|
|BMW_x2 |temperature |11 |pressure |17 |pressure |17 |1596662369|1596662370|
|BMW_x2 |temperature |37 |pressure |17 |pressure |17 |1596662369|1596662370|
如何使用pyspark流对数据进行汇总和平面映射。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。