使用包含至少一个特定值的窗口过滤数据框

如何解决使用包含至少一个特定值的窗口过滤数据框

假设您有一个带有两列id和val的pyspark数据框。
您想过滤行，其中单个id窗口中至少有一个具有特定值的val条目。

例如如果我们要获取行，则id窗口的5列中至少有一个val值：

# Input:

df = spark.createDataFrame(
    [(1,'0'),(1,'5'),(2,'2'),(3,'1'),],['id','val']
)

# Desired output:

+---+----+
| id| val|
+---+----+
|  1|   0|
|  1|   5|
|  2|   2|
|  2|   5|
|  2|   5|
+---+----+

我考虑过以某种方式使用window函数吗？

解决方法

使用WebService中的 // Get database data String data = getDatabaseData(); WebService webService = new WebService(); webService.send(WebService.REST,data); // REST and SOAP are variables in the WebService class class WebService { public static final int REST = 1; public static final int SOAP = 2; public void send(int serviceType,String data) { switch (serviceType) { case REST: restDriver.send(data); break; ... } } } 函数，然后加入df以仅获取具有 5 值的 id 他们。

array_contains()

Spark-2.4

Example:

from pyspark.sql.functions import *
from pyspark.sql.types import *

df1=df.groupBy("id").\
agg(array_contains(collect_set(col("val")).cast("array<int>"),5).alias("has_5")).\
filter(col("has_5")).\
drop('has_5')

df.join(df1,['id'],'inner').show()
#+---+---+
#| id|val|
#+---+---+
#|  1|  0|
#|  1|  5|
#|  2|  2|
#|  2|  5|
#|  2|  5|
#+---+---+

,

尝试一下。

import React from  'react';
import { IoIosChatbubbles } from "react-icons/io";
import { NavLink } from 'react-router-dom';

        const navbar = props => (
                <nav className="navbar">
                    <div className="container-navbar" >
                        <div className="navbar__bubble">
                            <IoIosChatbubbles size="2.3em"></IoIosChatbubbles>
                        </div>
                        <div className="navbar__title">
                            <h2>Project Title</h2>
                        </div>
                        <div className="navbar__navigation-items">
                            <ul>
                                <li><NavLink to="/" activeClassName="is-active" exact={true}>Home</NavLink></li>
                                <li><NavLink to="/projekt" activeClassName="is-active">Projekt</NavLink></li>
                                <li><NavLink to="/team" activeClassName="is-active" exact={true}>Team</NavLink></li>
                                <li><NavLink to="/kontakt" activeClassName="is-active">Kontakt</NavLink></li>
                            </ul>
                        </div>
                    </div>
                </nav>  
        );

export default navbar;