如何解决两列之间部分匹配
我有两列要相互部分匹配。
例如：
A,B
Birmingham Hoover,Hoover Birmingham Area
这两列应该表示一个区域，但是当使用包含功能时，它并不能捕获该区域。你知道我是否可以部分匹配这两栏？
谢谢。
解决方法
尝试使用 .rlike 功能。
- 分割
column B的值，方法是" "加上|，然后与rlike匹配，因此任何 word匹配与A列都将被过滤掉
Example:
df=spark.createDataFrame([('Birmingham Hoover','Hoover Birmingham Area'),('ABCD',"Z Y Z U")],['A','B'])
df.show()
#+-----------------+----------------------+
#|A |B |
#+-----------------+----------------------+
#|Birmingham Hoover|Hoover Birmingham Area|
#|ABCD |Z Y Z U |
#+-----------------+----------------------+
from pyspark.sql.functions import *
#splitting B col value by " " concatinating with | then matching with rlike
df.withColumn("B",concat_ws("|",split(col("B")," "))).\
filter(expr('A rlike B')).\
show(10,False)
#+-----------------+----------------------+
#|A |B |
#+-----------------+----------------------+
#|Birmingham Hoover|Hoover|Birmingham|Area|
#+-----------------+----------------------+