如何使用 T-sne 可视化使用经过训练的 Glove 库提取的词嵌入？

如何解决如何使用 T-sne 可视化使用经过训练的 Glove 库提取的词嵌入？

我正在学习 Glove 的词嵌入。我在第一次尝试时使用了 Glove 训练的库 glove.6B.50d.txt。

(train.csv)

Make,Model,Year,Engine Fuel Type,Engine HP,Engine Cylinders,Transmission Type,Driven_Wheels,Number of Doors,Market Category,Vehicle Size,Vehicle Style,highway MPG,city mpg,Popularity,MSRP
 BMW,1 Series M,2011,premium unleaded (required),335,6,MANUAL,rear wheel drive,2,Factory Tuner,Luxury,High-Performance,Compact,Coupe,26,19,3916,46135
 BMW,1 Series,300,Performance,Convertible,28,40650
 BMW,20,36350
 Audi,100,1992,regular unleaded,172,front wheel drive,4,Midsize,Sedan,24,17,3105,2000
 Audi,AUTOMATIC,all wheel drive,Wagon,16,21,2000

我将从数据集 (train.csv) 中读取的数据与下面的 twoone function 一起收集在一行中。

X = df.iloc[:,1:].values
def twoone(list1):
    list2 = []
    a = ""
    for x in range(len(list1)):
        for y in range(len(list1[1])):
            list1
            if list1[0][0] == list1[x][y]:
              a+=""+str(list1[x][y])  
            elif list1[1][0] == list1[x][y]:
              a+=""+str(list1[x][y])  
            else:
              a+=" "+str(list1[x][y])
        list2.append(a)
        a = ""
    return list2
X = twoone(X)
print(X)

print(len(X))

我将通过嵌入索引获得的值提供给嵌入数组。我收到错误，因为某些值不在 glove.6B.50d.txt 中。为了暂时解决这个问题，我手动写了其他值。由于无法全部阅读，我只为 2 行（奥迪和宝马）购买了手动嵌入索引。另外，我只拿了宝马和奥迪对应的embedding index打印出来。

嵌入索引单行（50d）：

[-0.79954,1.32006,-0.058246,3.9524,0.83058,-1.4129,0.51006,-0.90706,-0.103168,-0.8644,0.14027,1.14064,0.26346,-1.41698,-0.22546,0.041738,-0.51298,0.156538,0.89884,2.7938,-0.54082,-0.0642,2.0558,-1.21382,1.16802,-1.2238,0.078408,-0.140382,-2.644,-2.2578,1.46556,0.65876,1.59616,2.2354,-1.2485,-0.49032,-1.32034,0.71436,0.65634,0.41044,0.63574,0.39114,-0.21028,-0.45792,0.52182,-2.3596,-0.89312,-0.54108,1.46664,-0.40282]

bmw_list = list()
for i in range(len(bmw)-1):
  bmw_satir = list()
  for j in range(len(bmw[0])):
    toplam = bmw[i][j] + bmw[i+1][j]
    bmw_satir.append(toplam)
bmw_list.extend(bmw_satir)
print(bmw_list)

a = []
a.append(audi_list)
a.append(bmw_list)
a.append(bmw_orj)
a.append(audi_orj)

由于我无法打印所有行，所以我用 above code 分别为两个示例编写了一个函数。

model = TSNE(learning_rate = 1000)
transformed = model.fit_transform(arr_x)


arr_x = []

for i in range(len(a)):
  arr_x.append(a[i])

xs = transformed[:,0]
ys = transformed[:,1]


groups = [1,1,0] 
plt.scatter(xs,ys,c= groups)

结果我得到了这样的打印输出。

您可以找到所有代码 here。

1-) 我们如何更新函数以打印所有行？
2-) 如何在不使用预训练的 glove.6B.50d.txt 的情况下训练词嵌入？

非常感谢。