导出到.csv或.xslx时如何翻译刮擦文本的语言？

如何解决导出到.csv或.xslx时如何翻译刮擦文本的语言？

我正在尝试从各种公共政府网站上抓取选举结果，并将它们放在.csv或.xlsx文件中。但是，当我将文本数据导出到任何一种电子表格时，都会看到类似以下的输出：

ÏスËー×××××××××××

在网站上，文字如下：

ПОЛІТИЧНАПАРТІЯ“СЛУГАНАРОДУ”

但是我试图使它看起来像：

政党“人民的仆人”

我尝试将.csv文件导入到使用UTF-8和其他各种“文件起源”编码的新excel文档中，但输出看起来相同。我什至尝试使用Google表格上的Google翻译来翻译文本，但这也不起作用。关于如何翻译/音译最初使用不同脚本（文本样式）的抓取文本的任何想法？

这是我的剧本：

import requests
from requests import get
from bs4 import BeautifulSoup
import pandas as pd

from time import sleep
from random import randint

partynames = []

for page in range(11,222):
    page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html",verify=False)

    soup = BeautifulSoup(page.text,'html.parser')
    
    ukraine_tr = soup.find_all('tr')

    sleep(randint(2,10))

    for container in ukraine_tr:

        #### PARTY NAMES ####
        partyn = container.find('a',class_='a2')
        if partyn is not None:
            name = partyn.get_text()
        else:
            name = "N/A"
        partynames.append(name)

ukraine = pd.DataFrame({
'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

解决方法

实际上，有一个简单的解决方法：

您必须将编码交换为：

page.encoding = page.apparent_encoding

这是一个基于您的代码的有效示例：

import requests
from bs4 import BeautifulSoup
import pandas as pd

from time import sleep
from random import randint

partynames = []

for page in range(11,12):
    page = requests.get("https://www.cvk.gov.ua/pls/vnd2019/wp304pt001f01=919pf7331=" + str(page) + ".html",verify=False)
    page.encoding = page.apparent_encoding

    soup = BeautifulSoup(page.text,'html.parser')
    ukraine_tr = soup.find_all('tr')
    sleep(randint(2,10))

    for container in ukraine_tr:
        partyn = container.find('a',class_='a2')
        if partyn is not None:
            name = partyn.get_text()
        else:
            name = "N/A"
        partynames.append(name)

ukraine = pd.DataFrame({
    'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

输出：

3,"ПОЛІТИЧНА ПАРТІЯ ""СЛУГА НАРОДУ"""
4,"ПОЛІТИЧНА ПАРТІЯ ""УКРАЇНСЬКА СТРАТЕГІЯ ГРОЙСМАНА"""
5,"Політична партія ""Європейська Солідарність"""
6,"політична партія Всеукраїнське об’єднання ""Батьківщина"""
7,"ПОЛІТИЧНА ПАРТІЯ ""СИЛА І ЧЕСТЬ"""
8,"Політична партія ""ОПОЗИЦІЙНА ПЛАТФОРМА – ЗА ЖИТТЯ"""
9,"Політична Партія ""ГОЛОС"""
10,"політична партія Всеукраїнське об’єднання ""Свобода"""
11,"ПОЛІТИЧНА ПАРТІЯ ""ПАРТІЯ ШАРІЯ"""
12,"ПОЛІТИЧНА ПАРТІЯ ""РАДИКАЛЬНА ПАРТІЯ ОЛЕГА ЛЯШКА"""
13,"Політична партія ""ОПОЗИЦІЙНИЙ БЛОК"""
14,"політична партія ""Громадянська позиція"""
15,"Політична партія ""Рух Нових Сил Михайла Саакашвілі"""
16,"ПОЛІТИЧНА ПАРТІЯ ""ПАРТІЯ ЗЕЛЕНИХ УКРАЇНИ"""
17,"Політична партія ""Об’єднання ""САМОПОМІЧ"""
18,Аграрна партія України
19,"Політична партія ""Сила Людей"""
20,"ПОЛІТИЧНА ПАРТІЯ ""СИЛА ПРАВА"""
21,"ПОЛІТИЧНА ПАРТІЯ ""СОЦІАЛЬНА СПРАВЕДЛИВІСТЬ"""
22,"Політична Партія ""ПАТРІОТ"""
23,"ПОЛІТИЧНА ПАРТІЯ ""НЕЗАЛЕЖНІСТЬ"""
24,"ПОЛІТИЧНА ПАРТІЯ ""ВСЕУКРАЇНСЬКЕ ОБ’ЄДНАННЯ ""ФАКЕЛ"""

编辑：

翻译！

您可以使用googletrans来将源文本翻译成英语。

首先运行此pip install googletrans，然后尝试以下操作：

from time import sleep
from random import randint

import pandas as pd
import requests
from bs4 import BeautifulSoup
from googletrans import Translator


traslator = Translator()
partynames = []


for page in range(11,class_='a2')
        if partyn is not None:
            name = traslator.translate(partyn.get_text()).text
        else:
            name = "N/A"

        partynames.append(name)

ukraine = pd.DataFrame({
    'pty_n': partynames
})

ukraine.to_csv('ukraine.csv')

输出：

3,"POLITICAL PARTY ""SERVANT OF THE PEOPLE"""
4,"POLITICAL PARTY ""UKRAINIAN GROISMAN'S STRATEGY"""
5,European Solidarity Political Party
6,Batkivshchyna All-Ukrainian Union Political Party
7,"POLITICAL PARTY ""POWER AND HONOR"""
8,"Political party ""OPPOSITION PLATFORM - FOR LIFE"""
9,VOICE Political Party
10,"political party All-Ukrainian Union ""Freedom"""
11,"POLITICAL PARTY ""PARTY OF SHARIA"""
12,"POLITICAL PARTY ""RADICAL PARTY OF OLEH LYASHKO"""
13,OPPOSITION BLOC political party
14,Civic Position political party
15,Mikheil Saakashvili's New Forces Movement political party
16,"POLITICAL PARTY ""PARTY OF THE GREENS OF UKRAINE"""
17,SAMOPOMICH Association Political Party
18,Agrarian Party of Ukraine
19,People's Power Political Party
20,"POLITICAL PARTY ""POWER OF LAW"""
21,SOCIAL JUSTICE POLITICAL PARTY
22,PATRIOT Political Party
23,INDEPENDENCE POLITICAL PARTY
24,"ALL-UKRAINIAN ASSOCIATION ""TORCH"" POLITICAL PARTY"