如何清除数据帧中的所有数据,以便通过for循环进行下一次迭代时它们为空?

如何解决如何清除数据帧中的所有数据,以便通过for循环进行下一次迭代时它们为空?

我构建了一个脚本,该脚本使用Google Analytics(分析)API来从多个视图ID中获取数据。代码的末尾是一个for循环,它循环运行我构建的许多函数并从中构建数据框。我想发生的是,在每个商店的每个“循环/迭代”之后,数据都将附加到循环外部的新数据帧中。我一直遇到一个问题,尽管数据可以很好地附加到第一个视图ID,但是当它到达第二个视图ID时,它似乎保留了旧数据(从第一次迭代开始),并且在覆盖某些值时将其加倍。

例如此代码。...

lz = zip(LI,DN,VI,V,DA,S,D)
sd = '2020-08-01'
ed = '2020-08-31'

parser = argparse.ArgumentParser(
      formatter_class=argparse.RawDescriptionHelpFormatter,parents=[tools.argparser])
flags = parser.parse_args([])

flow = client.flow_from_clientsecrets(
     CLIENT_SECRETS_PATH,scope=SCOPES,message=tools.message_if_missing(CLIENT_SECRETS_PATH))

dFI = {'DP7': 'arsseven.dat','DP6': 'arssix.dat','DP4': 'arsfour.dat','DP0': 'arszero.dat'}

hSeg = {'DP7': {'X': 'gaid::3fifjFfj33rokQ','Y': 'gaid::friH58F939Fgoj3I'},'DP6': {'Z': 'gaid::fotkj345DdjgIcg','Y': 'gaid::eofWfjF5834cVfj'},'DP4': {'W': 'gaid::fkormvroE333nr3fg'},'DP0': {'V': 'gaid::Jfoeo455efFggrjor'}}

gaDO = []
gaDT = []

def getGADO(VI,sd,ed):
    l = vi_start + str(int(VI))
    response = analytics.reports().batchGet(
            body={
            'reportRequests': [
            {
                'viewId': l,'dateRanges': [{'sd': sd,'ed': ed}],'metrics': [
                    {'expression': 'ga:users'},{'expression': 'ga:avgSessionDuration'}
                    ],'dimensions': [
                    {'name': 'ga:channelGrouping'}
                    ]
            }]}).execute()
    report_list = response.get('reports')
    for report in report_list:
        data_rows = report.get('data',{}).get('rows',[])
        for row in data_rows:
            dimensions_in_row = row.get('dimensions')
            metrics_rows = row.get('metrics')
            for metrics in metrics_rows:
                metrics_values = metrics.get('values')
                full_row_data = dimensions_in_row + metrics_values
                gaDO.append(full_row_data)

    gaDON = []
    for i in gaDO:
        new_tuple = []
        new_tuple.append(i[0])
        new_tuple.append(int(i[1]))
        new_tuple.append(float(i[2]))
        gaDON.append(tuple(new_tuple))

    colO = [
    #Dimensions
    'DCG',#Metrics
    'Users','ASD']
    dfO = pd.DataFrame(gaDON,columns = colO)
    print(dfO)
    return dfO

def getGADT(VI,'metrics': [
                    {'expression': 'ga:users'}
                    ],'dimensions': [
                    {'name': 'ga:channelGrouping'},{'name': 'ga:segment'}
                    ],'segments': [
                    {
                        'segmentId': hSeg[DA][V]
                    }]
            }]}).execute()
    report_list = response.get('reports')
    for report in report_list:
        data_rows = report.get('data',[])
        for row in data_rows:
            dimensions_in_row = row.get('dimensions')
            metrics_rows = row.get('metrics')
            for metrics in metrics_rows:
                metrics_values = metrics.get('values')
                full_row_data = dimensions_in_row + metrics_values
                gaDT.append(full_row_data)

    gaDTN = []
    for i in gaDT:
        new_tuple = []
        new_tuple.append(i[0])
        new_tuple.append(int(float(i[2])))
        gaDTN.append(tuple(new_tuple))

    colT = [
    #Dimensions
    'DCG',#Metrics
    'TU']
    dfT = pd.DataFrame(gaDTN,columns = colT)
    print(dfT)
    return dfT

dcgX = pd.DataFrame()

for LI,D in locations_zip:
    dID_str = str(int(LI))
    stor_str = dFI[DA]
    storage = file.Storage(stor_str)
    credentials = storage.get()
    if credentials is None or credentials.invalid:
        credentials = tools.run_flow(flow,storage,flags)
    http = credentials.authorize(http=httplib2.Http())
    analytics = build('analytics','v4',http=http,discoveryServiceUrl=DISCOVERY_URI)
    vi_start = 'ga:'
    dfOX = getGADO(VI,ed)
    dfTX = getGADT(VI,ed)
    
    dcg = pd.merge(dfOX,dfTX,how = 'outer',on = ['DCG']).fillna(0)
    dcg = dcg[['DCG','Users','TU','ASD']]

    dcg.insert(loc=0,column='LI',value=LI)
    dcg.insert(loc=1,column='DN',value=DN)
    
    dcgx = dcgX.append(dcg)

在前两个商店中运行时会产生一些东西...

编辑:更改表以尝试显示并非每个viewID都具有相同的标准化维行/值集,这些维行/值将从viewID到viewID相匹配。例如,CWA仅具有自然搜索和付费搜索,而没有展示。

╔═══════╦═════╦════════════════╦═══════╦═════╦═════╗
║ DI    ║ DN  ║ DFG            ║ Users ║ TU  ║ ASD ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12345 ║ MHA ║ Organic Search ║ 4392  ║ 589 ║ 30  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12345 ║ MHA ║ Paid Search    ║ 3939  ║ 405 ║ 150 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12345 ║ MHA ║ Display        ║ 12    ║ 0   ║ 123 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Organic Search ║ 4392  ║ 589 ║ 30  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Organic Search ║ 4392  ║ 96  ║ 30  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Organic Search ║ 2489  ║ 589 ║ 121 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Organic Search ║ 2489  ║ 96  ║ 121 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Paid Search    ║ 3939  ║ 405 ║ 150 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Paid Search    ║ 3939  ║ 80  ║ 150 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Paid Search    ║ 1345  ║ 405 ║ 45  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Paid Search    ║ 1345  ║ 80  ║ 45  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Display        ║ 12    ║ 0   ║ 123 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Display        ║ 12    ║ 1   ║ 123 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Display        ║ 400   ║ 0   ║ 60  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Display        ║ 400   ║ 1   ║ 60  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 4392  ║ 589 ║ 30  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 4392  ║ 96  ║ 30  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 4392  ║ 12  ║ 30  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 2489  ║ 589 ║ 121 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 2489  ║ 96  ║ 121 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 2489  ║ 12  ║ 121 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 5888  ║ 589 ║ 75  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 5888  ║ 96  ║ 75  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 5888  ║ 12  ║ 75  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 3939  ║ 405 ║ 150 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 3939  ║ 80  ║ 150 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 3939  ║ 600 ║ 150 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 1345  ║ 405 ║ 45  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 1345  ║ 80  ║ 45  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 1345  ║ 600 ║ 45  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 7001  ║ 405 ║ 91  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 7001  ║ 80  ║ 91  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 7001  ║ 600 ║ 91  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Display        ║ 12    ║ 0   ║ 123 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Display        ║ 12    ║ 1   ║ 123 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Display        ║ 400   ║ 0   ║ 60  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Display        ║ 400   ║ 1   ║ 60  ║
╚═══════╩═════╩════════════════╩═══════╩═════╩═════╝

我希望它看起来像这样...

╔═══════╦═════╦════════════════╦═══════╦═════╦═════╗
║ DI    ║ DN  ║ DFG            ║ Users ║ TU  ║ ASD ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12345 ║ MHA ║ Organic Search ║ 4392  ║ 589 ║ 30  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12345 ║ MHA ║ Paid Search    ║ 3939  ║ 405 ║ 150 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12345 ║ MHA ║ Display        ║ 12    ║ 0   ║ 123 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Organic Search ║ 2489  ║ 96  ║ 121 ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Paid Search    ║ 1345  ║ 80  ║ 45  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12346 ║ JBA ║ Display        ║ 400   ║ 1   ║ 60  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Organic Search ║ 5888  ║ 12  ║ 75  ║
╠═══════╬═════╬════════════════╬═══════╬═════╬═════╣
║ 12347 ║ CWA ║ Paid Search    ║ 7001  ║ 600 ║ 91  ║
╚═══════╩═════╩════════════════╩═══════╩═════╩═════╝

我尝试使用...在循环结束时(在dcgx = dcgX.append(dcg)之后)清除dfOX和dfTX数据帧。

del dfOX
del dfTX

但这没用。我也尝试过在它们上使用.iloc [0:0],但这也不起作用。

我不确定如何在for循环的末尾清除数据帧,因此在下一次迭代中它是空的。这是我可以想到的唯一方法,但是还有更好的方法吗?

任何见识将不胜感激!谢谢!

解决方法

尝试将参数drop_duplicates设置为keep的{​​{1}}

假设您的数据帧称为last

我不会讲您的代码,但是请注意,在熊猫中使用循环是一种反模式,除非没有其他选择,否则是一个很大的禁忌。

df

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


依赖报错 idea导入项目后依赖报错,解决方案:https://blog.csdn.net/weixin_42420249/article/details/81191861 依赖版本报错:更换其他版本 无法下载依赖可参考:https://blog.csdn.net/weixin_42628809/a
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下 2021-12-03 13:33:33.927 ERROR 7228 [ main] o.s.b.d.LoggingFailureAnalysisReporter : *************************** APPL
错误1:gradle项目控制台输出为乱码 # 解决方案:https://blog.csdn.net/weixin_43501566/article/details/112482302 # 在gradle-wrapper.properties 添加以下内容 org.gradle.jvmargs=-Df
错误还原:在查询的过程中,传入的workType为0时,该条件不起作用 <select id="xxx"> SELECT di.id, di.name, di.work_type, di.updated... <where> <if test=&qu
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
解决方案1 1、改项目中.idea/workspace.xml配置文件,增加dynamic.classpath参数 2、搜索PropertiesComponent,添加如下 <property name="dynamic.classpath" value="tru
删除根组件app.vue中的默认代码后报错:Module Error (from ./node_modules/eslint-loader/index.js): 解决方案:关闭ESlint代码检测,在项目根目录创建vue.config.js,在文件中添加 module.exports = { lin
查看spark默认的python版本 [root@master day27]# pyspark /home/software/spark-2.3.4-bin-hadoop2.7/conf/spark-env.sh: line 2: /usr/local/hadoop/bin/hadoop: No s
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -> systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping("/hires") public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate<String
使用vite构建项目报错 C:\Users\ychen\work>npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-