如何正确将大熊猫NaT日期时间值插入我的Postgresql表

如何解决如何正确将大熊猫NaT日期时间值插入我的Postgresql表

我想批量插入一个数据框到我的postgres dB。我数据框中的某些列是日期类型，其中NaT为空值。 PostgreSQL不支持该功能，我尝试用其他NULL类型标识替换NaT（使用熊猫），但在我插入期间不起作用。

我用df = df.where(pd.notnull(df),'None')替换了所有NaT，这是由于数据类型问题而不断出现的错误示例。

Error: invalid input syntax for type date: "None"
LINE 1: ...0,1.68757,'2022-11-30T00:29:59.679000'::timestamp,'None','20...

我的驱动程序和insert语句到postgresql dB：

def execute_values(conn,df,table):
    """
    Using psycopg2.extras.execute_values() to insert the dataframe
    """
    # Create a list of tupples from the dataframe values
    tuples = [tuple(x) for x in df.to_numpy()]
    # Comma-separated dataframe columns
    cols = ','.join(list(df.columns))
    # SQL quert to execute
    query  = "INSERT INTO %s(%s) VALUES %%s" % (table,cols)
    cursor = conn.cursor()
    try:
        extras.execute_values(cursor,query,tuples)
        conn.commit()
    except (Exception,psycopg2.DatabaseError) as error:
        print("Error: %s" % error)
        conn.rollback()
        cursor.close()
        return 1
    print("execute_values() done")
    cursor.close()

有关我的数据框的信息：在这种情况下，罪魁祸首仅是日期时间列。

通常如何解决？

解决方法

您正在重新发明轮子。只需使用熊猫的to_sql方法，它将

• 匹配列名，并且
• 注意NaT值。

使用method="multi"与psycopg2的execute_values具有相同的效果。

from pprint import pprint

import pandas as pd
import sqlalchemy as sa

table_name = "so64435497"
engine = sa.create_engine("mssql+pyodbc://@mssqlLocal64",echo=False)
with engine.begin() as conn:
    # set up test environment
    conn.execute(sa.text(f"DROP TABLE IF EXISTS {table_name}"))
    conn.execute(
        sa.text(
            f"CREATE TABLE {table_name} ("
            "id int identity primary key,"
            "txt nvarchar(50),"
            "txt2 nvarchar(50),dt datetime2)"
        )
    )
    df = pd.read_csv(r"C:\Users\Gord\Desktop\so64435497.csv")
    df["dt"] = pd.to_datetime(df["dt"])
    print(df)
    """console output:
                       dt  txt2  txt
    0 2020-01-01 00:00:00  foo2  foo
    1                 NaT  bar2  bar
    2 2020-01-02 03:04:05  baz2  baz
    """

    # run test
    df.to_sql(
        table_name,conn,index=False,if_exists="append",method="multi"
    )
    pprint(
        conn.execute(
            sa.text(f"SELECT id,txt,txt2,dt FROM {table_name}")
        ).fetchall()
    )
    """console output:
    [(1,'foo','foo2',datetime.datetime(2020,1,0)),(2,'baz','baz2',None),(3,'bar','bar2',2,3,4,5))]
    """

,

关于您原来的更新声明：
df = df.where(pd.notnull(df),'None')

这里发生的事情是您将这些值替换为 STRING 'None' 而不是特殊的 Python 对象 None。然后在下面的插入语句中，它尝试将字符串 'None' 插入时间戳字段并抛出错误。

有趣的是，您希望使用的版本是：
df = df.where(pd.notnull(df),None)
由于我不完全理解的原因，对于 NaT 值实际上似乎并没有按预期工作。 （见下例）

但是这个语句似乎有效（假设您将 numpy 导入为 np）：
df = df.replace({np.NaN: None})
因此，如果您这样做，那么 NaN 和 NaT 值都将转换为 Python None，然后 psycopg2（或可能是任何其他数据库连接器）将正确地将这些值视为插入时的 SQL Null。

下面是一些示例代码来说明：

import datetime as dt
import pandas as pd
import numpy as np
data = [
    ['one',1.0,pd.NaT],['two',np.NaN,dt.datetime(2019,2)],[None,3.0,3)]
    ]
df = pd.DataFrame(data,columns=["Name","Value","Event_date"])

获得了我们的基本数据框：

>>> df
   Name  Value Event_date
0   one    1.0        NaT
1   two    NaN 2019-02-02
2  None    3.0 2019-03-03

如上所述，此更新出于某种原因将 NaT 保留在其中：

>>> df.where(pd.notnull(df),None)
   Name Value Event_date
0   one   1.0        NaT
1   two  None 2019-02-02
2  None   3.0 2019-03-03

但是这个版本同时获得了 NaN 和 NaT，并留下了预期的 None：

>>> df.replace({np.NaN: None})
   Name Value           Event_date
0   one   1.0                 None
1   two  None  2019-02-02 00:00:00
2  None   3.0  2019-03-03 00:00:00

如果您可以将 sqlalchemy 用于您想做的事情，那么接受的答案可能是“更好”的方法，但如果您必须以艰难的方式去做，这对我有用。

H/T 到 discussion in this pandas issue 以获得此答案的大部分细节。