如何解决AWS RDS PostgreSQL-在EC2实例上从csv文件复制/复制到csv文件？

我遇到了几天无法修复的问题。

问题是-我具有以下架构：

• 两个EC2实例，它们是运行Trifacta应用程序（数据科学家使用的某种应用程序）的节点，
• AWS RDS Postgresql实例。

自最新版本以来，该Trifacta应用程序正在数据库中使用新架构，该架构在应用程序启动时执行一些数据库迁移。在启动过程中，某些表会复制到* .csv文件中，然后再从该* csv文件复制回到表中。 它可以在本地数据库上运行就可以了，因为Postgresql中的superuser角色可以执行此类操作。 在AWS RDS Postgresql实例上执行此操作时，会遇到以下错误：

Error running query copY (select "id" from workspaces) TO ''/tmp/workspaces.csv'' DELIMITER '','' CSV HEADER; error: must be superuser to copY to or from a file
    at Connection.parseE (/opt/trifacta/migration-framework/node_modules/pg/lib/connection.js:614:13)
    at Connection.parseMessage (/opt/trifacta/migration-framework/node_modules/pg/lib/connection.js:413:19)
    at Socket.<anonymous> (/opt/trifacta/migration-framework/node_modules/pg/lib/connection.js:129:22)
    at Socket.emit (events.js:315:20)
    at addChunk (_stream_readable.js:295:12)
    at readableAddChunk (_stream_readable.js:271:9)
    at Socket.Readable.push (_stream_readable.js:212:10)
    at TCP.onStreamRead (internal/stream_base_commons.js:186:23) {
  length: 178,severity: ''ERROR'',code: ''42501'',detail: undefined,hint: "Anyone can copY to stdout or from stdin. psql''s \\copy command also works for anyone.",position: undefined,internalPosition: undefined,internalQuery: undefined,where: undefined,schema: undefined,table: undefined,column: undefined,dataType: undefined,constraint: undefined,file: ''copy.c'',line: ''905'',routine: ''Docopy''
} 

这只是第一个，有很多。我对此进行了研究，并弄清了为什么会这样。 AWS使用的是rds_superuser角色而不是superuser，并且此角色的特权不足以在本地文件系统之间进行复制。 在psql控制台中，可以使用\copy而不是copy来完成操作，但对我而言，它没有任何帮助，因为Trifacta的执行方式是从* .js文件执行SQL查询，并且到目前为止据我所知，不可能从\copy以外的任何地方运行psql CLI查询。

在@imsoP的建议下，我添加了执行操作的Trifacta * .js文件的代码：

ConnectUtils.copyQuery = function(query,connection,options = {}) {
  ensure.notNull(connection.base.DriverName,''connection driver name'');
  ensure.notNull(options.tableName,''table name'');
  const table = options.tableName;
  const filePath = ConnectUtils.getoutputFilePath(table,options);
  if (connection.base.DriverName === DATABASE_JS_TYPE[MysqL]) {
    return `${query} INTO OUTFILE \''${filePath}\'' FIELDS TERMINATED BY '','' OPTIONALLY ENCLOSED BY ''"'' LInes TERMINATED BY ''\n''`;
  } else if (connection.base.DriverName === DATABASE_JS_TYPE[POSTGRES]) {
    return `copY (${query}) TO ''${filePath}'' DELIMITER '','' CSV HEADER;`;
  } else if (connection.base.DriverName === DATABASE_JS_TYPE[sqlITE]) {
    return query;
  }
  return;
};

ConnectUtils.loadQuery = function(connection,''connection driver name'');
  ensure.notNull(connection.base.Database,''connection database'');
  ensure.notNull(options.tableName,options);
  if (connection.base.DriverName === DATABASE_JS_TYPE[MysqL]) {
    return `LOAD DATA INFILE \''${filePath}\'' INTO TABLE ${
      connection.base.Database
    }.${table} FIELDS TERMINATED BY '','' ENCLOSED BY ''\"'' LInes TERMINATED BY ''\n'' IGnorE 1 ROWS;`;
  } else if (connection.base.DriverName === DATABASE_JS_TYPE[POSTGRES]) {
    return `copY ${table} FROM ''${filePath}'' DELIMITER '','' CSV HEADER;`;
  }
  return;
};

${filePath}是EC2实例上的路径，而${table}是AWS RDS EC2实例上的表。从您回答我的问题之前的答案中，我认为没有办法解决此问题，因为此脚本正尝试将${filePath}作为AWS RDS实例上的路径到达。对吧？

感谢阅读。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

/// <summary>
        /// 写入数据到CSV文件，覆盖形式
        /// </summary>
        /// <param name="csvPath">要写入的字符串表示的CSV文件</param>
        /// <param name="LineDataList">要写入CSV文件的数据，以string[]类型List表示的行集数据</param>
        public static   void OpCsv(string csvPath, List<string[]> LineDataList)
        {
            using (FileStream fs = new FileStream(csvPath.Trim(), FileMode.OpenOrCreate, FileAccess.ReadWrite))
            {
                using (StreamWriter sw = new StreamWriter(fs, Encoding.Default))
                {
                    StringBuilder sb_csvStr = new StringBuilder();
                    for (int i = 0; i < LineDataList.Count; i++)//<--row
                    {
                        sb_csvStr.Clear();
                        for (int j = 0; j < LineDataList[i].Length; j++)//<--col
                        {
                            sb_csvStr.Append(string.Format("{0},", LineDataList[i][j].ToString()));
                        }
                        sw.WriteLine(sb_csvStr.ToString().Substring(0, sb_csvStr.ToString().Length - 1));
                    }
                    fs.Flush();
                }
            }
        }

/// <summary>
        /// 读取csv文件
        /// </summary>
        /// <param name="csvPath">string 标识的 csv文件路径</param>
        /// <returns>返回的读取的 csv 文件的行集合</returns>
        public static string[] ReadCsv(string csvPath)
        {
            string[] csvLineList = File.ReadAllLines(csvPath, Encoding.Default);
            return csvLineList;
        }