将平面文件拆分为多个文件

你可以尝试这样的方法……它相当初级,我相信有人会指出,它不会是最有效的方法,但它是一个可靠的选择。请注意,您需要添加一些try-catch错误处理。

            int recper = 0; // this is where you will assign the number of records per file 
            int reccount = 0;
            int filecount = 1;
            string filename = "testfilename";
            string networkDirectory = @"c:\fakepath\";
            string fileToRead = @"c:\fakepath\textfile.txt";

            using (StreamReader reader = new StreamReader(fileToRead,Encoding.Default,true))
            {
                while (reader.Peek() > 0)
                {
                    using (StreamWriter writer = new StreamWriter(Path.Combine(networkDirectory, filename + filecount + ".txt"), true, Encoding.Default))
                    {
                        writer.Write(reader.ReadLine());
                    }
                    reccount++;
                    // checks on each iteration of the while loop to see if the 
                    // current record count matches the number of records per file
                    // if sso reset reccount and change increment filecount to change the file name 
                    if (reccount == recper)
                    {
                        reccount = 0;
                        filecount++;
                    }
                }
            }

另一种方法是在数据流中执行此操作:

首先使用您选择的方法将“行号”列添加到数据流中(除非平面文件输出中已有一列,在这种情况下,请跳过此步骤并使用它):

https://www.google.com/search?sourceid=navclient&aq=&oq=add+rownumber+column+to+ssis+dataflow&ie=UTF-8&rlz=1T4GGNI_enUS551US551&q=add+rownumber+column+to+ssis+dataflow&gs_l=hp....0.0.0.6218...........0._Qm62-0x_YQ

然后将MultiCast转换添加到数据流,并使用行号拆分流并将其发送到不同的目标:

第1行-55k,->文件1

第55001-110k行->文件2

等