博客
关于我
Mdrill 测试数据写入程序
阅读量:800 次
发布时间:2023-02-08

本文共 2004 字,大约阅读时间需要 6 分钟。

写入数据到Hadoop分布式文件系统中的TV表数据

最近在项目中需要将大量数据写入Hadoop分布式文件系统中的TV表中,本文将详细介绍SQL表的创建和Java代码实现。

TV表的SQL定义如下:

CREATE TABLE tv (thedate STRING,tv STRING)

Java代码实现:

import java.io.BufferedWriter;import java.io.IOException;import java.io.OutputStreamWriter;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;

public class ImportData {

private static Configuration conf = null;private static FileSystem fs = null;public static void main(String[] args) throws IOException {    conf = ConfigurationUtil.getConf();    fs = FileSystem.get(conf);    String pathString = "/group/tbdp-etao-adhoc/p4padhoc/tablelist/tv";    Calendar calendar = Calendar.getInstance();    calendar.setTime(new Date());    calendar.set(2013, 1, 1);    SimpleDateFormat sf = new SimpleDateFormat("yyyyMMdd");    while (calendar.get(Calendar.YEAR) < 2014) {        String dateStr = sf.format(calendar.getTime());        String path = pathString + "/dt=" + dateStr;        mkdir(path);        writeTVData(path, dateStr);        calendar.add(Calendar.DAY_OF_YEAR, 1);    }    fs.close();}public static void writeTVData(String dir, String dateStr) throws IOException {    FSDataOutputStream fos = null;    OutputStreamWriter osw = null;    BufferedWriter bw = null;    fos = fs.create(new Path(dir + "/data.txt"), false);    osw = new OutputStreamWriter(fos);    bw = new BufferedWriter(osw);    for (int i = 0; i < 100000; i++) {        StringBuffer strBuffer = new StringBuffer();        strBuffer.append(dateStr);        strBuffer.append((char) 1);        strBuffer.append(i);        strBuffer.append(System.lineSeparator());        bw.write(strBuffer.toString());    }    bw.close();    osw.close();    fos.close();}public static void mkdir(String dir) throws IOException {    Path p = new Path(dir);    if (!fs.exists(p)) {        fs.mkdirs(p);    }}

}

转载地址:http://pmyfk.baihongyu.com/

你可能感兴趣的文章
multi-angle cosine and sines
查看>>
Mysql Can't connect to MySQL server
查看>>
mysql case when 乱码_Mysql CASE WHEN 用法
查看>>
Multicast1
查看>>
MySQL Cluster 7.0.36 发布
查看>>
Multimodal Unsupervised Image-to-Image Translation多通道无监督图像翻译
查看>>
MySQL Cluster与MGR集群实战
查看>>
multipart/form-data与application/octet-stream的区别、application/x-www-form-urlencoded
查看>>
mysql cmake 报错,MySQL云服务器应用及cmake报错解决办法
查看>>
Multiple websites on single instance of IIS
查看>>
mysql CONCAT()函数拼接有NULL
查看>>
multiprocessing.Manager 嵌套共享对象不适用于队列
查看>>
multiprocessing.pool.map 和带有两个参数的函数
查看>>
MYSQL CONCAT函数
查看>>
multiprocessing.Pool:map_async 和 imap 有什么区别?
查看>>
MySQL Connector/Net 句柄泄露
查看>>
multiprocessor(中)
查看>>
mysql CPU使用率过高的一次处理经历
查看>>
Multisim中555定时器使用技巧
查看>>
MySQL CRUD 数据表基础操作实战
查看>>