GG Blog

All things are difficult before they are easy.

Oracle 数据库迁移

从linux 下 数据库 导入 windows

本文为实现 从linux 下导出的Oracle备份文件dmp，导入windows 下oracle 下步骤。 1.1 linux 下导出 sqlplus >连接到dba SQL> create directory data_dir as '/opt/oracle_dump'; SQL> grant read,write on directory DMPDIR...

Posted by GG on March 12, 2019

IDEA 远程连接 Linux 下 Spark 集群

远程连接

本文为实现 在Windows 下利用IDEA 连接 Linux 下Spark 集群 1.1 IDEA新建一个ConnectSparkTest项目 引入pom文件形式，注意集群版本这里的配置版本相同 <properties> <hadoop.version>2.7.4</hadoop.version> &...

Posted by GG on October 21, 2018

利用 Docker 搭建 大数据生态集群

Docker 初学

本文 以写一个开机自启动各种命令的脚本文件 为目的学习Shell 脚本 1 Centos 换源 1.1 方式一：使用国内的阿里云镜像 或者 网易 1、 把/etc/yum.repos.d/下面所有的源给删除掉了 2、 下载镜像 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/C...

Posted by GG on October 21, 2018

Zeppelin插件_HiveQL查询

Hive查询的执行入口CliDriver

本文为实现 基本查询Hive的语句HiveQL的Zeppelin 插件 1 前言 ​ 本文是在Zeppelin 中实现Hive基本查询功能的说明手册。包括Hive的简介， 基本框架、执行入口，及HiveQL功能的Zeppelin插件定义。 2 Hive 2.1 Hive 简介 ​ Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数...

Posted by GG on June 28, 2018

Zeppelin自定义Interpreter插件开发

写一个新的Interpreter解析器

主要为在 Zeppelin 0.7.3 中自定义 Interpreter插件 的开发过程 1 前言 ​ 本文是在 Zeppelin 中自定义 Interpreter 插件的说明手册。包括 Zeppelin 相关内容的简介，自定义 Interpreter 的开发过程，及自定义 Interpreter 示例的使用。 2 系统需求 ​ 以下说明 Zeppelin 0....

Posted by GG on June 8, 2018

SparkStreaming + Kafka 程序示例

SparkStreaming Kafka应用程序

本文是 Spark Streaming 学习过程中的总结。 同时包含 与 Kafka 连接的环境搭建 使用自带Zookeeper搭建kafka集群 下载 kafka_2.11-1.1.0.tgz软件下载并解压 tar -zxvf kafka_2.11-1.1.0.tgz 配置Zookeeper ...

Posted by GG on May 29, 2018

HBase- 架构及常用Shell

HBase 架构Shell

本文是HBase 相关 Shell 的总结。 同时包含其主要的架构图 架构图 HBase有三个主要组成部分：客户端库，主服务器和区域服务器。区域服务器可以按要求添加或删除。 主服务器 分配区域给区域服务器并在Apache ZooKeeper的帮助下完成这个任务。 处理跨区域的服务器区域的负载均衡。它卸载繁忙的服务器和转移区域较少占...

Posted by GG on April 26, 2018

HBase- 完全分布式搭建

HBase 安装配置

本文是HBase 在实验室集群中完全分布式搭建。 JAVA 与 HADOOP 生产环境的安装请参考其他文档。 系统需求 以下说明HBase 1.2.6安装的基本需求。 系统硬件 Intel x86_64服务器。 系统软件 建议采用Ubuntu 12.04.3 LTS Server x64版本或者其他长期支持版本。 另外，如果是虚拟机环境，使用32位版本的Ubuntu即可。 ...

Posted by GG on April 25, 2018

数据库 复习总结

面试过程中常问总结

本文是实习过程中数据库 常问问题的总结。 数据库 网站的高并发大流量如何解决：1.HTML页面静态化2.图片服务器与应用服务器相分离3.数据库优化4.缓存5.镜像（副本）6.负载均衡（将并发访问请求分发到多台服务器上做处理）7.并发控制（加锁，乐观悲观）8.消息队列。12306订票系统用数据库层面的加乐观锁 并发包含有的类：ConcurrentHashMap与CopyOnWr...

Posted by GG on April 18, 2018

Java 复习总结

面试过程中常问总结

本文是实习过程中Java 常问问题的总结。 Java SpringMVC调用过程：(1) Http请求：客户端请求提交到DispatcherServlet。 (2) 寻找处理器：由DispatcherServlet控制器查询一个或多个HandlerMapping，找到处理请求的Controller。 (3) 调用处理器：DispatcherServlet将请求提交到Cont...

Posted by GG on April 18, 2018

FEATURED TAGS
Java 网络基础 Git Github GitLab GitLab - CI GitLab - Runner 面试 HBase Zeppelin Docker 换源 大数据生态集群
ABOUT ME

Goals determine what you going to be!

✉️ gg_lige@163.com

FRIENDS