IT培训选达内，21年专业IT培训机构，美国上市集团。开设IT培训班Java、python、大数据、linux、UI、会计等IT培训,泛IT培训和非IT培训共2课程、室内设计师、PHP工程师、平面++工程师、SEM竞价师、SEO优化师、社会化媒体运营师、电商运营师等课程为一体的IT培训机构。以下5家IT培训培训机构均已经受过学生的考验，不分前后，值得推荐！

1.广州达内教育

2.广州博为峰教育

3.广州中公教育优就业

4.广州CDA数据分析师分院

5.广州北大青鸟

6.广州信盈达

7.广州千锋教育

8.广州传智教育

9.广州黑马程序员

10.广州斯坦星球

当你面试的时候突然被问到：flume与kafka的整合。你会怎么回答？其实面试官提问的时候主要是想考察你对storm的理解，下面小编带大家一起分析这个问题的解答方式！

实现flume监控某个目录下面的所有文件，然后将文件收集发送到kafka消息系统中

步：flume下载地址http：//archive.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz第二步：上传解压flume

第三步：配置flume.conf

为我们的source channelsink起名

a1.sources=r1 a1.channels=c1 a1.sinks=k1

指定我们的source收集到的数据发送到哪个管道

a1.sources.r1.channels=c1

指定我们的source数据收集策略a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/export/servers/flumedata a1.sources.r1.deletePolicy=never

a1.sources.r1.fileSuffix=.COMPLETED a1.sources.r1.ignorePattern=^(.)*\.tmp$a1.sources.r1.inputCharset=GBK

指定我们的channel为memory，即表示所有的数据都装进memory当中a1.channels.c1.type=memory

指定我们的sink为kafkasink，并指定我们的sink从哪个channel当中读取数据a1.sinks.k1.channel=c1

a1.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic=test

a1.sinks.k1.kafka.bootstrap.servers=node01：9092，node02：9092，node03：9092

a1.sinks.k1.kafka.flumeBatchSize=20

a1.sinks.k1.kafka.producer.acks=1

启动flume

bin/flume-ng agent--conf conf--conf-file conf/flume.conf--name a1

-Dflume.root.logger=INFO，console

把文件放到flumeData文件夹下，刷新，文件会自动变为.COMPLETED文件

以上就是关于flume与kafka的整合的全部知识点了，大家都了解了吗？