Spring Integration Sftp 文件传送
目前在国内项目开发中，使用Spring Integration技术的比较少，尤其是中文的参考文献和项目案例，更是罕有。鉴于此，本文详细介绍spring integration sftp模块在Sftp服务器和本地服务器之间文件的传送。
SFTP(Secure File Transfer Protocol) 安全文件传送协议，允许文件通过流的形式在网络之间进行传输。文件传输的过程涉及到两个重要的因素，安全渠道(secure channel，如SSH)以及SFTP联接身份的识别（SFTP session）。Spring Integration提供三种方式来支持文件在SFTP服务器的发送和接收：Inbound Channel Adapter，Outbound Channel Adapter，Outbound Gateway。
几个概念：
（1）SFTP Session Factory
在配置SFTP adapters之前，需要配置SFTP Session Factory；Spring Integration提供了如下xml和spring boot的定义方式。
每次使用 SFTP adapter，都需要Session Factory会话对象，一般情况，都会创建一个新的SFTP会话。同时还提供了Session的缓存功能。Spring integration中的Session Factory是依赖于JSch库来提供。
JSch支持在一个连接配置上多个channel的操作。原生的JSch技术开发，在打开一个channel操作之前，需要建立Session的连接。同样的，默认情况，Spring Integration为每一个channel操作使用单独的物理连接。在3.0版本发布之后，Cache Session Factory 出现 (CachingSessionFactory)，将Session Factory包装在缓存中，支持Session共享，可以在一个连接上支持多个JSch Channel的操作。如果缓存被重置，在最后一次channel关闭之后，才会断开连接。
下面是XML方式定义的Session Factory的bean：
<beans:bean
class="org.springframework.integration.sftp.session.DefaultSftpSessionFactory">
<beans:property name="host" value="localhost"/>
<beans:property name="privateKey" value="classpath:META-INF/keys/sftpTest"/>
<beans:property name="privateKeyPassphrase" value="springIntegration"/>
<beans:property name="port" value="22"/>
<beans:property name="user" value="songhj"/>
</beans:bean>
下面是使用springboot方式定义的Session Factory:
@Bean
public SessionFactory<LsEntry> sftpSessionFactory(){
DefaultSftpSessionFactory factory = new DefaultSftpSessionFactory(true);
factory.setUser("songhj");
factory.setHost("127.0.0.1");
factory.setPort("22");
factory.setPassword("password");
return factory;
}
（2）SFTP Session Caching
在3.0之前的版本中，会话默认情况下是自动缓存的。可以使用cache-sessions属性禁用自动缓存，但是该解决方案没有提供配置其他会话缓存属性的方法。例如，您不能限制缓存会话的数量。
3.0版本之后，提供了一个CachingSessionFactory。它提供了sessionCacheSize和sessionWaitTimeout属性。控制缓存中维护多少活动会话(默认情况下是无界的)。如果已经达到了sessionCacheSize阈值，那么任何获取另一个会话的尝试都将被阻塞，直到其中一个缓存会话可用，或者直到会话的等待时间过期(默认等待时间是Integer.MAX_VALUE)。sessionWaitTimeout属性启用该值的配置。缓存会话，然后将其包装在CachingSessionFactory的实例中。
<bean
class="org.springframework.integration.sftp.session.DefaultSftpSessionFactory">
<property name="host" value="localhost"/>
</bean>
<bean
class="org.springframework.integration.file.remote.session.CachingSessionFactory">
<constructor-arg ref="sftpSessionFactory"/>
<property name="sessionCacheSize" value="10"/>
<property name="sessionWaitTimeout" value="1000"/>
</bean>
从Spring Integration version 3.0开始，CachingConnectionFactory提供了resetCache()方法。当被调用时，所有空闲会话将立即关闭，而正在使用的会话将在返回到缓存时关闭。当使用isSharedSession=true时，通道是关闭的，而共享会话仅在最后一个通道关闭时才关闭。对会话的新请求将根据需要建立新的会话。
（3）RemoteFileTemplate
从Spring Integration 3.0开始，通过SftpSession对象提供了一个新类Remote File Template。提供了Sftp文件发送、检索、删除和重命名文件的方法。此外，还提供了一个执行方法，允许调用者在会话上执行多个操作。在所有情况下，模板负责可靠地关闭会话。
SftpRemoteFileTemplate继承Remote File Template,可以很容易的实现对SFTP文件的发送(包括文件追加，替换等)，检索，删除和重命名。
（4）SFTP Inbound Channel Adapter
SFTP Inbound Channel Adapter 是一个特殊的监听器，这个认识很重要，它将连接到服务器，并监听远程文件操作事件(例如，创建新文件)，并初始化文件传输实例。它的作用实质就是将sftp远程服务器文件发送到本地文件夹下。
下面是XML方式的 sftp inbound channel adapter配置实例：
<int-sftp:inbound-channel-adapter
session-factory="sftpSessionFactory"
channel="requestChannel"
filename-pattern="*.txt"
remote-directory="/foo/bar"
preserve-timestamp="true"
local-directory="file:target/foo"
auto-create-local-directory="true"
local-filename-generator-expression="#this.toUpperCase() + '.a'"
local-filter="myFilter"
delete-remote-files="false">
<int:poller fixed-rate="1000"/>
</int-sftp:inbound-channel-adapter>
从上面的配置可以理解，由inbound-channel-adapter元素创建，同时提供各种属性的值，local-directory：文件被转移的目标文件夹；remote-directory：文件来源远程文件夹目录；session-factory：session 会话工厂；channel：需要的渠道；文件过滤器以及是否删除转移后的文件等属性。
下面是springboot方式配置的Sftp Inbound channel adapter：
@Bean
@InboundChannelAdapter(value = "inboundFileChannel",
poller = @Poller(cron = "1/10 * * * * *", maxMessagesPerPoll = "1"))
public MessageSource<File> fileMessageSource() {
//创建sftpInboundFileSynchronizer，并绑定到message source.
SftpInboundFileSynchronizingMessageSource source =
new SftpInboundFileSynchronizingMessageSource(sftpInboundFileSynchronizer());
//自动创建本地文件夹
source.setAutoCreateLocalDirectory(true);
source.setLocalDirectory(new File(sftpProperty.getLocalTempDir()));
//设置文件过滤器
source.setLocalFilter(new AcceptOnceFileListFilter<File>());
return source;
}
/**
* 为Inbound-channel-adapter提供bean
*/
@Bean
public DirectChannel inboundFileChannel() {
return new DirectChannel();
}
/**
* SftpInboundFileSynchronizer,
*
* 同步sftp文件至本地服务器.
* <1> 可以放在service中获取bean使用.toLocal方法；
* <2> 也可以使用inbound-channel-adapter中，做监控文件服务器的动态。
*
* @return SftpInboundFileSynchronizer
*/
@Bean(name = "synFileChannel")
public SftpInboundFileSynchronizer sftpInboundFileSynchronizer (){
SftpInboundFileSynchronizer fileSynchronize =
new SftpInboundFileSynchronizer(sftpSessionFactory());
fileSynchronize.setDeleteRemoteFiles(true);
fileSynchronize.setPreserveTimestamp(true);
//!important
fileSynchronize.setRemoteDirectory(sftpProperty.getSftpSendPath());
fileSynchronize.setFilter(new SftpSimplePatternFileListFilter("*.*"));
//fileSynchronize.setLocalFilenameGeneratorExpression( );
fileSynchronize.setPreserveTimestamp(true);
return fileSynchronize;
}文件名设置：默认情况下，传输的文件将与原始文件具有相同的名称。Inbound channel adapter提供local-filename-generator- Expression属性，允许提供SpEL表达式来生成本地文件的名称。
文件修改时间戳：从Spring Integration 3.0开始，reserve-timestamp属性(默认为false)；设置为true时，本地文件修改后的时间戳将设置为从服务器接收到的时间；否则将设置为当前时间。
文件过滤器：filename-pattern属性指定了简单的文件过滤模式。同时还提供了filename-regex属性来指定使用正则表达式(例如filename-regex=".*.test$")来过滤文件，以确定检索哪些远程文件。除了上面的过滤器之外，spring integration还提供了其他筛选器，如AcceptOnceFileListFilter，CompositeFileListFilter，SftpPersistentAcceptOnceFileListFilter，前者的作用是避免同步以前获取的文件。
（5）SFTP Outbound Channel Adapter
Spring Integration的 sftp outbound channel adapter是一个特殊的Message Handler，它将连接到远程sftp服务器目录。并为接收到的Message的payload，初始化一个文件传输渠道。 sftp outbound adapter支持以下几种传输对象：
1）Java.io.File：实际文件对象；
2）byte[]：字节数组
3）Java.lang.String：字符串
下面是基于xml格式配置：
<int-sftp:outbound-channel-adapter session-factory="sftpSessionFactory" channel="inputChannel" charset="UTF-8" remote-directory="foo/bar" remote-filename-generator-expression="payload.getName() + '-foo'"/>
由上面的配置，可以看到outbound channel adapter的属性；可以动态计算文件名或现有目录路径的表达式。目前Spring Integration并没有提供单独的注解来配置此adapter，可以使用@ServiceActivator 定义bean，来实现该配置。
下面是基于Spring boot框架配置，配置了Inbound Channel Adapter。
@SpringBootApplication
public class SftpJavaApplication {
@Bean
public SessionFactory<LsEntry> sftpSessionFactory() {
DefaultSftpSessionFactory factory = new DefaultSftpSessionFactory(true);
factory.setHost("localhost");
factory.setPort(port);
factory.setUser("foo");
factory.setPassword("foo");
factory.setAllowUnknownKeys(true);
factory.setTestSession(true);
return new CachingSessionFactory<LsEntry>(factory);
}
@Bean
public SftpInboundFileSynchronizer sftpInboundFileSynchronizer() {
SftpInboundFileSynchronizer fileSynchronizer = new SftpInboundFileSynchronizer(sftpSessionFactory());
fileSynchronizer.setDeleteRemoteFiles(false);
fileSynchronizer.setRemoteDirectory("foo");
fileSynchronizer.setFilter(new SftpSimplePatternFileListFilter("*.xml"));
return fileSynchronizer;
}
//配置Sftp Inbound Channel Adapter.
//Inbound Channel Adapter实质就是一个服务监控器，监控sftp上服务器上文件的创建。
@Bean
@InboundChannelAdapter(channel = "sftpChannel", poller = @Poller(fixedDelay = "5000"))
public MessageSource<File> sftpMessageSource() {
SftpInboundFileSynchronizingMessageSource source =
new SftpInboundFileSynchronizingMessageSource(sftpInboundFileSynchronizer());
source.setLocalDirectory(new File("sftp-inbound"));
source.setAutoCreateLocalDirectory(true);
source.setLocalFilter(new AcceptOnceFileListFilter<File>());
source.setMaxFetchSize(1);
return source;
}
//配置Sftp Outbound Channel Adapter.
//Outbound Channel Adapter实质上就是一个MessageHandler，接收发送的消息。
@Bean
@ServiceActivator(inputChannel = "sftpChannel")
public MessageHandler handler() {
return new MessageHandler() {
@Override
public void handleMessage(Message<?> message) throws MessagingException {
System.out.println(message.getPayload());
}
};
}
}
Channel Adapter*
管道适配器，其就是一个端点Endpoint，顾名思义，就是用来适配连接Message channel与其他系统的。Channel Adapter分为inbound和outbound。刚一开始接触spring-integration时对这两个概念的非常不理解，在这里可以简单化，以当前的项目spring-integration为基准，所谓inbound就是从其他系统接收Message，获取资源，如sftp，file，Http等。而outbound就是将资源通过消息管道，发送资源到target目标服务器。
（6）Service Activator
Service activator的作用时将存在的service注册为一个端点，将该服务实例同spring-integration消息服务连接起来。该端点必须配置input channel，若调用的方法有返回值，还可以配置out channel。
Service activator调用某个服务的操作来处理消息，如在下面的发送文件到sftp服务，就是将SftpMessageHandler来处理channel中的消息。
一、导入依赖
<dependency>
<groupId>org.springframework.integration</groupId>
<artifactId>spring-integration-sftp</artifactId>
</dependency>二、Sftp配置类
@Configuration @EnableIntegration public class SpringSftpConfig { @Autowired private SftpProperties sftpProperties; @Bean public SessionFactory<ChannelSftp.LsEntry> sftpSessionFactory() { DefaultSftpSessionFactory factory = new DefaultSftpSessionFactory(true); factory.setHost(sftpProperties.getHost()); factory.setPort(sftpProperties.getPort()); factory.setUser(sftpProperties.getUsername()); if (StringUtils.isNotEmpty(sftpProperties.getPrivateKey())) { factory.setPrivateKey(new ClassPathResource(sftpProperties.getPrivateKey())); factory.setPrivateKeyPassphrase(sftpProperties.getPassphrase()); } else { factory.setPassword(sftpProperties.getPassword()); } factory.setAllowUnknownKeys(true); CachingSessionFactory<ChannelSftp.LsEntry> cachingSessionFactory = new CachingSessionFactory<>(factory); cachingSessionFactory.setPoolSize(10); cachingSessionFactory.setSessionWaitTimeout(10000); return cachingSessionFactory; } @Bean public SftpRemoteFileTemplate sftpRemoteFileTemplate() { return new SftpRemoteFileTemplate(sftpSessionFactory()); } @Bean public SftpInboundFileSynchronizer sftpInboundFileSynchronizer() { SftpInboundFileSynchronizer fileSynchronizer = new SftpInboundFileSynchronizer(sftpSessionFactory()); fileSynchronizer.setDeleteRemoteFiles(true); fileSynchronizer.setRemoteDirectory(sftpProperties.getRoot()); fileSynchronizer.setFilter(new SftpSimplePatternFileListFilter("*.txt")); return fileSynchronizer; } @Bean @ServiceActivator(inputChannel = "lsChannel") public MessageHandler lsHandler() { SftpOutboundGateway sftpOutboundGateway = new SftpOutboundGateway(sftpSessionFactory(), "ls", "payload"); sftpOutboundGateway.setOptions("-dirs"); //配置项 return sftpOutboundGateway; } @Bean @ServiceActivator(inputChannel = "downloadChannel") public MessageHandler downloadHandler() { SftpOutboundGateway sftpOutboundGateway = new SftpOutboundGateway(sftpSessionFactory(), "mget", "payload"); sftpOutboundGateway.setOptions("-R"); sftpOutboundGateway.setFileExistsMode(FileExistsMode.REPLACE_IF_MODIFIED); sftpOutboundGateway.setLocalDirectory(new File(sftpProperties.getLocalPath())); sftpOutboundGateway.setAutoCreateLocalDirectory(true); return sftpOutboundGateway; } @Bean @ServiceActivator(inputChannel = "uploadChannel") public MessageHandler uploadHandler() { SftpMessageHandler handler = new SftpMessageHandler(sftpSessionFactory()); handler.setRemoteDirectoryExpression(new LiteralExpression(sftpProperties.getRoot())); handler.setFileNameGenerator(message -> { if (message.getPayload() instanceof File) { return ((File) message.getPayload()).getName(); } else { throw new IllegalArgumentException("File expected as payload."); } }); return handler; } @MessagingGateway public interface SftpGateway { @Gateway(requestChannel = "lsChannel") List<FileInfo> listFile(String dir); @Gateway(requestChannel = "downloadChannel") List<File> downloadFiles(String dir); @Gateway(requestChannel = "uploadChannel") void uploadFile(File file); } }
其中，SftpProperties是第二篇中的配置类。SessionFactory来创建连接工厂，进行连接操作。SftpRemoteFileTemplate是Spring-integration-sftp进行sftp操作的模板类，相当于jsch的ChannelSftp。但是SftpRemoteFileTemplate的上传下载方法不大好用，是通过InputStream和OutputStream进行操作的。因此这里通过Spring integration的MessageHandler来进行上传下载操作。
@Autowired private SpringSftpConfig.SftpGateway sftpGateway;
sftpGateway.listFile("/Users/kungfupanda").stream().forEach(System.out::println);
sftpGateway.downloadFiles("/Users/kungfupanda/sftpserver/RELREVMOD_ddmmyyyy.txt").stream().forEach(System.out::println);
sftpGateway.uploadFile(new File("RELREVMOD_ddmmyyyy.txt"));三、启动集成扫描
在启动类上加上@IntegrationComponentScan注解
@IntegrationComponentScan @SpringBootApplication @EnableScheduling public class CDDAlertApplication{ public static void main(String... args){ SpringApplication.run(CDDAlertApplication.class, args); } }
sftp.properties配置信息文件
sftp.client.protocol=sftp sftp.client.host=localhost sftp.client.port=22 sftp.client.username=kungfupanda sftp.client.password=xxxxx sftp.client.root=/Users/kungfupanda sftp.client.privateKey= sftp.client.passphrase= sftp.client.sessionStrictHostKeyChecking=no sftp.client.sessionConnectTimeout=15000 sftp.client.channelConnectedTimeout=15000 sftp.client.localPath=./_files