微博内容中的短地址 分析

摘要:
例如,QQ微博的url。cn、新郎的新浪网等。当我们在QQ微博上发布网站时,微博会自动识别网站并进行转换,例如:http://url.cn/2hytQx我们为什么要这样做?我认为有几点:微博的字数限制是140个字,所以如果我们需要发送一些链接,但链接太长,会占用我们内容的近一半空间,这是绝对不能允许的,所以短网站应运而生。
引自 http://www.nowamagic.net/webdesign/webdesign_ShortUrlInTwitter.php

短网址应用已经在全国各大微博上开始流行了起来。例如QQ微博的url.cn,新郎的sinaurl.cn等。

我们在QQ微博上发布网址的时候,微博会自动判别网址,并将其转换,例如:http://url.cn/2hytQx

为什么要这样做的,原因我想有这样几点:

  1. 微博限制字数为140字一条,那么如果我们需要发一些连接上去,但是这个连接非常的长,以至于将近要占用我们内容的一半篇幅,这肯定是不能被允许的,所以短网址应运而生了。
  2. 短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖色情,暴力,广告等信息,这样我们可以通过用户的举报,完全管理这个连接将不出现在我们的应用中,应为同样的URL通过加密算法之后,得到的地址是一样的。
  3. 我们可以对一系列的网址进行流量,点击等统计,挖掘出大多数用户的关注点,这样有利于我们对项目的后续工作更好的作出决策。

其实以上三点纯属个人观点,因为在我接下来的部分项目中会应用到,所以就了解了一下,下面先来看看短网址映射算法的理论(网上找到的资料):

  1. 将长网址md5生成32位签名串,分为4段,每段8个字节;
  2. 对这四段循环处理,取8个字节,将他看成16进制串与0x3fffffff(30位1)与操作,即超过30位的忽略处理;
  3. 这30位分成6段,每5位的数字作为字母表的索引取得特定字符,依次进行获得6位字符串;
  4. 总的md5串可以获得4个6位串;取里面的任意一个就可作为这个长url的短url地址;

很简单的理论,我们并不一定说得到的URL是唯一的,但是我们能够取出4组URL,这样几乎不会出现太大的重复。

下面来看看程序部分:

01publicstaticstring[] ShortUrl(stringurl)
02{
03    //可以自定义生成MD5加密字符传前的混合KEY
04    stringkey = "Leejor";
05    //要使用生成URL的字符
06    string[] chars = newstring[]{
07        "a","b","c","d","e","f","g","h",
08        "i","j","k","l","m","n","o","p",
09        "q","r","s","t","u","v","w","x",
10        "y","z","0","1","2","3","4","5",
11        "6","7","8","9","A","B","C","D",
12        "E","F","G","H","I","J","K","L",
13        "M","N","O","P","Q","R","S","T",
14        "U","V","W","X","Y","Z"
15    };
16   
17    //对传入网址进行MD5加密
18    stringhex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");
19  
20    string[] resUrl = newstring[4];
21  
22    for(inti = 0; i < 4; i++)
23    {
24        //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算
25        inthexint = 0x3FFFFFFF & Convert.ToInt32("0x"+ hex.Substring(i * 8, 8), 16);
26        stringoutChars = string.Empty;
27        for(intj = 0; j < 6; j++)
28        {
29            //把得到的值与0x0000003D进行位与运算,取得字符数组chars索引
30            intindex = 0x0000003D & hexint;
31            //把取得的字符相加
32            outChars += chars[index];
33            //每次循环按位右移5位
34            hexint = hexint >> 5;
35        }
36        //把字符串存入对应索引的输出数组
37        resUrl[i] = outChars;
38    }
39    returnresUrl;
40}

现在可以直接使用该方法,可以等到下面四组值:

1ShortUrl(http://www.me3.cn)[0];  //得到值fAVfui
2ShortUrl(http://www.me3.cn)[1];  //得到值3ayQry
3ShortUrl(http://www.me3.cn)[2];  //得到值UZzyUr
4ShortUrl(http://www.me3.cn)[3];  //得到值36rQZn

在存放这个URL的数据方面,我个人推荐TTServer,有的朋友可以没有听说过,下面是这个数据库的介绍:

Tokyo Cabinet 是日本人 Mikio Hirabayashi(平林幹雄)のページ 开发的一款DBM数据库(注:大名鼎鼎的DBM数据库qdbm就是他开发的),该数据库读写非常快。insert:0.4sec/1000000 recordes(2500000qps),写入100万数据只需要0.4秒。search:0.33sec/1000000 recordes (3000000 qps),读取100万数据只需要0.33秒。

可以看到对于字典类型的数据Key/Value的查询,这个数据库可以说是我目前见过效率非常高的,况且他如此的小巧,用来对short url/long url的配对再好不过。

免责声明:文章转载自《微博内容中的短地址 分析》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇nginx和Tomcat集成后发生的重定向问题分析和解决基于openresty的https配置实践下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

sqlmap基础教程

sqlmap是一款非常强大的开源sql自动化注入工具,可以用来检测和利用sql注入漏洞。它由Python语言开发而成,因此运行需要安装python环境。 python环境安装教程:http://jingyan.baidu.com/album/c910274be14d64cd361d2dd8.html?picindex=2 注意:sqlmap只是用来检测和利...

根据前端时间范围-后端进行时间范围数据库查询

一、场景 从前端获取时间范围 时间范围作为参数传递给后端 后端将时间范围参数转换datetime类型 根据时间范围进行数据库查询 二、功能实现 前端获取时间范围 参考资料: https://blog.csdn.net/lianzhang861/article/details/80422513 原生HTML获取时间范围 <form act...

数据管理(六)

数据库我们已经了解了如何使用文件来存储数据,所以为什么我们应该使用数据库呢?非常简单,在某些环境下,数据库特性提供了更好的方法来解决问题。使用数据库要好于存储文件,有下面两个理由:我们可以存储尺寸上变化的数据记录,而这使用普通,无结构的文件是难于实现的。数据库的存储与数据的读取使用索引。最大的好处就在于这个索引不必是一个简单的记录号,这在普通文件中是很容易使...

API安全(六)-密码加密

1、密码为什么要加密 存在数据库中的密码如果是明文,一旦数据库数据泄漏了,别人就可以拿着你的账号密码为所欲为。更何况有很多人在各个平台的用户名密码都是一致的。所以用户的密码,一定要加密存储。 2、加密算法的种类 2.1、对称加密,指的是需要对加密和解密使用相同密钥的加密算法。常见的对称加密算法有:DES、3DES、AES等。 2.2、非对称加密,它需要两个...

dos 日期时间格式设置

@echo off@title 字符串的编辑测试(下面描述用的箭头→ ← 分别表示向右、向左的意思)set aa=1234567890echo 说明:下面复合变量中,逗号前的数字表示指针偏移量,逗号后的数字表示提取的字符长度echo %aa:~1,5% //指针向右→偏移1位,然后从指针处开始向右→提取5个字符.echo %aa:~0,-3% //指针不偏...

javascript正则表达式

网上正则表达式的教程够多了,但由于javascript的历史比较悠久,也比较古老,因此有许多特性是不支持的。我们先从最简单地说起,文章所演示的正则基本都是perl方式。 元字符 ( [ { \ ^ $ | ) ? * + . 预定义的特殊字符 字符 正则 描述 \t /\t/ 制表符 \n /\n/ 换行符 \r /\r/ 回车...