freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

一款IP区间合并工具及如何使用Python实现相同功能
2019-04-21 15:00:53

一、背景

两天前,看到冰尘师傅发的朋友圈

一款IP区间合并工具及使用Python实现相同功能

一开始打开github,一看是.net代码,一脸懵。第二天起来于心不甘,就想试试能不能根据代码逻辑以及函数名称分析一波算法。于是做了一波曲折但有趣的研究。现在将工具分享出来,希望能帮到大家,特别是需要处理大批量IP段或者内网时。其中研究的过程也可供各位师傅茶余饭后"取个乐子"。

二、工具介绍

github地址:https://github.com/foryujian/ipintervalmerge

功能:上面的图片中冰尘师傅已经说的很清楚了,不再多言。

三、什么是区间合并

(引自御剑师傅的github)

192.168.0.0/24192.168.24.0/22192.168.1.3-192.168.1.5192.168.1.2-192.168.1.6192.168.1.1

IP合并区间就是把重叠的IP段进行扩充,比如以上结果经过合并处理后变成:

192.168.0.0-192.168.0.255192.168.1.1192.168.1.2-192.168.1.6192.168.24.0-192.168.27.255

四、各部分功能浅析

首先说明一点,我不懂VB.NET,在寻求各方的“支援”无果后,就自行按照单词的本身含义+百度来理解的代码,其中如有错误,请各位师傅不吝赐教。其次,这个浅析针对的是https://github.com/foryujian/ipintervalmerge/blob/master/IP区间合并工具/IP区间合并工具/IP区间合并工具.vb,而不是 https://github.com/foryujian/ipintervalmerge/IP区间合并工具/IP区间合并工具/bin/Debug/IP区间合并工具.exe 。这两个的算法是有差别的,我会在后文中给出。

4.1 读取文件中的IP地址类型

    For Each txt In IO.File.ReadLines(file)
            ...
            If txt.Contains("-") Then
               ...
            ElseIf txt.Contains("/") Then
               ...
            Else
               ...
            End If
    Next

    CIDR形式:192.168.0.0/24

    包含分隔符形式:192.168.1.2-192.168.1.6

    单个IP形式:192.168.1.1

4.2 IPToLong

    Public Shared Function IpToLong(strIP As String) As Long
        Try
            Dim ip(3) As Long
            Dim s As String() = strIP.Split(".")
            ip(0) = Long.Parse(s(0))
            ip(1) = Long.Parse(s(1))
            ip(2) = Long.Parse(s(2))
            ip(3) = Long.Parse(s(3))
            Return (ip(0) << 24) + (ip(1) << 16) + (ip(2) << 8) + ip(3)
        Catch ex As Exception
            Return 0
        End Try
    End Function

将点分十进制格式表示的IP转换成二进制形式表示的IP

算法描述:

先将点分十进制格式表示的IP以.来分成4部分。(e.g.:192.168.1.2 --->>192、168、1、2) 第一段左移24位,第二段左移16位,第三段左移8位,第四段原样保留。(e.g.:(192<<24)+(168<<16)+(1<<8)+2即二进制形式表示的IP)

4.3 处理文件中的IP区间

intervals存放处理结果。

    CIDR形式的处理:

                     tmp = txt.Split("/")
                     If tmp.Length = 2 Then
                         Dim ip1 As String = tmp(0)
                         Dim ip2 As String = tmp(1)
                         tmp = ip1.Split(".")
                         For x As Integer = 0 To 3
                             ip(x) = Integer.Parse(tmp(x))
                             tmp(x) = Convert.ToString(ip(x), 2).PadLeft(8, "0")
                         Next
                         Dim BitString As String = String.Join("", tmp)
                         BitString = BitString.Substring(0, CInt(ip2)).PadRight(32, "1")
                         i = 0
                         For x As Integer = 0 To 31 Step 8
                             tmp(i) = BitString.Substring(x, 8)
                             ip(i) = Convert.ToInt32(tmp(i), 2)
                             i += 1
                         Next
                         ip2 = String.Join(".", ip)
                         st = IpToLong(ip1)
                         ed = IpToLong(ip2)
                         intervals.Add(New Interval(st, ed))
                     End If
    

算法描述:

以"/"将CIDR形式表示的IP地址分隔成两部分:tmp[0],tmp[1]。

将第一部分的IP地址以"."分成4部分。

每一部分表示成8位二进制形式,不足的左边用0填充。然后将这4个部分连接起来。

将连接后的字符串从开始处截取tmp[1]长度的子串,然后在右边用1填充至32位。

在intervals中添加tmp[0]的二进制表示形式(即调用IpToLong函数)和第4步中的处理结果。(e.g.:192.168.0.0/24 --->>intervals中会添加"11000000101010000000000000000000"和"11000000101010000000000011111111")

    包含分隔符形式的处理:

                  tmp = txt.Split("-")
                  If tmp.Length = 2 Then
                      st = IpToLong(tmp(0))
                      ed = IpToLong(tmp(1))
                      intervals.Add(New Interval(st, ed))
                  End If
    

算法描述:

以"-"将其分成两部分。

在intervals中添加这两部分的二进制表示形式。(与上面CIDR形式的处理情形类似,不再举例。)

    单个IP形式的处理:

    intervals.Add(New Interval(IpToLong(txt), IpToLong(txt)))
    

算法描述:在intervals中添加两个一样的单个IP的二进制表示形式。(为了方便下面的Merge函数处理。)

4.4 LongToIP

    Public Shared Function LongToIP(longIP As Long) As String
        Dim sb As New StringBuilder
        sb.Append(longIP >> 24)
        sb.Append(".")
        sb.Append((longIP And &HFFFFFF) >> 16)
        sb.Append(".")
        sb.Append((longIP And &HFFFF) >> 8)
        sb.Append(".")
        sb.Append((longIP And &HFF))
        Return sb.ToString()
    End Function

将二进制形式表示的IP转换成点分十进制格式表示的IP

算法描述:

二进制形式表示的IP右移24位。 二进制形式表示的IP与0XFFFFFF做与运算后右移16位。 二进制形式表示的IP与0XFFFF做与运算后右移8位。 二进制形式表示的IP与0XFF做与运算。 将上面4部分及每次计算后连接的.拼接起来即点分十进制表示的IP,返回。

4.5 Merge

   Public Function Merge(ByVal intervals As List(Of Interval)) As List(Of Interval)
        Dim res As New List(Of Interval)
        If intervals.Count = 0 Then Return res
        intervals = intervals.OrderBy(Function(i) i.st).ToList
        res.Add(intervals(0))
        For i As Long = 1 To intervals.Count - 1
            If intervals(i).st <= res(res.Count - 1).ed Then
                res(res.Count - 1).ed = Math.Max(intervals(i).ed, res(res.Count - 1).ed)
            Else
                res.Add(intervals(i))
            End If
        Next
        Return res
    End Function

这应该算是核心部分了,将IP区间合并。

算法描述:

将intervals中各个区间按起始IP升序排列。 在res中添加intervals的第一个区间。(res作为最后的处理结果返回) 将intervals中从第二个区间开始的每个区间的起始IP与res中最后一个区间的结束IP作比较,如果小于或者相等,则将intervals中该区间的结束IP与res中最后一个区间的结束IP中的较大值赋给res中最后一个区间的结束IP。 如果大于,则将intervals中的该区间直接添加到res中。

4.6 输出合并结果

        For Each item In IPRes
            If item.st <> item.ed Then
                appstr.AppendLine(LongToIP(item.st) & "-" & LongToIP(item.ed))
            Else
                appstr.AppendLine(LongToIP(item.st))
            End If
        Next

这一部分就是将合并后的结果输出:如果起始IP与结束IP不同,则以包含分隔符的形式输出;如果相同,则只输出起始IP。

4.7 总结

总结.png

五、IP区间合并工具.vb较exe改进部分

一开始只把exe文件下载下来试了试效果,但是在有192.168.0.0/26时,结果是0.0.0.0。(打码有点丑,见谅。)

下载 (1).jpeg

用ILSPY反编译后可以看到:

下载 (2).jpeg下载 (3).jpeg

exe版本只能处理/8、/16、/24、/32的CIDR形式的IP地址,这也就是为什么在有192.168.0.0/26时,结果是0.0.0.0了。改进部分如下(可以回看0x04.3):

BitString = BitString.Substring(0, CInt(ip2)).PadRight(32, "1")

运行效果如图:

下载 (4).jpeg

不足之处在于192.168.0.0,在.exe中是直接拼接的".1",所以结果是192.168.0.1。

下载 (5).jpeg

我的Python脚本中对这一部分做了调整。

六、编写Python脚本实现相同功能

将主要部分main函数放出来,其他的函数部分根据上面的算法可以自行写出:

# /usr/bin/env python3

import os
import argparse

class Interval(object):
    def __init__(self):
        self.st=bin(0)
        self.ed=bin(0)
    def change(self,new_st,new_ed):
        self.st=new_st
        self.ed=new_ed

def file_read(oldpath):
    oldfile=open(oldpath,'r')
    print('\033[1;34m'+'[-]Reading file...'+'\033[0m')
    IP_line="".join(oldfile.readlines())
    oldfile.close()
    count=0
    for i in enumerate(open(oldpath,'r')):
        count+=1
    return IP_line.splitlines(),count

def file_write(newpath,intervals):
    newfile=open(newpath,'w')
    write_IP=merge(intervals)
    print('\033[1;34m'+'[-]Writing in file...'+'\033[0m')
    for interval in write_IP:
        if interval.st!=interval.ed:
            newfile.write(LongToIP(interval.st)+'-'+LongToIP(interval.ed)+'\n')
        else:
            newfile.write(LongToIP(interval.st)+'\n')
    return len(write_IP)
def IPToLong(strIP):
    try:
        ip=[]
        single=strIP.split('.')
        for single_ip in single:
            ip.append(int(single_ip))
        return bin((ip[0]<<24)+(ip[1]<<16)+(ip[2]<<8)+ip[3])
    except Exception as e:
        return bin(0)

def LongToIP(longIP):
    IP_list=[]
    IP_list.append(str(eval(longIP) >>24))
    IP_list.append(str((eval(longIP) & 0xffffff)>>16))
    IP_list.append(str((eval(longIP) & 0xffff)>>8))
    IP_list.append(str((eval(longIP) & 0xff)))
    return '.'.join(IP_list)

def merge(intervals):
    interval_tmp=Interval()
    res=[interval_tmp]
    if len(intervals)==0:return res
    intervals.sort(key=lambda intervals_sort: int(intervals_sort.st,base=2))
    res[0]=intervals[0]
    for i in range(1,len(intervals)):
        if int(intervals[i].st,base=2)<=int(res[len(res)-1].ed,base=2):
            max_ed=max(int(intervals[i].ed,base=2),int(res[len(res)-1].ed,base=2))
            res[len(res)-1].ed=bin(max_ed)
        else:
            res.append(intervals[i])
    return res

def main(oldpath):
    IP_list,before_merge=file_read(oldpath)
    IP_interval=[]
    IP_tmp=[IPToLong('0.0.0.0'),IPToLong('0.0.0.0')]
    for IP_range in IP_list:
        if '-' in IP_range:
            interval_tmp=Interval()
            tmp=IP_range.split('-')
            if len(tmp)==2:
                IP_tmp[0]=(IPToLong(tmp[0]))
                IP_tmp[1]=(IPToLong(tmp[1]))
                interval_tmp.change(IP_tmp[0],IP_tmp[1])
                IP_interval.append(interval_tmp)
        elif '/' in IP_range:
            interval_tmp=Interval()
            tmp=IP_range.split('/')
            if len(tmp)==2:
                ip1=tmp[0]
                ip2=tmp[1]
                ip1_tmp=ip1.split('.')
                if ip1[-1]=='0':
                    ip1=ip1[:-1]+'1'
                for i in range(len(ip1_tmp)):
                    ip1_tmp[i]=bin(int(ip1_tmp[i]))[2:].rjust(8)
                    ip1_tmp[i]=ip1_tmp[i].replace(' ','0')
                ip1_tmp=''.join(ip1_tmp)
                ip2_tmp=ip1_tmp[0:int(ip2)].ljust(32)
                ip2_tmp=ip2_tmp.replace(' ','1')
                ip1_tmp=[]
                for j in range(0,31,8):
                    ip1_tmp.append(str(int(ip2_tmp[j:j+8],base=2)))
                ip2='.'.join(ip1_tmp)
                interval_tmp.change(IPToLong(ip1),IPToLong(ip2))
                IP_interval.append(interval_tmp)
        else:
            interval_tmp=Interval()
            interval_tmp.change(IPToLong(IP_range),IPToLong(IP_range))
            IP_interval.append(interval_tmp)
    newpath=os.path.join(os.path.split(oldpath)[0],'new_'+os.path.split( oldpath)[1])
    after_merge=file_write(newpath,IP_interval)
    print('\033[1;31m'+'[+]Complete!\nBefore the merger:'+str(before_merge)+' After the merger:'+str(after_merge)+'\033[0m')
if __name__ == '__main__':
    parser=argparse.ArgumentParser()
    parser.add_argument('-p',help='Old IP_Inteval File Path')
    args=parser.parse_args()
    if args.p:
        main(args.p)
    else:
        print('\033[1;31m'+'[-]Please enter the correct parameters'+'\033[0m')

其中oldpath是合并之前的IP区间存放的文件路径。

七、后记

这个工具在需要处理大量IP段(如:一个市级IP段或成批自动化扫描)时很有用处,而且会减少后面的工作量。感谢gx童鞋帮我调试这个工具(因为我本地没有VS)。

*本文作者:ERFZE,转载请注明来自FreeBuf.COM

# python # IP区间合并
本文为 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者