Month: August 2003

포트를 만들거나 업글할 때 가장 귀찮은 과정 중의 하나인 plist를 자동으로 만드는 방법은 mtree기반으로 된 것이 있었지만, 뭔가 다른 프리픽스로 한 번 깔아보는 게 대략 귀찮은 관계로.. ktrace 를 이용한 방법을 한 번 생각해 봤습니다. 흐흐흐.. open 시스템 콜을 모두 추적해서 O_WRONLY나 O_CREAT로 열린 녀석들 목록을 자동으로 plist로 만들어주는 것인데, 대충 만들어 본 소스는..

  1 
  2 
  3 
  4 
  5 
  6 
  7 
  8 
  9 
 10 
 11 
 12 
 13 
 14 
 15 
 16 
 17 
 18 
 19 
 20 
 21 
 22 
 23 
 24 
 25 
 26 
 27 
 28 
 29 
 30 
 31 
 32 
 33 
 34 
 35 
 36 
 37 
 38 
 39 
 40 
 41 
 42 
 43 
 44 
 45 
 46 
 47 
 48 
 49 
 50 
 51 
 52 
 53 
 54 
 55 
 56 
 57 
 58 
 59 
 60 
 61 
 62 
 63 
 64 
 65 
 66 
 67 
 68 
 69 
 70 
 71 
 72 
 73 
 74 
 75 
 76 
 77 
 78 
 79 
 80 
 81 
 82 
 83 
 84 
 85 
 86 
 87 
 88 
 89 
 90 
 91 
 92 
 93 
 94 
 95 
 96 
 97 
 98 
 99 
100 
101 
102 
103 
104 
105 
106 
107 
108 
109 
110 
111 
112 
113 
114 
115 
116 
117 
118 
119 
120 
121 
122 
123 
124 
125 
126 
127 
128 
129 
130 
131 
132 
133 
134 
135 
136 
137 
138 
139 
140 
141 
142 
143 
144 
145 
146 
147 
148 
149 
150 
151 
152 
153 
154 
155 
156 
157 
158 
159 
160 
161 
162 
163 
164 
165 
166 
167 
168 
169 
170 
171 
172 
173 
174 
175 
176 
177 
178 
179 
180 
181 
182 
183 
184 
185 
186 
187 
188 
189 

#!/usr/bin/env python
#
# autoplist.py - Automatic pkg-plist generator based on ktrace
#
# ----------------------------------------------------------------------------
# "THE BEER-WARE LICENSE" (Revision 42, (c) Poul-Henning Kamp):
# Hye-Shik Chang <perky@FreeBSD.org> wrote this file.  As long as you retain
# this notice you can do whatever you want with this stuff. If we meet some
# day, and you think this stuff is worth it, you can buy me a beer in return.
#
# Hye-Shik Chang
# ----------------------------------------------------------------------------
# $FreeBSD$

import os, random
import sys, re
import time

random.whseed()
TMPNAM = '.autoplist.%d.%x' % (os.getpid(), random.randrange(65536))
KTRACECMD = 'ktrace -f %s -id -t cn %%s' % TMPNAM
KDUMPCMD = 'kdump -f %s' % TMPNAM
O_WFLAGS = os.O_WRONLY | os.O_RDWR | os.O_CREAT
PREFIX = '/usr/local'
IGNOREPREFIX = ['/dev/', '/tmp/']
PLIST_SUBS = (
    'PYTHON_INCLUDEDIR', 'PYTHON_LIBDIR', 'PYTHON_SITELIBDIR',
    'SITE_PERL', 'SITE_RUBY', 'DOCSDIR', 'EXAMPLESDIR', 'DATADIR',
)
PLISTREPLACE = []

def errorexit(msg):
    print >> sys.stdout, "autoplist.py:", msg
    sys.exit(-1)

def cleanup_tmpfiles():
    try:
        os.unlink(TMPNAM)
    except:
        pass

def getmakeenv(envname):
    return os.popen('make -V "%s"' % envname).read().strip()

def echo_msg(msg):
    print '===>  ', msg

class InstallState:

    procs = {}
    lastforker = 0

    def __init__(self, pid, procname):
        self.pid = pid
        self.procname = procname
        if not self.lastforker:
            self.curdir = os.getcwd()
        else:
            self.curdir = self.procs[self.lastforker].curdir
        self.procs[pid] = self
        self.files, self.dirs = {}, {}
        self.trackatom = {}

    def feed(self, args):
        if self.trackatom:
            if args[2] == 'NAMI':
                self.trackatom['nami'].append(eval(args[3]))
            elif args[2] == 'RET':
                rtok = args[3].split()
                if rtok[1].isdigit() or rtok[1].startswith('0x'):
                    self.trackatom['exit'] = eval(rtok[1])
                else:
                    self.trackatom['exit'] = rtok[1]
                if len(rtok) >= 3:
                    self.trackatom['errno'] = eval(rtok[3])
                self.newsyscall(**self.trackatom)
                self.trackatom = {}
        elif args[2] == 'CALL':
            syscall, ignore, args = re_syscallargs.findall(args[3])[0]
            self.trackatom['syscall'] = syscall
            self.trackatom['args'] = args and args.split(',') or []
            self.trackatom['nami'] = []
            if syscall in ('fork', 'vfork', 'rfork'):
                InstallState.lastforker = self.pid

    def getabspath(self, path):
        if path.startswith('/'):
            return path
        else:
            return os.path.realpath(os.sep.join([self.curdir, path]))

    def newsyscall(self, syscall, args, nami, exit, errno=0):
        if syscall == 'open':
            if eval(args[1]) & O_WFLAGS:
                self.files[self.getabspath(nami[0])] = None
        elif syscall == 'mkdir':
            self.dirs[self.getabspath(nami[0])] = None
        elif syscall == 'chdir' and exit == 0:
            self.curdir = self.getabspath(nami[0])
        elif syscall in ('execve',) and exit == 0:
            self.procname = nami[0]

def filterfilelist(files):
    filelist = []
    warnlist = []
    prefix = PREFIX + os.sep
    for f in files:
        for pfx in IGNOREPREFIX:
            if f.startswith(pfx):
                continue
        if f.startswith(prefix):
            filelist.append(f[len(prefix):])
            for var, repl in PLISTREPLACE:
                if filelist[-1].startswith(repl):
                    filelist[-1] = filelist[-1].replace(repl, '%%'+var+'%%')
        else:
            warnlist.append(f)
    return filelist, warnlist

re_syscallargs = re.compile('([A-Za-z0-9_-]+)(\(([^)]*)\))?')
def getwfiles():
    entry = {}
    istate = InstallState.procs
    echo_msg('Analyzing installation syscall logs')
    for l in os.popen(KDUMPCMD):
        ltok = l[:-1].split(None, 3)
        pid = int(ltok[0])
        if not istate.has_key(pid):
            proc = istate[pid] = InstallState(pid, ltok[1])
        else:
            proc = istate[pid]
        proc.feed(ltok)

    echo_msg('Generating auto plist')
    fo = open("pkg-plist.autogen", "w")
    print >>fo, "@comment Generated by autoplist.py", time.asctime()

    files = {}
    dirs = {}
    for pid, data in istate.iteritems():
        files.update(data.files)
        dirs.update(data.dirs)

    files = files.keys()
    files.sort()
    files, warnfiles = filterfilelist(files)
    for file in files:
        print >>fo, file

    dirs = dirs.keys()
    dirs.sort()
    dirs.reverse()
    dirs, warndirs = filterfilelist(dirs)
    for dir in dirs:
        print >>fo, "@dirrm", dir

    return istate

def main():
    try:
        err = os.system('make build')
        if err != 0:
            errorexit("`make' exited with error code %d" % err)
        err = os.system(KTRACECMD % 'make install')
        if err != 0:
            errorexit("`make' exited with error code %d" % err)
        getwfiles()
    finally:
        cleanup_tmpfiles()

def buildenvironment():
    global IGNOREPREFIX, PREFIX, PLISTREPLACE

    IGNOREPREFIX.append(os.path.abspath(getmakeenv('WRKDIRPREFIX')))
    IGNOREPREFIX.append(os.path.abspath(getmakeenv('DISTDIR')))
    IGNOREPREFIX.append(os.path.abspath(getmakeenv('PKG_DBDIR')))
    PREFIX = getmakeenv('PREFIX')

    for var, raw, stripped in re.findall('([A-Za-z_0-9]+)=("([^"]*)"|[^"]\S*)',
                                getmakeenv('PLIST_SUB')):
        if var in PLIST_SUBS:
            PLISTREPLACE.append((var, stripped or raw))
    PLISTREPLACE.sort(lambda x,y: -cmp(x[1], y[1]))

if __name__ == '__main__':
    buildenvironment()
    main()

# ex: ts=9 sts=4 sw=4 et


흐흐.. 그런데, 대충 만들고 나서 보니, 속도가 너무 느리고 (좀만 대형 포트로 가면 엄청난 양의 kdump가 나와버려서 그것 파싱하는데 십분이 넘게 걸립니다 –;) mtree기반의 녀석에게 특별한 장점이 없다는 결론이.. 흐흐흐… (그리고, 위 구현에서는 디렉토리를 인스톨 도중에 mv 해 버린다던지 하는 것에 대해서 무방비 –;)


그래서, 이 녀석을 좀 변모시켜서 plistlint 정도의 이름으로 인스톨하면서 plist에 없는 프로그램 건드리지는 않나, 빼먹은 파일 없나, /tmp에 이상한 파일 남기지 않나 등등을 검사하는 걸로 만들어 볼 까 합니당. 크크
			

FreeBSD의 물리적 주소 범위를 4GB이상으로 넓히는 Jake Burkholder의 PAE 옵션이 Luoqi Chen의 포팅 작업으로 4.x에 성공적으로 포팅돼서 그동안 많은 테스트가 있었는데, 이제 이번 주 금요일에 PAE가 4에 임포트가 된다고 합니다. PAE를 사용하는 드라이버같은 것들이 따로 아직 많은 편은 아니기 때문에 직접적인 영향은 없으리라 생각되지만, 그래도 안정적인 시스템 운용이 필요한 분들은 다음 주까지는 좀 미루시는 것이 좋겠군요.

PAE가 들어오면 이제 FreeBSD 4에서도 4GB이상의 메모리를 쓸 수 있고, 2테라 이상의 단일 스토리지를 쓸 수 있게 됩니다. 그리고, 이것을 포함한 다음 릴리즈는 9월 예정인 FreeBSD 4.9! ~.~

python2.3의 _xmlplus 최소 버전이 0.8.2로 되어있어서, FreeBSD 포트 textproc/py-xml 으로는 python2.3에서 쓸 수 없었던 문제가 있었습니다. (사실은 그 문제 때문에, openlook도 잠시 cgitb 판이 됐었;; ~.~) 메인테이너인 wjv가 지금 직장을 옮기느라 바쁜 상태라서, 그냥 방금 0.8.3으로 업그레이드해 버렸습니다. 혹시 파이썬 2.3에서 py-xml이나 pyblosxom쓰시는 분은 이제 업글하시면 제대로 될 겁니다.

그동안 ami가 특별한 경쟁자없이 주도하고 있던 XIM 세계에, 드디어 경쟁자가 나타났습니다. 바로 오픈소스 소리바다 클라이언트인 소리받아와 GTK+2용 한글 입력기인 imhangul로 유명하신 크리스나님께서 ‘나비’라는 이름의 예쁜 입력기를 공개하신 것!

‘나비’는 GTK+2기반으로 되어있지만 표준 XIM 인터페이스를 제공하기 때문에 OpenOffice나 KDE, xterm같은 곳에서도 쓸 수 있기에, ami나 hanIM같은 기존 XIM들을 완전히 대체할 수 있을 뿐더러, imhangul에서 보아왔던 유니코드 기반 오토마타를 내장하고 있기 때문에, 옛 한글 지원 같은 진보적인 기능들을 지원할 수 있는 기반을 갖추고 있습니다.

또한, KDE와 GNOME에 도킹이 되는데, ami가 KDE3에 도킹이 제대로 안 되고 있었던 점을 감안하면 (ami는 KDE3보다 나중에 떠야지만 도킹이 됨) KDE사용자들에게도 이제 축복이~~ 그러나, NumLock 이 켜져있는 상태에서는 한글이 입력 안 된다거나, xterm에서 한글입력 중에 스페이스를 누르면 스페이스가 먼저 커밋되는 것 같은 사소한 몇가지 문제점이 있는데, 아직 0.1이기 때문에 개선의 여지는 충분히 많이 있겠죠~

FreeBSD 포트 korean/nabi 에 등록되어 있습니다.

lang/python 을 파이썬 2.3으로 업그레이드하고, lang/python22 에 파이썬 2.2를 레포카피한 뒤에 altinstall로 바꿔두었습니다. 대충 파이썬 포트들 한 20개 정도 테스트해 보니 호환성에는 별 문제가 없는 듯 하네요. ~.~

자자 모두들 portupgrade python 때리시고…. 흐흐흐 =3

lang/python-devel 포트는 2.4a0 오늘자 스냅샷을 뽑아서 올릴 생각입니다. 참 그리고, 오늘 lang/jython 이 드디어 2.2a0이 발표되었더군용. Jython 팬들은 꼭 확인을 ~.~