Steamcache ja nginx

Aikaisemmin tuli kirjoiteltua miten lanit saa nopeammiksi. Vaikka oma cache-palvelin ei ole vielä päässytkään tosi testiin oli aika kaivaa laitteisto esiin ja katsoa, että säädöt jne. ovat toimineet.

Tämän yhteydessä aloin myös miettimään miten saada muuta palvelut toimimaan tässä samaisessa järjestelmässä. Aikaisemmin kun tein tätä, niin jokainen palvelu vaatii oman IP-osoitteen jossa se toimii. Tämä tieto sitten jaetaan steamcache-dns-palvelun avulla.

Aloin käymään tätä läpi ja sain vinkin Docker Composeen, jonka avulla on helppo ylläpitää monia dockereita samanaikaisesti. Kun olin tutustunut Docker Composeen ja samalla huomannut, että steamcachella on valmis scripti tätä varten, niin päätin tarttua toimeen.

Helpottaakseni muiden työtä kannattaa lukaista aikaisemmin tekemäni postaus ja sen jälkeen siirtyä tähän. Myös helpottaakseen tämän postauksen etenemistä suosittelen tekemään asivalmisteluja.

Asennetaan ensimmäisenä Docker Compose komennolla
sudo curl -L "https://github.com/docker/compose/releases/download/1.22.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

Seuraavaksi asennetaan jq, mitä käytetään parsintaan komennolla
sudo apt-get install jq

Lopuksi vielä git, jotta saadaan repo kloonattua
sudo apt-get install git

Sitten itse asiaa. Homma alkaa sillä, että ensimmäisenä kloonataan tuo steamcachen docker-compose komennolla
git clone https://github.com/steamcache/docker-compose.git

Seuraavaksi mennään tähän kansioon komenolla cd docker-compose. Seuraavaksi sinun pitää muokkaa .env tiedostoa vaikkapa nanolla ja antaa tänne palvelimen kiinteä IP-osoite. Lopuksi voit scriptillä generoida tarvittavan docker-compose.yml tiedoston, jolla saadaan dockerit käyntiin. Kun tämä on tehty voit nostaa dockerit pystyyn komennolla docker-compose up -d.

Ensimmäisellä kerralla tämä lataa tarvittavat dockerit ja käynnistää ne. Komennolla näet docker container ls näet pyörivät dockerit. Nyt tilanne on seuraava, että dockerit pyörivät omassa verkossaan ja näiden edessä on nginx, joka ohjaa ulkoa tulevat cache pyynnöt oikeaan dockeriin. Sinun tulee vain asettaa tämä palvelimen IP-osoite käytettävän koneen DNS-osoitteeksi tai jakaa se DHCP:n avulla.

Palvelut/cache-dockerit jotka pyörivät vakiona ovat seuraavat

• nginx
• dns
• sniproxy
• apple
• arenanet
• blizzard
• daybreak
• frontier
• hirez
• minecraft
• nexusmods
• nintendo
• origin
• renegadex
• riot
• rockstar
• sony
• steam
• uplay
• twitch
• wargaming
• wsus
• xboxlive

Jos haluat rajoittaa mitä palveluita pyörität, se onnistuu seuraavasti. Ensimmäisenä pysäytä dockerit kommennolla

docker-compose stop

Tämän jälkeen sinun tulee muokata .env tiedostoa. Tänne sinun pitää lisätä vaikka tiedoston loppuun halutun palvelun disablointi esim. DISABLE_BLIZZARD=true. Lopuksi tallenna tämä tiedosto. Seuraavaksi sinun tulee muokata docker-compose.yml tiedostoa siten, että joko kommentoit blizzard kohdan pois tai sitten poistat tämän kokonaan. Lopuksi tallenna tämä tiedosto ja aja dockerit ylös docker-compose up -d -komennolla.

Tässä tapauksessa disabloimme blizzardin ja samalla poistimme kohdan jotta tätä dockeria ei turhaan ajeta pystyyn. Nyt nämä DNS pyynnöt, jotka koskevat blizzardin palveluita ohjataan suoraan blizzardille ja cache-palvelin ei näistä välitä. Tätä muutosta monistamalla voit poistaa halutut palvelut/dockerit pois ajosta. Jos muutoksien jälkeen ajat generate.sh-scriptin tämä nollaa tilanteen eli aktivoi taas kaiken takaisin.

Lähteet
https://docs.docker.com/compose/
https://github.com/steamcache

Lanit nopeammiksi

Lanit lähenevät ja jokaisella kerralla ongelmana on verkon nopeus ulkomaailmaan. Tämä johtunee siitä, että emme lanittele enää kunnon yhteyksien perässä vaan yhteys on se mitä 4G meille sua. Yhteyden nopeus on johtanut siihen, että kun peleihin tulee päivityksiä tai vastaavia se syö kaistan, tällöin päivitykset ja asennukset kestävät paljon pidempään.

Tänä vuonna on tarkoitus kokeilla Steam Cache -ohjelmistoa. Ideana tämä lähti LTT:n videosta. Ohjelmiston tarkoituksena on cachettaa itselleen eri pelien asennuspaketit/päivitykset ja näin ollen kun useampi kone lataa samoja tietoja, haetaan se paikalliselta palvelimelta. Ohjelmistoa on tarkoitus pyörittää Ubuntun päällä.

Palvelin rauta ei vielä ole kummoinenkaan. Tällä hetkellä i5-3470 prosessori, 4Gt keskusmuistia, 500Gt SSD ja ulospäin tarjolla 1+1Gt linkki.

Ensimmäisenä piti asentaa Ubuntu ja tähän valikoitui Ubuntu 18.04 LTS. Tämän jälkeen kun Ubuntu oli saatu asennettua ja päivitettyä oli aika alkaa asentamaan itse ohjelmistoa. Ohjelmistoa tultaisiin pyörittämään Dockerin päällä.

Ohjeita on monia mutta käytämme tässä pohjana LTT:n foorumilla olevaa ohjetta.

Aluksi asennetaan curlin viimeisin versio.
sudo apt install curl -y

Sitten asennetaan Dockerin viimeisin versio

sudo curl -sSL https://get.docker.com/ | sh

Asennuksen jälkeen on hyvä tarkistaa, että tämä toimii komennolla

sudo systemctl status docker

Jos halutaan ajaa monen eri pelitarjoajan cachea, niin tällöin palvelimelle tulee asettaa käyttöön virtuaalisia IP-osoitteita, joita voidaan varata käytettäväksi muille cacheille.

Kun tarvittavat alkuvalmistelut on tehty, voidaan ensimmäisenä käynnistää Steam Cache

IP-osoitteeksi sinun tulee asettaa palvelimen IP-osoite

Voit halutessasi muuttaa myös cachen sijainteja

sudo docker run \

  --restart unless-stopped -d \

  --name steam-cache \

  -v /home/USERNAME/cache/steam/data:/data/cache \

  -v /home/USERNAME/cache/steam/logs:/data/logs \

  -p 192.168.1.50:80:80 \

  steamcache/generic:latest

LTT:n foorumin ohjeesta löytyy muiden pelitarjojien komennot, joita voit hyödyntää tarvittaessa.

Jos haluat tyhjentää cachea tietyn väliajoin voit laittaa sen vanhentumaan lisäämällä komentoon seuraavaan muuttujan -e CACHE_MAX_AGE=365d.

Näiden jälkeen on aika laittaa DNS-palvelimen pyörimään, seuraavalla komennolla

sudo docker run \

  --restart unless-stopped -d \

  --name steamcache-dns \

  -p 192.168.1.50:53:53/udp \

  -e UPSTREAM_DNS=8.8.8.8 \

  -e STEAMCACHE_IP=192.168.1.50 \

  steamcache/steamcache-dns:latest

Kun olet saanut laitettua halutut palvelut pyörimään on aika tarkistaa, että nämä toimivat komennolla

sudo docker container ls

Seuraavaksi on aika suunnata käytettävän koneen kimppuun ja muuttaa tämän ensisijainen DNS-osoittamaan Steam Cache -palvelinta ja toissijaiseksi voi halutessaan laittaa oman haluamansa. Jos kyseessä on Windows-kone on hyvä tyhjentää sen DNS-tiedot seuraavalla komennolla

ipconfig /flushdns

Tämän jälkeen voit tarkistaa toiminnan seuraavalla PowerShell komennolla

Resolve-DnsName steamcache.cs.steampowered.com -server 192.168.1.50

Tai Linuxissa

dig @192.168.1.50 +short steamcache.cs.steampowered.com

Voit seurata järjestelmän toimintoa asentamalla nload-ohjelmiston

sudo apt-get install nload

Ja käynnistämällä ohjelman komennolla

nload

Lähteet

https://linustechtips.com/main/topic/962655-steam-caching-tutorial/

https://github.com/steamcache

https://arstechnica.com/gaming/2017/01/building-a-local-steam-caching-server-to-ease-the-bandwidth-blues/

https://www.docker.com/

Ubuntu 14 LTS ja HEW

yaVDR 0.6.1 on rakennettu Ubuntu 14 LTS päälle. Huomasin tuossa jo jokunen aika eli viime vuoden syksyllä, että Ubuntu Hardware Enablement Stacks (HWE) -tuki on loppunut kerneleistä 3.16, 3.19 ja 4.2. Tästä tulee kyllä kirjautuessa varoitus ja järjestelmä kertoo miten tulee toimia.

Yksinkertaisuudessa päivität vain uudemman kernelin esim. 4.4:n komennolla sudo apt-get install linux-generic-lts-xenial

Tämän tuki loppuu 4.4.2019.

yaVDR 0.6 ja muuta tipsi

En oikein odottanut tätä uusinta versiota mutta kun se tuli niin pakkohan se oli laittaa tulille. Julkaisutietoihin pääsee tutustumaan tästä.

Asennuksen yhteydessä kävi muutama asia mitkä voisin tuoda seuraavaksi esiin.

Kuvaa ei tule vaan näkyy vain tty1 login

Kokeile ajaa komento sudo process-template /etc/X11/xorg.conf.yavdr Tämän tulisi luoda xorg.conf uudelleen ja korjata ongelma seuraavassa bootissa.

TBS-ajureiden kääntämisen bugi

TBS-ajureissa on pieni bugi joka estää make menuconfigin käytön jos sen kautta halutaan aktivoida lirc moduuleita. Tässä siihen kiertotie.

Alussa jos olet tehnyt jo jotain kääntöjä niin helpoin tapa lähteä tyhjästä on antaa komennot make clean ja make distclean, joka tyhjentää asetuksit nolliin.

Aluksi ajureiden haku ja aloitus normaaliin tapaan.

mkdir folder cd folder wget urltbsdrivers.zip

unzip tbsdrivers.zip

bzip2 -d linux-tbs-drivers.tar.bz2

tar xvf linux-tbs-drivers.tar

cd linux-tbs-drivers

find -type d -exec chmod 755 \{\} \;

find -type f -exec chmod 644 \{\} \;

find -name '*.sh' -exec chmod 755 \{\} \;

find -name '*.pl' -exec chmod 755 \{\} \;

./v4l/tbs-x86_64.sh

Myös muut scriptit jos tarvitsee muita


Aluksi ajureiden haku ja aloitus normaaliin tapaan. Ajetaan make komento ja annetaan tehdä pari riviä kääntöä mutta pysäytetään se CTRL+C Tämän jälkeen avataan vaikka nanolla seuraava tiedosto ./v4l/.config Tarkistetaan, että siellä on jo jotain riviä tullut. Tämän jälkeen tiedoston loppuun lisätään seuraava pätkä

CONFIG_STAGING=y

#

# Media devices in staging

#

# CONFIG_STAGING_BROKEN is not set

# CONFIG_VIDEO_GO7007 is not set

# CONFIG_VIDEO_CX25821 is not set

CONFIG_LIRC_STAGING=y

# CONFIG_LIRC_BT829 is not set

# CONFIG_LIRC_IGORPLUGUSB is not set

# CONFIG_LIRC_IMON is not set

# CONFIG_LIRC_PARALLEL is not set

# CONFIG_LIRC_SASEM is not set

# CONFIG_LIRC_SERIAL is not set

# CONFIG_LIRC_SIR is not set

CONFIG_LIRC_TTUSBIR=m

# CONFIG_LIRC_ZILOG is not set

# CONFIG_ALTERA_STAPL is not set

# CONFIG_DVB_CXD2099 is not set

Esimerkiksi

CONFIG_STAGING=y
#
# Media devices in staging
#
# CONFIG_STAGING_BROKEN is not set
# CONFIG_VIDEO_GO7007 is not set
# CONFIG_VIDEO_CX25821 is not set
CONFIG_LIRC_STAGING=y
# CONFIG_LIRC_BT829 is not set
# CONFIG_LIRC_IGORPLUGUSB is not set
# CONFIG_LIRC_IMON is not set
# CONFIG_LIRC_PARALLEL is not set
# CONFIG_LIRC_SASEM is not set
CONFIG_LIRC_SERIAL=m
# CONFIG_LIRC_SIR is not set
# CONFIG_LIRC_TTUSBIR is not set
# CONFIG_LIRC_ZILOG is not set
# CONFIG_ALTERA_STAPL is not set
# CONFIG_DVB_CXD2099 is not set

Sitten vain tallennus. Nämä samat rivit CONFIG_STAGING=y, CONFIG_LIRC_STAGING=y ja CONFIG_LIRC_SERIAL jne. löytyvät myös tuota vakio konffista aka ./v4l/.config josta ne voi myös hakea ja muokata kuten loppuosassa tai käyttää vain loppuosaa.

Sitten voi vielä varmuudeksi ajaa scriptin ./v4l/tbs-x86_64.sh ja muut jos tarve, näitä ei ole pakko kuitenkaan ajaa. Käännön pitäisi muistaa nämä.

Lopuksi antaa vain antaa komennon make jonka jälkeen pitäisi näkyä vakio moduuleiden lisäksi yhteensä 531 käännettyä moduulia tai enemmän jos on laittanut enemmän käännettäviä moduuleita. Vakio määrä moduuleita on 530, tämä toki voi vaihdella ajuripakettien mukaan.

make

Viimeisenä normaalisti
sudo make install

y aktivoi halutun osa-alueen ja m aktivoi halutun moduulin käännettäväksi.

disagrees about version of symbol dvb_frontend_detach

Jos saat yllämainitun virheen kun olet kääntänyt ajurit ja nämä eivät lataudu bootissa, niin ongelmana on media-kansiossa kummittelevat ajurit. Poista nämä komennolla

sudo rm -rf /lib/modules/$(uname -r)/kernel/drivers/media

Jonka jälkeen voit asentaa käännetyt ajurit uudelleen kommennolla

sudo make install

Nyt pitäisi virheen poistua ja ajureiden latautua oikein.

Linux serveri

Eilen tuli pitkästä aikaa väännettyä taas linux alusta loppuun. Otin käyttööni uusimman Ubuntu 11.10 ja siitä sitten vääntelin omaan käyttööni laitteen kasaan. Ennestään "serverissä" pyöri Windows 7 mutta hyvin tämä Ubuntu taipui samoihin kuin Windows 7. Levyjaot menivät oikein vaikka Samba vähän kiusoitteli alkuun, levyt mappautuivat myös järjestelmään oikein. Näiden lisäksi SSH toki käyttöön. VNC piti vielä laittaa kasaan mutta ilmeisesti VINO ei käynnistykään automaattisesti jollei käyttäjä loggaa sisään. Tätä pitää vielä tutkia kun koneessa ei ole näyttöä koko ajan käytössä. OSCam toimii hienosti ja nopeammin kuin Windowsilla kiitos parempien kortinlukijan ajureiden.

Mutta voi olla, että menee hetki kun palaa VNC kimppuun kun eihän tätä tarvitse kuin SSH yli käyttää.

OSCam ja Ubuntu

Kyllä se onnistui sittenkin vaikka vähän piti säätää. Enää jäljellä on vdr-sc juttelu tuon kanssa kunnolla. Kyllä se yhteyden ottaa mutta ei saa dataa. Jotain pientä siis jossain mutta muuten itse OSCam toimii kuten pitää.

Käytin itse pohjana Ubuntun 11.04 x64 versiota. Tässä pikaiset ohjeet kuinka asentaa OSCam Ubuntuun. Tärkein asia asennuksessa on, että jos kaipaa webinterfacea pitää se muistaa kääntää myös. Tämä käännetään cmake komennon perässä olevalla -DWEBIF=1 .. -käskyllä.

Asennusohjeet:

cd /lib/
sudo ln -s libcrypto.so.0.9.8e libcrypto.so.0.9.8
sudo apt-get install yum
cd /usr/local/bin/
sudo apt-get install subversion
sudo svn co  http://streamboard.tv/svn/oscam/trunk oscam-svn
cd oscam-svn/
sudo apt-get install cmake
sudo mkdir build_dir
cd build_dir
sudo cmake /usr/local/bin/oscam-svn -DWEBIF=1 ..
sudo make
sudo make install
Nyt voit tehdä konfigurointi tiedostot ja pistää ne /usr/local/etc -kansioon.

Käynnistys taustalle tapahtuu antamalla sudo oscam -b -komento terminaalissa.

Laitan jossain välissä testi-konffeja jakoon mutta tällä hetkellä kun vielä säädetään, ei ole oikein laitettavaa.
OSCamille on tarjolla heidän wikissään aika kattavat ohjeet.

Kaukosäädintä...

Tuossa kun konffejani tutkin, niin turhaan siellä se Samsung oli. Konffit vekka ja uudelleen opettelu, niin hommahan lähti sillä skulaamaan ja uusi lircmap.xml alla. Seuraavaksi jos Spotify...

<lircmap>

<remote device="Terratec">

<up>UP</up>

<down>DOWN</down>

<left>LEFT</left>

<right>RIGHT</right>

<select>OK</select>

<back>BACK</back>

<play>PLAY</play>

<volumeplus>VOL+</volumeplus>

<volumeminus>VOL-</volumeminus>

<channelplus>CH+</channelplus>

<channelminus>CH-</channelminus>

<stop>STOP</stop>

<pause>PAUSE</pause>

<power>Power</power>

<mute>MUTE</mute>

<menu>HOME</menu>

<skipplus>NEXT</skipplus>

<skipminus>LAST</skipminus>

<reverse>FR</reverse>

<forward>FF</forward>

<mymusic>MUSIC</mymusic>

<myvideo>VIDEO</myvideo>

<mypictures>PIC</mypictures>

<showsubtitles>Subtitles</showsubtitles>

</remote>

</lircmap>