Hej alle BB medlemmer.

TL;DR Vi forsøger igen at opdatere forumet, men denne gang kan i være med i store dele af processen.

Det er ved at være længe siden der først blev nævnt at forumet ville blive opdateret, helt tilbage i 2020 (og formentlig tidligere) hvor jeg blev sat til at hjælpe med opdateringen og der er desværre ikke sket så meget af forskellige årsager.

Det eneste som reelt er sket er at jeg har været inde ca. hver 3. måned og tilføjet et nyt SSL certifikat (Tak til jer som har nævnt at det var et problem).
Normalt ville det (SSL certifikat opdatering) ske helt automatisk, men igen pga. manglende opdateringer er der problemer med den del.
Der er faktisk en opdatering til server softwaren som skulle rette problemet. Men jeg har simpelthen ikke ville opdatere den, da jeg ikke ved hvilke konsekvenser det vil have og om noget går i stykker og da det ikke er min side, så kan jeg ikke bare tage de beslutninger og jeg kan ikke sige hvad der kan gå galt.

Jeg har aftalt med Kim Fredtoft at jeg laver de her opslag så i kan følge med i hvad der sker.

Inden jeg skriver nærmere omkring det vi arbejder på nu, så her er lidt omkring det vi forsøgte i 2020 og hvorfor det gik galt.

Planen for 2020 var simpelthen at få forumet op til den nyeste version af PHPBB (som er det stykke software forumet er bygget på). Fordi softwaren aldrig er blevet opdateret (eller i hvert fald ikke er blevet vedligeholdt) så var vi klar over at det kunne give problemer. Første forsøg var at opdatere direkte til den nyeste version af PHPBB.
Min forventning var ikke at det ville virke, men det var et forsøg værd.
Næste forsøg var så at opdatere 1 version af gangen indtil den så var oppe på den nyeste. Vi kom nogle versioner frem på den måde, men ramte så et punkt hvor det ikke længere var muligt at bare opdatere og lade softwaren opdatere databasen for os.

Den version vi endte på gjorde at vi skulle lave store ændringer i designet af forumet som virkede med den nye version for at overhoved kunne se siden igen. Fordi der er mange specielt byggede funktioner, kunne vi ikke blot skfite til et standard design, da funktionerne er kodet direkte ind i temaet. Det blev lappet sammen så der kom noget frem på skærmen igen så jeg kunne se hvad jeg lavede.

Næste skridt var at få databasen med.
Der var lavet flere ændringer i databasen som gjorde at opdateringerne ikke kunne ske automatisk, hvilket betød at vi skulle ind og ændre i rigtig mange tabeller i databasen for at få dem til at have det korrekte format. Et eksempel er bruger tabellen som indeholder data omkring "profil tekst, trænings mål , skriebtn ,kostplan , mål osv." det er alt sammen noget som ikke er standard PHPBB.
Problemet var ikke så meget at få den korrekte struktur, men nærmere at der var data som ikke er standard PHPB, fordi man tidligere har lavet ændringer i database strukturen og tilføjet ting som ikke er normalt i PHPBB.
Det var helt normalt førhen med PHPBB forums at man ændrede direkte i standard tabellerne, hvilket nok også er derfor forumet ikke har været opdateret. Jeg kan dog se at man har forsøgt på et tidspunkt (før jeg forsøgte i 2020)

Løsnigen blev at rette database strukturen, så den var som en ren installation og tilføje dataen igen bagefter i nye tabeller og rette koden til. Det lyder meget nemt når man lige skriver det her, men det tog faktisk flere uger at få lavet alle tabellerne om og bevaret den gamle data på en måde det så kunne flyttes ind igen.

Her kom næste problem, som var det vi stoppede på.

I tabellerne for brugere og indlæg, var der flere rækker (ukendt antal) hvor dataen var i stykker, hvilket betød at jeg skulle manuelt ind og reparere dataen eller slette dem. Efter nogle dage med at rette dataen manuelt måtte jeg simpelthen opgive at rette den, da jeg ikke kom nogen vejne med det og der var ikke nogen ligheder i det der var i stykker. Så det som var galt med en række var ikke det samme i næste og derfor kunne jeg ikke kode mig ud af det og med den mængde data ville jeg sidde endnu med at reparere dataen.

Da det ikke var muligt at få en liste over alle dem som var i stykker og mængden af rækker gjorde det til en umulig opgave at komme videre herfra.

Herefter gik det hele i stå…

Hvad så nu?
Det er nu 2023 og vi forsøger en anden fremgangsmetode, i stedet for at arbejde på det gamle så laver vi et nyt forum og så kopiere dataen over og fjerner det som ikke bør være i forumet (som artikler osv) og laver det i WordPress.
Udover det så opsættes der en ny server og lader nogen andre der har mere forstand på hosting og administration af servere, det løser nemlig SSL problemet og problemer med adgange ikke virker korrekt (Der er indstillinger jeg ikke kan ændre pga. rettigheder).

Alt det her er ikke noget man lige gør på en weekend så derfor vil vi ikke sige noget som helst med hvornår det er færdigt, men hvad jeg kan garantere her er at jeg vil fortælle jer hvad der sker, hvor jeg / vi går i stå, hvad planen er osv. og hvis vi må opgive igen så fortæller jeg også det.

Den nye side kommer til at benytte WordPress til de dele som ikke er forumet (man kunne have brugt BBPRESS til forumet, men da det ikke har været opdateret længe , så valgte vi ikke den løsning).
De dele som er forumet, altså logbog, forumet indlæg osv. Bliver så kopieret over til den nye version af PHPBB.

Mit arbejde her bliver at lave scripts / funktioner der kopiere dataen fra den gamle database og lægger over i den nye. Der er omkring 70 tabeller i en normal PHPBB (dette forum har næsten 200 tabeller).

Når vi så er klar med alle disse scripts / funktioner, så lukker vi det nuværende forumet ned imens vi kopiere dataen over og genåbner så med den nye version, hvorefter vi så håber det virker. Skulle der være så store problemer at det er ubrugeligt, så vil vi være klar til at sætte tilbage til den gamle version.

I har formentlig en del spørgsmål og dem svarer jeg gerne på hvis jeg kan.

I den kommende uge er planen at arbejde på at få lavet scriptet til import af brugerne og splitte deres specielle data op i nye tabeller så vi har dataen på det nye forum og kan genoprette udseendet på profilerne bagefter.

Jeg citerer lige mig selv fra anden tråd af, fra knap 2 år siden

Det vil formentlig være hurtigst og bedste resultat, at lave en kopi af database, lægge et helt nyt forum live, hvortil der laves scripts til at oversætte og indsætte data fra den gamle database ind i den nye database.

Med så gammelt et forum klikker man ikke bare 'opgrader' og venter et par minutter, og så er det up-to-date. Der skal du sikkert opgradere manuelt til flere 'mellemversioner' og rette en masse undervejs, før det kan opgraderes til seneste version.

Nu lyder det så til, at I faktisk har forsøgt at flytte data fra gamle database ind i en ny, men at I så har forsøgt at flytte 'hele' siden over. Det jeg mente, var blot at flytte brugere og forum posts over - og som jeg forstår det, så er det netop det I går efter nu.

Jeg vil dog stadig understrege, at på en prioritetsliste, så ligger overførsel af gamle profiler og indlæg slet ikke så højt, som det lyder til at I ser det som. Forummet har mere eller mindre været dødt siden 2013/2014'ish.
Logbøger er nok det eneste som kan kategoriseres som vigtigt at have en løsning på, der er stadig folk som er aktive, og sikkert også en håndfuld som gerne vil bevare deres gamle logbog.

Det er svært at komme med konkrete råd, da jeg ikke er inde i maskinrummet selv.

Hvad med overflytning af brugere til det nye, hvordan gøres det i praksis, når password hashing formentlig er på ny algoritme i nyere versioner? (gætter på nuværende er MD5 eller lignende). Skal alle gamle brugere benytte sig af "Glemt password" funktionen og lave nyt password, første gang de logger ind på den nye version - det kunne vel være en løsning?
Skal ALLE brugere flyttes over, giver det mening at overflytte x tusinde brugere som ikke har logget ind i flere år - og hvor mange sikkert alligevel ønsker at kalde sig noget andet, har skiftet mail, glemt profilen, eller slet ikke er interesseret i siden længere.

Det lyder til, at det er med begrænset budget/timer til opsætning og udvikling af det nye bodybuilding.dk, så umiddelbart vil jeg anbefale at i simpelthen bare laver en backup af det nuværende forum/lader det køre videre på f.eks. "old.bodybuilding.dk", så længe det giver mening. Samtidig opretter i et helt nyt og frisk forum, som bruger bodybuilding.dk domænet og får opsat en fornuftig forum struktur. Så kan folk oprette sig og komme i gang på det nye, og så kan I arbejde videre med overførsel af logbøger og andet, så det bare kommer senere.
I kan f.eks. se på muligheden for, at overførsel af gamle logbøger håndteres 'manuelt', dvs. folk opretter en ny profil, og så kan de anmode om at få deres gamle logbog overført til deres nye profil. Hvis du alligevel skal lave en funktion til at overflytte data, kunne den funktion nok laves sådan, at du blot indtaster det nye brugernavn og det gamle brugernavn, og klikker 'overfør logbog' som en administrativ funktion.
Mit bud er, at det vil være færre end 30 personer, som vil henvende sig for at få overflyttet deres gamle logbog. Alternativet er jo at overflytte alle logbøger, eller f.eks. alle logbøger der har været aktive siden f.eks. år 2013. Men jeg tror ikke de bidrager til aktiviteten, at der ligger en lang liste af døde logbøger.

Grande Amigo skrev:Det vil formentlig være hurtigst og bedste resultat, at lave en kopi af database, lægge et helt nyt forum live, hvortil der laves scripts til at oversætte og indsætte data fra den gamle database ind i den nye database.

Med så gammelt et forum klikker man ikke bare 'opgrader' og venter et par minutter, og så er det up-to-date. Der skal du sikkert opgradere manuelt til flere 'mellemversioner' og rette en masse undervejs, før det kan opgraderes til seneste version.

---

Nu lyder det så til, at I faktisk har forsøgt at flytte data fra gamle database ind i en ny, men at I så har forsøgt at flytte 'hele' siden over. Det jeg mente, var blot at flytte brugere og forum posts over - og som jeg forstår det, så er det netop det I går efter nu.

Det hele blev forsøgt flyttet, men på grund af at dataen var i stykker, altså selve DB filerne var der noget galt med som fik alle værktøjer jeg brugte til at stoppe med at virke og serveren returnerede rå data tilbage som fejlkode. Så var det ikke muligt at flytte dem, og det var her vi gik i stå og så var der ikke rigtig nogen der sparkede til det igen for at lave nye forsøg.
Grunden til at det hele flyttes er at alt er kædet sammen med IDer, og det vil vi helst undgå at skulle ud og rette i alle rækkerne i databasen og give det hele nye IDer.

Brugere, posts, attachements og kategorier / forums er det som vi lige nu forsøger at flytte. Der er meget som skal flyttes fordi vi skal bruge de IDer der gives (forum_id, user_id, post_id) for at dataen virker og de specielle funktioner der er tilføjet skal trækkes ud og laves i nye tabeller.

De tabeller som er identiske i struktur bliver bare flyttet direkte over og dem som ikke er nødvendige med den nye version bliver heller ikke flyttet.

Den data som er i stykker har jeg måske en løsning på (Kort sagt så retter det ødelagdte db file), har dog ikke fået testet den endnu på det her, det er gjort på min kopi, men har ikke arbejdet med posts endnu så ved ikke om det virkede ( Det ser dog sådan ud, da jeg faktisk kan se en del af dataen med phpmyadmin på den nye server, hvilket ikke var muligt tidligere ).

Grande Amigo skrev:Jeg vil dog stadig understrege, at på en prioritetsliste, så ligger overførsel af gamle profiler og indlæg slet ikke så højt, som det lyder til at I ser det som. Forummet har mere eller mindre været dødt siden 2013/2014'ish.
Logbøger er nok det eneste som kan kategoriseres som vigtigt at have en løsning på, der er stadig folk som er aktive, og sikkert også en håndfuld som gerne vil bevare deres gamle logbog.

Da logbøger er forum indlæg, så vil de blive flyttet over som en del af posts, og for at det virker skal vi både bruge profilerne der har oprettet dem og de forum / kategorier der er oprettet, så vi ikke skal samle en ny liste med IDer og sidde og erstatte data.
Det er derfor jeg starter med brugere, for at få deres IDer som skal bruges ved oprettelse af forum /kategorier, da de benytter IDer flere steder i tabellerne.
Derefter forventer jeg det bliver attachments hvor der skal bruges de her IDer for at de virker:
post_msg_id, topic_id og poster_id og så har vi attach_id'et vi skal bruge i posts, så undgår vi at skulle rette i alle indlæg for at skaffe de nye IDer, hvilket jeg vil forvente at det kunne give problemer.

Grande Amigo skrev:Hvad med overflytning af brugere til det nye, hvordan gøres det i praksis, når password hashing formentlig er på ny algoritme i nyere versioner? (gætter på nuværende er MD5 eller lignende). Skal alle gamle brugere benytte sig af "Glemt password" funktionen og lave nyt password, første gang de logger ind på den nye version - det kunne vel være en løsning?

Som det ser ud lige nu så virker alle gamle kodeord. Jeg kan selvfølgelig kun teste med min eget bruger indtil Fredtoft kommer indover, så kan vi verificere at det faktisk virker. Der er lavet i det nye at når man benytter en PHP version over 7.3 (mener jeg det er) så vil den lave en ny hash af kodeordet til det nye argon2id format, så derfor bør det ikke være nødvendigt at man skal nulstille sit kodeord.

Grande Amigo skrev:Skal ALLE brugere flyttes over, giver det mening at overflytte x tusinde brugere som ikke har logget ind i flere år - og hvor mange sikkert alligevel ønsker at kalde sig noget andet, har skiftet mail, glemt profilen, eller slet ikke er interesseret i siden længere.

Jeg har ikke snakket med Kim Fredtoft omkring denne del, for der er faktisk enormt mange brugere som ikke er interessante at beholde, her tænker jeg specielt på spambots (som der bliver oprettet flere nye om dagen). Da vi ikke har set nærmere på det så ved jeg ikke om der bliver lavet en oprydning af brugerne, eller hvordan vi skulle kunne lave det uden måske at fjerne brugere som faktisk gerne vil beholde deres bruger.

Grande Amigo skrev:Det lyder til, at det er med begrænset budget/timer til opsætning og udvikling af det nye bodybuilding.dk, så umiddelbart vil jeg anbefale at i simpelthen bare laver en backup af det nuværende forum/lader det køre videre på f.eks. "old.bodybuilding.dk", så længe det giver mening. Samtidig opretter i et helt nyt og frisk forum, som bruger bodybuilding.dk domænet og får opsat en fornuftig forum struktur. Så kan folk oprette sig og komme i gang på det nye, og så kan I arbejde videre med overførsel af logbøger og andet, så det bare kommer senere.

Det er et forslag jeg har snakket med Fredtoft omkring, men han vil have det gjort så der ikke ligger en old.bodybuilding.dk, så derfor sker det ikke. For så var mit forslag i denne omgang nemlig det samme, så kunne man senere lave funktioner til de aktivere brugere at kopiere deres ting over ( som du også foreslog med logbogen ).

Grande Amigo skrev:I kan f.eks. se på muligheden for, at overførsel af gamle logbøger håndteres 'manuelt', dvs. folk opretter en ny profil, og så kan de anmode om at få deres gamle logbog overført til deres nye profil. Hvis du alligevel skal lave en funktion til at overflytte data, kunne den funktion nok laves sådan, at du blot indtaster det nye brugernavn og det gamle brugernavn, og klikker 'overfør logbog' som en administrativ funktion.
Mit bud er, at det vil være færre end 30 personer, som vil henvende sig for at få overflyttet deres gamle logbog. Alternativet er jo at overflytte alle logbøger, eller f.eks. alle logbøger der har været aktive siden f.eks. år 2013. Men jeg tror ikke de bidrager til aktiviteten, at der ligger en lang liste af døde logbøger.

Du har helt ret i at mange logbøger (og meget andet) er dødt, som Fredtoft skal tage stilling til hvad der skal ske med det.
Hvis man fjernede alle logbøger fra før 2013, så ville det fjerne ca. 664000 rækker i databasen ud af de ca. 903000 der er.
En funktion til at trække dataen ud "on demand" ville være nem nok at lave, hvis det var den løsning fredtoft ville gå efter.

Fedt at der sker noget - spændende, hvornår det arbejde er done. Det bliver en kæmpe opgave, og jeg forventer ikke ligefrem, at det bliver nemt.

I har altid været gode til at skrive lange indlæg om alt det I vil gøre. Handling derimod.....

Jeg orker ikke at læse det. Der står sikkert et eller andet om, at der snart, helt sikkert, kommer til at ske noget.... Det kan man så tro på eller lade være.

taler skrev:I har altid været gode til at skrive lange indlæg om alt det I vil gøre. Handling derimod.....

Jeg orker ikke at læse det. Der står sikkert et eller andet om, at der snart, helt sikkert, kommer til at ske noget.... Det kan man så tro på eller lade være.

Står så faktisk intet af de ting der. Der står netop at jeg ikke vil sige noget om hvornår, men vil informere hvor vi / jeg er.

Garik skrev:Fedt at der sker noget - spændende, hvornår det arbejde er done. Det bliver en kæmpe opgave, og jeg forventer ikke ligefrem, at det bliver nemt.

Håber virkelig også at det lykkes denne gang, har gået i lang tid nu og glædet mig til at komme i gang igen.
Håber det bliver nemmere denne gang og med den fremgangsmetode jeg arbejder på lige nu.